数据库的网络爬虫在python？ [英] Database for web crawler in python?

问题描述

您在python中编写一个网络爬虫，从新闻网站如nytimes.com提取新闻文章。我想知道什么是一个好的数据库用作这个项目的后端。

Hi im writing a web crawler in python to extract news articles from news websites like nytimes.com. i want to know what would be a good db to use as a backend for this project?

提前感谢！

推荐答案

这可能是一个伟大的项目，使用文件数据库像CouchDB，MongoDB或SimpleDB。

This could be a great project to use a document database like CouchDB, MongoDB, or SimpleDB.

MongoDB有一个托管解决方案： http://mongohq.com 。还有对Python（Pymongo）的绑定。

MongoDB has a hosted solution: http://mongohq.com. There is also a binding for Python (Pymongo).

如果您在Amazon Web Services上托管，SimpleDB是一个不错的选择。

SimpleDB is a great choice if you are hosting this on Amazon Web Services

CouchDB是Apache Foundation的开源包。

CouchDB is an open source package from the Apache Foundation.

这篇关于数据库的网络爬虫在python？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！