为什么常识

适合爬虫下来的网页储存的分布式文件系统有哪些?

生活词典 changshi.cidiancn.com

阅读: 254

适合爬虫下来的网页储存的分布式文件系统有哪些?1)主要是想搞个分布式的爬虫,这块没有经验,想问一下,是不是要找一个合适的分布式储存的系统? -adoop说好像是为大块文件设计的 2)另外对行下载下来的网页进行提取这块,是使用什么,-p/reduce吗,怎么把结果再收集回来呢? 求教1 个答案

答案 1:

mongodb应该是个不错的选择!

分享常识给亲友.