如何快速采集100万片某个特定关键词的文章做垃圾站用

qq519755368 · 发表于 2014-8-18 20:39:52

黄金广告位招租

thymol · 发表于 2014-8-18 20:41:58

提示: 作者被禁止或删除内容自动屏蔽

hezuvps · 发表于 2014-8-19 01:32:22

写个蜘蛛，自动去爬......

KUA5 · 发表于 2014-8-19 13:19:59

看采集哪里的文章
有规律么

欧阳逍遥 · 发表于 2014-8-19 13:54:26

自己写蜘蛛多线程去爬只能这样了。。另外尽量别用数据库。。

我现在搞一个项目 2小时爬一次，每次上万条信息。。数据库都够呛。

长期求友情链接 · 发表于 2014-8-19 14:16:06

欧阳逍遥发表于 2014-8-19 13:54
自己写蜘蛛多线程去爬只能这样了。。另外尽量别用数据库。。

我现在搞一个项目 2小时爬一次，每次上 ...

求代写

ali727 · 发表于 2014-8-19 14:38:25

欧阳逍遥发表于 2014-8-19 13:54
自己写蜘蛛多线程去爬只能这样了。。另外尽量别用数据库。。

我现在搞一个项目 2小时爬一次，每次上 ...

直接生成HTML吗？

欧阳逍遥 · 发表于 2014-8-19 14:43:03

ali727 发表于 2014-8-19 14:38
直接生成HTML吗？

之前写过一个采集程序。超高并发。数据库搞不过来。就直接 IO 操作了
自己搞好目录结构和读写逻辑。纯 IO 个人感觉比数据库要快很多。
当然也有一定局限性。

ali727 · 发表于 2014-8-19 17:00:49

欧阳逍遥发表于 2014-8-19 14:43
之前写过一个采集程序。超高并发。数据库搞不过来。就直接 IO 操作了
自己搞好目录结构和读写逻辑。 ...

局限性在哪里？

		自动登录	找回密码
密码			注册

thymol thymol 当前离线积分 5272	3^# 发表于 2014-8-18 20:41:58 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
thymol thymol 当前离线积分 5272
	回复支持反对举报

如何快速采集100万片 某个特定关键词的文章 做垃圾站用