采集loc采集了一万多个帖子了

嗷嗷 · 发表于 2020-4-17 22:33:09

本帖最后由嗷嗷于 2020-4-17 22:35 编辑

不过0IP，只管采集

只是自己尝试写一下规则，然后一直挂着，挂了有一个多月还是两个多月了吧

xuanjinya · 发表于 2020-4-18 01:38:45

提示: 作者被禁止或删除内容自动屏蔽

Mr. · 发表于 2020-4-18 01:18:47

skhtcxlo 发表于 2020-4-18 00:40
大佬厉害啊，用的哪个采集程序？

自己写的，几行代码的事…

skhtcxlo · 发表于 2020-4-18 00:40:40

提示: 作者被禁止或删除内容自动屏蔽

Mr. · 发表于 2020-4-18 00:37:52

skhtcxlo 发表于 2020-4-18 00:34
数据库占了多大？

真记不得了… 当时还能绕过API每小时120次的限制，不然也没那么多IP…

skhtcxlo · 发表于 2020-4-18 00:34:40

提示: 作者被禁止或删除内容自动屏蔽

Mr. · 发表于 2020-4-17 23:52:57

采集过隔壁 V2 三十万帖和几百万回帖，采集完就删了。。。

lenchanlhz · 发表于 2020-4-17 23:43:59

采集

伊斯蓝 · 发表于 2020-4-17 23:38:54

额头有王的喵发表于 2020-4-17 22:41
40万本打不开

我长三角电信都能打开
大佬你用的什么线路居然打不开？

1874 · 发表于 2020-4-17 22:51:18

一天1000+ 百度不但不收录之前的也砍了，可能采集的太多了吧。一个标题搜索一下至少5个相同的标题...

		自动登录	找回密码
密码			注册