爬个数据就挂掉一个网站

三一土白 · 发表于 2018-1-14 00:17:04

我一直使用python的requests爬取数据,有个网站的数据单线程,5分钟可以爬完.

刚才用了nodejs的request库, 从启动任务到结束10秒钟结束,以为自己眼瞎, 但是数据确实下载成功了.
然后那个网站离线了.

从来不知道nodejs这么牛叉.

三一土白 · 发表于 2018-1-14 09:55:48

数据都入库了，没报错，10秒钟，42万行数据。

nodejs的异步第一次领略，确实很牛逼。

jhsyue · 发表于 2018-1-15 11:28:27

python写得慢是你技术有问题。。

https://luodaoyi.com/p/python-yi-bu-duo-xian-cheng-chao-gao-xing-neng-pa.html

cszlxl · 发表于 2018-1-14 08:12:49

应该不会是完全都爬完了吧。。。

yjsx86 · 发表于 2018-1-14 04:54:13

不会那么巧等你把数据爬完了再挂吧?
看看你的数据完整不?

wenguonideshou · 发表于 2018-1-15 11:09:52

我感觉不能说明什么

左手写爱 · 发表于 2018-1-15 10:44:02

大佬技术在哪学的？发车吧！！！！

靓坤 · 发表于 2018-1-14 14:14:35

说不定只是把你ip屏蔽了

sunnyhu · 发表于 2018-1-14 14:07:29

数据是完整的吗

ruocao · 发表于 2018-1-14 09:19:23

nodejs默认是异步的，python默认是同步的，代码改一改也可以实现相同效果
当然你怎么确定你把数据爬完了，网站都挂了23333

气味 · 发表于 2018-1-14 08:57:44

大佬爬虫

liutianshu77 · 发表于 2018-1-14 08:27:11

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

liutianshu77 liutianshu77 当前离线积分 28478	16^# 发表于 2018-1-14 08:27:11 来自手机 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
liutianshu77 liutianshu77 当前离线积分 28478
	回复支持反对举报