关于javhd脚本的一些问题

eqblog · 发表于 2018-3-14 09:49:51

首先我承认，我写的脚本很容易被识别为机器，然后就爬不成了。

解决办法很简单，让它每爬一页休息一会就好了。

spider.zip (1.4 KB, 下载次数: 507)

关于限速问题：

将线程放少点就好了，具体就是将37行的10改的小一点就好了

python问题建议百度，centos下python3安装https://eqblog.com/centos-install-python3-6-4.html
安装好后使用pip3安装所需库就好了

Lkanu · 发表于 2018-5-14 01:17:37

yeshan 发表于 2018-3-14 09:51
试用会员爬不了全部视频，建议要爬全站的来一个月正式会员

知道啥是解析不？

流量之神 · 发表于 2018-5-10 18:40:17

eqblog 发表于 2018-3-18 06:50
我准备修改下脚本，你等今天晚些我发布吧。。

改好了吗大佬。。。

eqblog · 发表于 2018-3-18 06:50:57

itsme 发表于 2018-3-18 06:47
能不能帮忙改下？不会编程，为了用这爬虫这几天都在自学python编译分卷压缩等等相关了。窘。
现在脚本 ...

我准备修改下脚本，你等今天晚些我发布吧。。

itsme · 发表于 2018-3-18 06:47:54

本帖最后由 itsme 于 2018-3-19 19:46 编辑

------------------------

eqblog · 发表于 2018-3-18 05:58:46

itsme 发表于 2018-3-18 05:27
楼主，javhd的脚本我运行完全没问题了。不过有个小问题，就是获得的文件名都不是完全的title标题，Sakura A ...

改下正则匹配就好了。。。。

itsme · 发表于 2018-3-18 05:27:41

楼主，javhd的脚本我运行完全没问题了。不过有个小问题，就是获得的文件名都不是完全的title标题，Sakura Aida enjoys Asian ... 能否改动什么地方抓取完整title作为文件名？

zhp521163 · 发表于 2018-3-16 17:05:29

zhp521163 发表于 2018-3-16 14:45
我在本地爬了1380个视频，不知道全部视频有多少

我是480p的，爬完1380多个视频之后就爬不了了

itsme · 发表于 2018-3-16 16:51:58

本帖最后由 itsme 于 2018-3-18 05:26 编辑

本帖没内涵

itsme · 发表于 2018-3-16 16:32:23

eqblog 发表于 2018-3-14 22:16
不能但是可以手动设置页数

如果要从61页开始抓取，只要改下面这个flag的值吗改了脚本似乎卡住没任何动静了

def run():
s=spider(quality)
reqget=s.req()
flag=61

		自动登录	找回密码
密码			注册

关于javhd脚本的一些问题

浏览过的版块