全球主机交流论坛

标题: 爬虫遇到个巨奇怪的问题！ [打印本页]

作者: sizzlingbun 时间: 2023-12-13 14:54
标题: 爬虫遇到个巨奇怪的问题！
同样的参数，头信息，用不同的工具返回的结果不一样？
有些会被检测到是爬虫，有的不会
会被检测到的：curl , python 的requests库
不会被检测到的: postman, python的http.client库，wget

人傻了

，有mjj给我解释解释为什么吗

作者: HOH 时间: 2023-12-13 14:56
越菜越暴露

作者: begin 时间: 2023-12-13 14:57
最基本都要模仿浏览器的UA

作者: 羊村你喜哥 时间: 2023-12-13 14:57

一些反爬或者安全策略吧

作者: sizzlingbun 时间: 2023-12-13 15:15

begin 发表于 2023-12-13 14:57
最基本都要模仿浏览器的UA

模仿了 UA就是从真实浏览器拿的

作者: Blanke 时间: 2023-12-13 16:22
可能是tls检测，py 有处理好的请求库，搜一下

作者: bigjj 时间: 2023-12-13 16:43
每个请求都是有指纹的

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)