全球主机交流论坛

标题: 问个python技术性问题请求403 [打印本页]

作者: Bigcan 时间: 2023-11-20 22:33
标题: 问个python技术性问题请求403
本帖最后由 Bigcan 于 2023-11-20 23:28 编辑

目前爬取ozon管理后台公开数据，

遇到问题通过fd抓包的数据，重放可以正常返回状态200和内容修改sku的id改成其他商品也可以正常返回

但是到python里用requests 模拟请求，fd抓到的数据都搬过去了User-Agent和cookie都有

但是一请求就是403状态，在fd正常返回的数据标头里看到了Server: cloudflare

这个是什么情况，这块我是菜鸟

不是ip问题被封

不是批量爬取，就是单纯是自动获取前台商品sku查询一些数据自动显示到前台

使用cfscrape模块解决了

作者: Bigcan 时间: 2023-11-20 22:35
有大哥指教吗

作者: jqbaobao 时间: 2023-11-20 22:35
猜猜防火墙

作者: Bigcan 时间: 2023-11-20 22:36

jqbaobao 发表于 2023-11-20 22:35
猜猜防火墙

但是防火墙，可是FD我发包能正确返回真他吗奇葩，用Python模拟就是403搞了一天了

作者: xianmeng 时间: 2023-11-20 22:37
cf识别到了吧

作者: hrog 时间: 2023-11-20 22:39
换请求库

作者: xianmeng 时间: 2023-11-20 22:41
速度没啥要求的话用浏览器自动化试一下吧

作者: Bigcan 时间: 2023-11-20 22:49

xianmeng 发表于 2023-11-20 22:41
速度没啥要求的话用浏览器自动化试一下吧

我前台看别人产品选品，后台可以输入对方的商品ID查看销量GMV等数据，我是打算把这个东西封装成一个接口，然后搞成一个谷歌扩展，访问前台别人商品的时候自动显示这些数据= =

作者: Bigcan 时间: 2023-11-20 23:00

hrog 发表于 2023-11-20 22:39
换请求库

换完200了= =，但是响应乱码，换了好多个编码也不行妈的

作者: NodeLoc 时间: 2023-11-20 23:01
要过盾。

作者: nightcat 时间: 2023-11-20 23:19
decode一下，默认应该是utf-8
python代码记得用utf-8

作者: Bigcan 时间: 2023-11-20 23:28

NodeLoc 发表于 2023-11-20 23:01
要过盾。

使用cfscrape成功解决

作者: NodeLoc 时间: 2023-11-20 23:50

Bigcan 发表于 2023-11-20 23:28
使用cfscrape成功解决

现在cfscrape又可以了？之前不行了的。

作者: Bigcan 时间: 2023-11-21 12:57

NodeLoc 发表于 2023-11-20 23:50
现在cfscrape又可以了？之前不行了的。

是啊，但是奇葩遇到新问题，我把文件丢到服务器运行，网页调用这个api不返回数据，本地用cmd和pycharm都可以正常。真他吗头疼

作者: 双子小虾 时间: 2023-11-21 13:28
用浏览器自动化试一下吧

作者: Bigcan 时间: 2023-11-21 17:15

双子小虾发表于 2023-11-21 13:28
用浏览器自动化试一下吧

我是要弄来封装成API- -搞什么网页自动化

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)