全球主机交流论坛

标题: 问个python技术性问题 请求403 [打印本页]

作者: Bigcan    时间: 2023-11-20 22:33
标题: 问个python技术性问题 请求403
本帖最后由 Bigcan 于 2023-11-20 23:28 编辑

目前爬取ozon管理后台公开数据,

遇到问题通过fd抓包的数据,重放可以正常返回状态200和内容 修改sku的id改成其他商品也可以正常返回

但是到python里用requests 模拟请求,fd抓到的数据都搬过去了User-Agent和cookie都有

但是一请求就是403状态,在fd正常返回的数据标头里看到了Server: cloudflare

这个是什么情况,这块我是菜鸟

不是ip问题被封

不是批量爬取,就是单纯是自动获取前台商品sku查询一些数据自动显示到前台


使用cfscrape模块解决了
作者: Bigcan    时间: 2023-11-20 22:35
有大哥指教吗
作者: jqbaobao    时间: 2023-11-20 22:35
猜猜防火墙
作者: Bigcan    时间: 2023-11-20 22:36
jqbaobao 发表于 2023-11-20 22:35
猜猜防火墙

但是防火墙,可是FD我发包能正确返回真他吗奇葩,用Python模拟就是403搞了一天了
作者: xianmeng    时间: 2023-11-20 22:37
cf识别到了吧
作者: hrog    时间: 2023-11-20 22:39
换请求库
作者: xianmeng    时间: 2023-11-20 22:41
速度没啥要求的话  用浏览器自动化试一下吧
作者: Bigcan    时间: 2023-11-20 22:49
xianmeng 发表于 2023-11-20 22:41
速度没啥要求的话  用浏览器自动化试一下吧

我前台看别人产品选品,后台可以输入对方的商品ID查看销量GMV等数据,我是打算把这个东西封装成一个接口,然后搞成一个谷歌扩展,访问前台别人商品的时候自动显示这些数据= =
作者: Bigcan    时间: 2023-11-20 23:00
hrog 发表于 2023-11-20 22:39
换请求库

换完200了= =,但是响应乱码,换了好多个编码也不行妈的
作者: NodeLoc    时间: 2023-11-20 23:01
要过盾。
作者: nightcat    时间: 2023-11-20 23:19
decode一下,默认应该是utf-8
python代码记得用utf-8
作者: Bigcan    时间: 2023-11-20 23:28
NodeLoc 发表于 2023-11-20 23:01
要过盾。

使用cfscrape成功解决
作者: NodeLoc    时间: 2023-11-20 23:50
Bigcan 发表于 2023-11-20 23:28
使用cfscrape成功解决

现在cfscrape又可以了?之前不行了的。
作者: Bigcan    时间: 2023-11-21 12:57
NodeLoc 发表于 2023-11-20 23:50
现在cfscrape又可以了?之前不行了的。

是啊,但是奇葩遇到新问题,我把文件丢到服务器运行,网页调用这个api不返回数据,本地用cmd和pycharm都可以正常。真他吗头疼
作者: 双子小虾    时间: 2023-11-21 13:28
用浏览器自动化试一下吧
作者: Bigcan    时间: 2023-11-21 17:15
双子小虾 发表于 2023-11-21 13:28
用浏览器自动化试一下吧

我是要弄来封装成API- -搞什么网页自动化




欢迎光临 全球主机交流论坛 (https://sunk.eu.org/) Powered by Discuz! X3.4