问个python技术性问题请求403

Bigcan · 发表于 2023-11-20 22:33:14

本帖最后由 Bigcan 于 2023-11-20 23:28 编辑

目前爬取ozon管理后台公开数据，

遇到问题通过fd抓包的数据，重放可以正常返回状态200和内容修改sku的id改成其他商品也可以正常返回

但是到python里用requests 模拟请求，fd抓到的数据都搬过去了User-Agent和cookie都有

但是一请求就是403状态，在fd正常返回的数据标头里看到了Server: cloudflare

这个是什么情况，这块我是菜鸟

不是ip问题被封

不是批量爬取，就是单纯是自动获取前台商品sku查询一些数据自动显示到前台

使用cfscrape模块解决了

Bigcan · 发表于 2023-11-20 22:35:42

有大哥指教吗

jqbaobao · 发表于 2023-11-20 22:35:48

猜猜防火墙

Bigcan · 发表于 2023-11-20 22:36:45

jqbaobao 发表于 2023-11-20 22:35
猜猜防火墙

但是防火墙，可是FD我发包能正确返回真他吗奇葩，用Python模拟就是403搞了一天了

xianmeng · 发表于 2023-11-20 22:37:46

cf识别到了吧

hrog · 发表于 2023-11-20 22:39:10

换请求库

xianmeng · 发表于 2023-11-20 22:41:22

速度没啥要求的话用浏览器自动化试一下吧

Bigcan · 发表于 2023-11-20 22:49:14

xianmeng 发表于 2023-11-20 22:41
速度没啥要求的话用浏览器自动化试一下吧

我前台看别人产品选品，后台可以输入对方的商品ID查看销量GMV等数据，我是打算把这个东西封装成一个接口，然后搞成一个谷歌扩展，访问前台别人商品的时候自动显示这些数据= =

Bigcan · 发表于 2023-11-20 23:00:43

hrog 发表于 2023-11-20 22:39
换请求库

换完200了= =，但是响应乱码，换了好多个编码也不行妈的

NodeLoc · 发表于 2023-11-20 23:01:38

要过盾。

		自动登录	找回密码
密码			注册

[疑问] 问个python技术性问题 请求403

[疑问] 问个python技术性问题请求403