求助一个PHP Curl网页源码动态的问题

唐王李世民

先道声谢谢了。

视频演示：https://thumbsnap.com/qkDgKM5o

网址信息：https://www.toutiao.com/video/7418557232318513703/

我使用PHP的url获取一个网页的时候，它的网页内容一直在跳动，不能获取完整，我知道可能是使用了js动态创建的，但有技术或方法可以获取完整的内容吗？谢谢了

1. /*
   
2. *  今日头条video页面的文件头
   
3. **/
   
4. function toutiao_html_header($url)
   
5. {
   
6.     $header = array(
   
7.         "Host: https://www.toutiao.com",
   
8.         "Referer: {$url}",
   
9.         "set-cookie: tt_webid=7421001700129736202; path=/; expires=Sun, 09 Feb 2025 04:22:07 GMT; domain=toutiao.com; secure; httponly",
   
10.         'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    
11.         'Accept-Language:zh-CN,zh;q=0.9,en;q=0.8',
    
12.         'cookie: ******************************************************************************',
    
13.         "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36",
    
14.     );
    
15.     return $header;
    
16. }
    
17. 
    
18. /**
    
19. * 模拟浏览器开始访问请求，这个用于今日头条视频的页面内容获取
    
20. */
    
21. function fetch_toutiao_video_html($url)
    
22. {
    
23.     $header = toutiao_html_header($url);
    
24.     $timeout = 40;
    
25.     $ch = curl_init($url);
    
26.     curl_setopt($ch, CURLOPT_FAILONERROR, true);
    
27.     //设置请求头信息
    
28.     #curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
    
29.     curl_setopt($ch, CURLOPT_HEADER, $header);
    
30.     //不取得返回头信息
    
31.     #curl_setopt($ch, CURLOPT_HEADER, 0);
    
32.     // 关闭https验证
    
33.     curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
    
34.     curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
    
35.     curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    
36.     curl_setopt($ch, CURLOPT_ENCODING, "");
    
37.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, false);
    
38.     curl_setopt($ch, CURLOPT_AUTOREFERER, true);
    
39.     curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
    
40.     curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
    
41.     curl_setopt($ch, CURLOPT_REFERER, $header[1]);
    
42.     curl_setopt($ch, CURLOPT_MAXREDIRS, 10);
    
43.     curl_setopt($ch, CURLOPT_USERAGENT, $header[6]);
    
44.     $content = curl_exec($ch);
    
45.     if (curl_errno($ch)) {
    
46.         echo 'Error:' . curl_error($ch);
    
47.     } else {
    
48.         return $content;
    
49.     }
    
50.     curl_close($ch);
    
51. }

复制代码

唐王李世民

我查了网络上，有几个同样的问题

1、https://wenku.csdn.net/answer/e12d12f453044ecf8d2a3959ec080971

2、https://cloud.tencent.com/developer/ask/sof/104711852/answer/114173132

3、https://cloud.tencent.com/developer/ask/sof/100838855

我不太明白他们回复的方法，请教各位大佬们了，谢谢了

唐王李世民

问题解决了，感谢所有回复的大佬们，特别感谢 @imdong 这个大佬指点下解决问题了

a2815347247

抓包抓一下接口

kpxyyyy

唐王李世民 发表于 2024-11-13 12:56
那个对资源影响太大了。

你想速度快又想不占资源还不想费劲，哪有这种好事。

唐王李世民

那个对资源影响太大了。

kpxyyyy

唐王李世民 发表于 2024-11-13 12:44
我是放在系统后台的，没办法用浏览器

不需要实装浏览器，浏览器可以在后台跑，就是执行时间不太快。

唐王李世民

陶泥猴子 发表于 2024-11-13 12:39
新人建议用浏览器爬， 大厂的反爬还是有点难度的

我是放在系统后台的，没办法用浏览器

唐王李世民

imdong 发表于 2024-11-12 13:07
还没搞定？

谢谢您的回复，toutiao的问题解决了，但是又有新问题了

陶泥猴子

新人建议用浏览器爬， 大厂的反爬还是有点难度的

kpxyyyy

imdong 发表于 2024-11-13 09:28
用浏览器需要等到页面加载完，速度上会慢些，所以没有触发机制
自动化和脚本个有利弊 ...

要是有个能够模拟执行需要浏览器的js但又不是浏览器的玩意就好了