文章詳情頁
python - 爬取某網(wǎng)站時(shí)需要瀏覽器刷新一次才能返回真實(shí)的頁面數(shù)據(jù)？
瀏覽：112日期：2022-08-10 17:31:34
問題描述
請(qǐng)求所需參數(shù)全部帶上了，并且已帶上cookies,已修改header，拿到的數(shù)據(jù)是提示刷新的HTML，如圖：
原網(wǎng)頁是動(dòng)態(tài)加載的瀑布流，即往不斷下拉就不斷有內(nèi)容呈現(xiàn)出來，靜候大神，目前采用scrapy框架，暫時(shí)還不想上selenium+phantomjs，太重了
問題解答
回答1：動(dòng)態(tài)加載的數(shù)據(jù)你應(yīng)該找ajax api請(qǐng)求，而不是在網(wǎng)頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個(gè)代理ip網(wǎng)頁，使用cookie但是報(bào)錯(cuò)好解決多了＝＝，你完全可以判斷當(dāng)前頁面內(nèi)容然后進(jìn)行模擬刷新～ 重要的是保持會(huì)話。
如果還不行的話，可以加referer再試一試
相關(guān)文章：
1. python 利用subprocess庫調(diào)用mplayer時(shí)發(fā)生錯(cuò)誤2. python - pycharm 自動(dòng)刪除行尾空格3. python - pandas按照列A和列B分組，將列C求平均數(shù)，怎樣才能生成一個(gè)列A,B,C的dataframe4. python - Pycharm的Debug用不了5. 安全性測(cè)試 - nodejs中如何防m(xù)ySQL注入6. datetime - Python如何獲取當(dāng)前時(shí)間7. javascript - 有適合開發(fā)手機(jī)端Html5網(wǎng)頁小游戲的前端框架嗎？8. javascript - 關(guān)于apply（）與call（）的問題9. python文檔怎么查看？10. html - eclipse 標(biāo)簽錯(cuò)誤
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備