文章詳情頁
python - 使用scrapy框架爬百度圖片被墻
瀏覽：108日期：2022-06-30 14:19:37
問題描述
請求地址url是通過firefox查看得到的json的地址，用瀏覽器可以打開，但是用scrapy爬的時候就被ban了求解決辦法。
https://image.baidu.com/searc...
問題解答
回答1：在 settings.py 將 ROBOTSTXT_OBEY = False 試試。
回答2：不要加hearders試試
回答3：贊成樓上，如果還會被墻?？刹捎胹crapy+selenium+phantomjs的方式。
相關文章：
1. 大兄弟們，你們都用什么框架開發 web app2. mysql - 電商如何存儲營業額數據3. css - PC端不同分辨率下字體大小呈現4. css如何實現兩欄布局，左邊固定寬度，右邊寬度自適應，且高度和瀏覽器當前高度一致？5. javascript - 表單ajax提交后跳轉,手機按返回又進入這個表單頁了!!6. javascript - sublime快鍵鍵問題7. javascript - avalon使用:duplex設置select默認option的bug8. javascript - 有適合開發手機端Html5網頁小游戲的前端框架嗎？9. css3 - css做動畫效果10. HTML5禁止img預覽該怎么解決？
排行榜
網公網安備