文章詳情頁

python爬取頁面時，一個URL無法訪問導致報錯，然后跳過這個報錯繼續抓取？

瀏覽：67日期：2022-09-13 09:16:56

問題描述

1.抓取到一個錯誤的URl python爬取頁面時，一個URL無法訪問導致報錯，然后跳過這個報錯繼續抓取？

2.我的比蠢笨的辦法：

python爬取頁面時，一個URL無法訪問導致報錯，然后跳過這個報錯繼續抓取？

問題解答

回答1：

curl里面有個可以設置返回header的，如果取到的數據非200狀態，直接跳過處理就好了。

Python 編程

上一條：python - 用開源軟件快速搭建數據分析平臺，請指教下一條：網頁爬蟲 - Python+Selenium+PhantomJs爬蟲,如何取得新打開頁面的源碼？

排行榜

					
					數組按鍵值封裝！
java - web項目中，用戶登陸信息存儲在session中好 還是cookie中好，取決于什么？
angular.js - webpack build后的angularjs路由跳轉問題
表格對其 只涉及到對其，沒有涉及到大小，長寬還有背景色類的嗎
javascript - vue-resource 如何二次封裝
pdo - mysql 簡單注入疑問
有些網站為何不讓訪問首頁？（或者說不設首頁那個按鈕）
mac mysql 5.7.9 編碼修改無效
Mysql取下一條記錄
docker不顯示端口映射呢？
java - 關于input框內容劇中的問題
				

熱門標簽

av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

python爬取頁面時，一個URL無法訪問導致報錯，然后跳過這個報錯繼續抓取？