文章詳情頁
python - scrapy 爬取pages比實際進入items的多得多？
瀏覽：95日期：2022-07-23 10:55:26
問題描述
2017-05-12 23:39:52 [scrapy.extensions.logstats] INFO:Crawled 3000 pages (at 61 pages/min), scraped 454 items (at 10 items/min)
為什么我使用scrapy爬取的時候訪問pages要比實際進入items的的多的多?就是爬了半天items里沒有幾條數據入庫的有什么辦法解決么？
問題解答
回答1：重定向了，你看到了吧，重定向就得請求兩個頁面啊。還有就是看有不有頁面解析發生了錯誤。
相關文章：
1. javascript - JS中如何實現 DIV內部和鼠標的距離2. 谷歌訪問助手安裝不了3. Python中使用超長的List導致內存占用過大4. javascript - 怎么獲取一個頁面中的所數據，然后弄成一個json格式的字符串傳給后臺5. 文本處理 - 求教使用python庫提取pdf的方法？6. javascript - dropload+tab頁面，圖文頁滾動有兩個滾動區域怎么破？7. python - 如何用pandas處理分鐘數據變成小時線？8. 雙擊安裝程序，安裝不了9. html5 - 百度echart官網下載的地圖json數據亂碼10. pdo - mysql 簡單注入疑問
排行榜
網公網安備