文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：115日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. 數組按鍵值封裝！2. java - web項目中，用戶登陸信息存儲在session中好 還是cookie中好，取決于什么？3. angular.js - webpack build后的angularjs路由跳轉問題4. mysql - 大部分數據沒有行溢出的text字段是否需要拆表5. mac mysql 5.7.9 編碼修改無效6. mysql 新增用戶 主機名設定 失敗7. 單擊登錄按鈕無反應8. pdo - mysql 簡單注入疑問9. mysql - 查詢字段做了索引為什么不起效,還有查詢一個月的時候數據都是全部出來的，如果分拆3次的話就沒問題，為什么呢。10. mysql儲存json錯誤
排行榜
網公網安備