文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運行的時候不能正常運行 遇到的問題如下截圖所示
瀏覽：129日期：2022-08-03 11:20:00
問題描述
爬蟲運行時一直是這樣的每一分鐘出現一條這樣的信息，無限循環。不能爬取下來數據
這是redis服務端的顯示
這樣是什么問題，望有高手可以為我解惑，謝謝。
問題解答
回答1：使用scrapy_redis，你要去投放url讓spider去爬取，你投放了嗎？比如
redis-cli lpush myspider:start_urls http://google.com
相關文章：
1. mysql 為什么主鍵 id 和 pid 都市索引, id > 10 走索引 time > 10 不走索引?2. css3 - 純css實現點擊特效3. javascript - Img.complete和img.onload判斷圖片加載完成有什么區別？4. java中返回一個對象，和輸出對像的值，意義在哪兒5. mysql - 在不允許改動數據表的情況下，如何優化以varchar格式存儲的時間的比較？6. docker網絡端口映射，沒有方便點的操作方法么？7. javascript - 有適合開發手機端Html5網頁小游戲的前端框架嗎？8. 推薦好用mysql管理工具？for mac和pc9. css - 網頁div區塊 像蘋果一樣可左右滑動 手機與電腦10. javascript - 關于apply（）與call（）的問題
排行榜
網公網安備