文章詳情頁
我要在命令行同時不間斷地運行八九個python爬蟲程序(爬不同的網站)?
瀏覽:108日期:2022-08-21 18:56:02
問題描述
但是過一段時間總有一兩個程序會無響應,好像是被掛起了,CPU占用率并不高,不到10%,內存占用也不算多,60%左右,爬蟲程序是去批量下載文件,平均每個幾兆到十幾兆。我設置了這幾個程序的優先級高于普通標準,但是還是會出現無響應的狀況。版本 python 2.7
求問:這個問題算不算進程被掛起?以及應該如何解決這個問題?
謝謝!
問題解答
回答1:這種問題得自己調,多打log
回答2:Python 有 GIL
相關文章:
1. docker - 各位電腦上有多少個容器啊?容器一多,自己都搞混了,咋辦呢?2. java - spring boot 如何打包成asp.net core 那種獨立應用?3. java - 在用戶不登錄的情況下,用戶如何添加保存到購物車?4. datetime - Python如何獲取當前時間5. javascript - nginx反向代理靜態資源403錯誤?6. docker網絡端口映射,沒有方便點的操作方法么?7. 安全性測試 - nodejs中如何防mySQL注入8. javascript - 關于apply()與call()的問題9. docker start -a dockername 老是卡住,什么情況?10. python - 調用api輸出頁面,會有標簽出現,請問如何清掉?
排行榜
