文章詳情頁
python - 如何解決queue中同一個參數被多個線程同時調用？
瀏覽：124日期：2022-08-18 15:18:47
問題描述
本人想實現一個基礎的多線程爬蟲，初步想法是篩選目錄中多個電影標題是否有關鍵字，沒有的話就進入到詳情頁中查找電影類別中是否有關鍵字。下面是一部分代碼:
executor = ThreadPoolExecutor(max_workers=5) #Future模塊的多線程executor.map(get_page,whole) #get_page()為篩選標題的函數time.sleep(5)while not que.empty(): que_data = que.get() filter(que_data) #filter()為篩選分類關鍵字的函數,但每次五個線程同時訪問同一個url
但現在每次多個線程同時調用queue中的同一個url，請問有什么解決辦法嗎
問題解答
回答1：專門用一個線程讀取queue中的url，然后分配給某個線程
對該queue的訪問加鎖
相關文章：
1. 數組按鍵值封裝！2. docker不顯示端口映射呢？3. java - 阿里的開發手冊中為什么禁用map來作為查詢的接受類?4. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題5. python - flask _sqlalchemy 能否用中文作為索引條件6. python3.x - git bash如何運行.bat文件？7. javascript - ES6規范下 repeat 函數報錯 Invalid count value8. 主題切換問題，用過別人的webapp在后臺切換模板主題后手機端打開網頁就是切換到的主題了9. clone - git sourceTree克隆倉庫時,都不停彈出Password Required彈窗,即時輸入正確的git賬號密碼還是彈出10. html5 - 使用echarts中的圖表 一個頁面導入了好幾個js圖表 實現echarts圖表隨著瀏覽器窗口變化而變化時出現了問題
排行榜
網公網安備