文章詳情頁
javascript - Python 爬蟲 Ajax 頁面直接request獲取居然速度比selenium慢。
瀏覽：72日期：2022-08-04 16:42:25
問題描述
因為在爬取的網站需要賬號登陸，不方便公開。因此我只能這樣大致性的咨詢，實在抱歉。
我需要爬一個目標網站的數據，發現在點擊下一頁時候，網址并沒有改變.通過源碼確定是使用了js外加ajax的樣子.通過chrome的控制臺，捕獲到點擊下一頁時候，向指定地址發送了一條帶多個參數的get指令。
原先采用selenium+phantomjs的方式暴力無腦方式爬取，一個頁面大概5S左右就能獲取，實際用瀏覽器打開也是這個速度。為了爬取大量的數據，準備改用多線程+直接requests.get目標地址的方式來采集，但是發現采集速度非常的慢，從5S降到的20s左右。
請教下，出現這樣現象的原因可能是什么？我該如何解決？請指教
問題解答
回答1：抱歉 浪費了各位的時間- -是我開始測試的時候，周圍有人再下迅雷，網絡炸了。抱歉 抱歉
相關文章：
1. 數組按鍵值封裝！2. Docker for Mac 創建的dnsmasq容器連不上/不工作的問題3. java - 阿里的開發手冊中為什么禁用map來作為查詢的接受類?4. docker不顯示端口映射呢？5. javascript - webpack中alias配置中的“@”是什么意思？6. 主題切換問題，用過別人的webapp在后臺切換模板主題后手機端打開網頁就是切換到的主題了7. python - flask _sqlalchemy 能否用中文作為索引條件8. javascript - 為什么創建多行多列的表格最后只有一行內有表格9. javascript - ES6規范下 repeat 函數報錯 Invalid count value10. html5 - 使用echarts中的圖表 一個頁面導入了好幾個js圖表 實現echarts圖表隨著瀏覽器窗口變化而變化時出現了問題
排行榜
網公網安備