python urllib和urllib3知識點總結(jié)
在python數(shù)據(jù)請求中,我們有一個標(biāo)準(zhǔn)庫專門處理這方面的問題,那就是urllib庫。在不同的python版本中,urllib也有著版本上的變化。本篇就urllib和urllib3這兩種庫為大家?guī)斫榻B,分析其基本的用法、不同點、使用注意和實例,希望能對大家在數(shù)據(jù)請求的學(xué)習(xí)有所幫助。
1、說明
在可供使用的網(wǎng)絡(luò)庫中,urllib和urllib3可能是投入產(chǎn)出比最高的兩個。它們能讓你通過網(wǎng)絡(luò)訪問文件,就像這些文件位于你的計算機中一樣。只需一個簡單的函數(shù)調(diào)用,就幾乎可將統(tǒng)一資源定位符(URL)可指向的任何動作作為程序的輸入。想想這種功能與模塊 re 結(jié)合起來使用都能做什么吧!你可下載網(wǎng)頁、從中提取信息并自動生成研究報告。
2、不同點
模塊urllib 和 urllib3的功能差不多,但 urllib3 更好一些。對于簡單的下載,urllib 綽綽有余。如果要實現(xiàn) HTTP 身份驗證或 Cookie,抑或編寫擴展來處理自己的協(xié)議,urllib3 可能是更好的選擇。
3、使用注意
要在沒有聯(lián)網(wǎng)的情況下嘗試使用模塊 urllib,可使用以 file: 打頭的 URL 訪問本地文件,如 file:c:textsomefile.txt(別忘了對反斜杠進(jìn)行轉(zhuǎn)義)。
4、實例
幾乎可以像打開本地文件一樣打開遠(yuǎn)程文件,差別是只能使用讀取模式,以及使用模塊 urllib.request 中的函數(shù) urlopen,而不是 open(或 file)。
>>> from urllib.request import urlopen>>> webpage = urlopen(’http://www.python.org’)
如果連接到了網(wǎng)絡(luò),變量 webpage 將包含一個類似于文件的對象,這個對象與網(wǎng)頁 https://www.python.org/ 相關(guān)聯(lián)
內(nèi)容擴展:
urllib
它是 Python 內(nèi)置的 HTTP 請求庫,也就是說我們不需要額外安裝即可使用,基本上涵蓋了基礎(chǔ)的網(wǎng)絡(luò)請求功能,它包含四個模塊:
urllib.request 用于打開和讀取url urllib.error 用于處理前面request引起的異常 urllib.parse 用于解析url urllib.robotparser 用于解析robots.txt文件urllib.request
urllib中,request這個模塊主要負(fù)責(zé)構(gòu)造和發(fā)起網(wǎng)絡(luò)請求,并在其中加入Headers、Proxy等。
利用它可以模擬瀏覽器的一個請求發(fā)起過程
到此這篇關(guān)于python urllib和urllib3知識點總結(jié)的文章就介紹到這了,更多相關(guān)python urllib和urllib3的內(nèi)容詳解內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. XML入門精解之結(jié)構(gòu)與語法2. 利用CSS3新特性創(chuàng)建透明邊框三角3. XML解析錯誤:未組織好 的解決辦法4. XML入門的常見問題(二)5. CSS3實例分享之多重背景的實現(xiàn)(Multiple backgrounds)6. HTML5 Canvas繪制圖形從入門到精通7. CSS Hack大全-教你如何區(qū)分出IE6-IE10、FireFox、Chrome、Opera8. 概述IE和SQL2k開發(fā)一個XML聊天程序9. HTML DOM setInterval和clearInterval方法案例詳解10. XML入門的常見問題(一)