av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

Python網(wǎng)頁(yè)解析器使用實(shí)例詳解

瀏覽:119日期:2022-07-23 18:07:59

python 網(wǎng)頁(yè)解析器

1、常見(jiàn)的python網(wǎng)頁(yè)解析工具有:re正則匹配、python自帶的html.parser模塊、第三方庫(kù)BeautifulSoup(重點(diǎn)學(xué)習(xí))以及l(fā)xm庫(kù)。

Python網(wǎng)頁(yè)解析器使用實(shí)例詳解

2、常見(jiàn)網(wǎng)頁(yè)解析器分類(lèi)

(1)模糊匹配 :re正則表達(dá)式即為字符串式的模糊匹配模式;

(2)結(jié)構(gòu)化解析: BeatufiulSoup、html.parser與lxml,他們都以DOM樹(shù)結(jié)構(gòu)為標(biāo)準(zhǔn),進(jìn)行標(biāo)簽結(jié)構(gòu)信息的提取。

3.DOM樹(shù)解釋?zhuān)杭次臋n對(duì)象模型(Document Object Model),其樹(shù)形標(biāo)簽結(jié)構(gòu),請(qǐng)見(jiàn)下圖。

所謂結(jié)構(gòu)化解析,就是網(wǎng)頁(yè)解析器它會(huì)將下載的整個(gè)HTML文檔當(dāng)成一個(gè)Doucment對(duì)象,然后在利用其上下結(jié)構(gòu)的標(biāo)簽形式,對(duì)這個(gè)對(duì)象進(jìn)行上下級(jí)的標(biāo)簽進(jìn)行遍歷和信息提取操作。

# 引入相關(guān)的包,urllib與bs4,是獲取和解析網(wǎng)頁(yè)最常用的庫(kù)from urllib.request import urlopenfrom bs4 import BeautifulSoup# 打開(kāi)鏈接html=urlopen('https://www.datalearner.com/website_navi')# 通過(guò)urlopen獲得網(wǎng)頁(yè)對(duì)象,將其放入BeautifulSoup中,bsObj存放的目標(biāo)網(wǎng)頁(yè)的html文檔bsObj=BeautifulSoup(html.read())print(bsObj)

# soup = BeautifulSoup(open(url,’r’,encoding = ’utf-8’))

import requestsfrom bs4 import BeautifulSoupheaders={’User-Agent’: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36’,’referer’:'www.mmjpg.com' }all_url = ’http://www.mmjpg.com/’ #’User-Agent’:請(qǐng)求方式 #’referer’:從哪個(gè)鏈接跳轉(zhuǎn)進(jìn)來(lái)的start_html = requests.get(all_url, headers=headers) #all_url:起始的地址,也就是訪問(wèn)的第一個(gè)頁(yè)面 #headers:請(qǐng)求頭,告訴服務(wù)器是誰(shuí)來(lái)了。 #requests.get:一個(gè)方法能獲取all_url的頁(yè)面內(nèi)容并且返回內(nèi)容。Soup = BeautifulSoup(start_html.text, ’lxml’) #BeautifulSoup:解析頁(yè)面 #lxml:解析器 #start_html.text:頁(yè)面的內(nèi)容

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 福利影视 | 国产日韩视频 | 天天澡天天狠天天天做 | 黄色资源在线观看 | 亚洲国产日韩在线 | 亚洲毛片av | 国产免费黄色 | 亚洲精品午夜精品 | 老熟女毛片| 亚洲精品久久久久久久久 | 五月婷婷影院 | 99在线精品视频 | 日本丰满肉感bbwbbwbbw | a毛片视频 | 日本www色 | 在线观看a视频 | 91中文在线 | 天天操天天做 | 欧美精品久久久久 | 伊人狠狠干 | 国产伦精品一区二区三区88av | 亚洲精品在线免费 | 天天射日日干 | 欧美一页 | 成人特级毛片 | 国产精品日韩在线 | 黄色天堂 | 国产精品不卡 | 欧美一级黄色录像 | 成人激情在线观看 | 欧美高清一区二区 | 亚洲视频在线播放 | 色综合99 | 日韩网站免费观看 | 中国黄色录像 | 日日干夜夜爽 | 国产不卡视频 | 在线观看av免费 | 欧美性生活网站 | 国产精品乱码一区二区三区 | 一级中国毛片 |