1. xpath 的介紹

xpath是一門在XML文檔中查找信息的語言

優(yōu)點(diǎn)： 可以在xml中找信息 支持HTML的查找 可以通過元素和屬性進(jìn)行導(dǎo)航

但是Xpath需要依賴xml的庫，所以我們需要去安裝lxml的庫。

安裝lxml庫

我們先要安裝lxml的庫，直接在pycharm里安裝即可：

XML的樹形結(jié)構(gòu)：

元素-元素-屬性-文本

使用XPath選取節(jié)點(diǎn)：

nodename: 選取此節(jié)點(diǎn)的所有節(jié)點(diǎn) /從根節(jié)點(diǎn)選擇 // 從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)，而不考慮他們的位置 . 選擇當(dāng)前節(jié)點(diǎn) .. 選擇當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)（此處是兩個點(diǎn)，瀏覽器默認(rèn)顯示3個..） /text() 獲取當(dāng)前路徑下的文本內(nèi)容 /@xxx 提取當(dāng)前路徑下標(biāo)簽的屬性值 選取節(jié)點(diǎn)的表達(dá)式舉例：

2. 爬取起點(diǎn)小說網(wǎng)在瀏覽器中獲取書名和作者測試

在谷歌里安裝一個xpath的插件

在html中查找book-mid-info

我們要獲取小說的名稱： 也就是 //div[@class=’book-mid-info’]/h4/a/txt()

再加一個獲取作者：

使用xpath獲取起點(diǎn)小說網(wǎng)的數(shù)據(jù)

# 作者：互聯(lián)網(wǎng)老辛# 開發(fā)時間：2021/4/8/0008 8:24import requestsfrom lxml import etreeurl='https://www.qidian.com/rank/yuepiao'headers={’user-agent’:’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400’}#發(fā)送請求resp=requests.get(url,headers)e=etree.HTML(resp.text) #類型轉(zhuǎn)換，把str轉(zhuǎn)變?yōu)閏lass ’lxml.etree._ELementprint(type(e))names=e.xpath(’//div[@class='book-mid-info']/h4/a/text()’)authors=e.xpath(’//p[@class='author']/a[1]/text()’)print(names)print(authors)#名稱和作者對應(yīng)for name,authors in zip(names,authors): print(name,':',authors)

以上就是python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)的詳細(xì)內(nèi)容，更多關(guān)于python XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！