問(wèn)題描述

頁(yè)面地址: http://acm.hdu.edu.cn/showpro...

爬取的目標(biāo):

想要爬取這些個(gè)公式的代碼，Chrome按F12看到的代碼:

但是爬取到的代碼如下:

這個(gè)代碼并不能顯示正確的公式，貌似這些代碼都是js生成的，該如何爬取到這些代碼。

問(wèn)題解答

這是MathJax工具解析的。在HTML代碼中查看公式p的下一個(gè)id為MathJax-Element-X的script，復(fù)制里面的內(nèi)容，在公式前后加兩個(gè)$$（前后都是兩個(gè)美元符，所以一共是四個(gè)）最后使用MathJax解析就可以了。說(shuō)再多不如上圖：

先抓包，把a(bǔ)jax請(qǐng)求抓出來(lái)，關(guān)鍵是看怎么構(gòu)造該請(qǐng)求，主要是一些參數(shù)的確定。套路大概下面幾個(gè):1 在上下文搜搜相關(guān)參數(shù)是否存在，如果是服務(wù)器返回的，就直接請(qǐng)求服務(wù)器獲得該參數(shù)；2 如果該參數(shù)很明顯不變或者變化有規(guī)律，可以直接偽造；3 如果參數(shù)很復(fù)雜且沒(méi)規(guī)律，那么需要搜索參數(shù)的key,找到加密的js，然后構(gòu)造參數(shù)的值，得到ajax url；4 實(shí)在難度太大那么用selenium等自動(dòng)化工具驅(qū)動(dòng)瀏覽器來(lái)訪問(wèn)，它會(huì)直接給你渲染好所有js