使用python 計(jì)算百分位數(shù)實(shí)現(xiàn)數(shù)據(jù)分箱代碼
對(duì)于百分位數(shù),相信大家都比較熟悉,以下解釋源引自百度百科。
百分位數(shù),如果將一組數(shù)據(jù)從小到大排序,并計(jì)算相應(yīng)的累計(jì)百分位,則某一百分位所對(duì)應(yīng)數(shù)據(jù)的值就稱為這一百分位的百分位數(shù)。可表示為:一組n個(gè)觀測(cè)值按數(shù)值大小排列。如,處于p%位置的值稱第p百分位數(shù)。
因?yàn)榘俜治粩?shù)是采用等分的方式劃分?jǐn)?shù)據(jù),因此也可用此方法進(jìn)行等頻分箱。
import pandas as pdimport numpy as npimport randomt=pd.DataFrame(columns=[’l’,’s’])#隨機(jī)生成1000個(gè)0到999整數(shù)t[’l’]=[random.randint(0,999) for _range in range(1000)]#定義s為1,便于統(tǒng)計(jì)t[’s’]=1#通過np.percentile找到分位點(diǎn)l_bin=[]for i in range(0,101,10): l_bin.append(np.percentile(t[’l’],i))#分位點(diǎn)最后一個(gè)數(shù)加上一個(gè)極小的數(shù),否則切分后數(shù)字999會(huì)標(biāo)記為nanl_bin[-1]+=1/1e10print(’分位點(diǎn):’,np.array(l_bin).round(2))#對(duì)隨機(jī)數(shù)進(jìn)行切分,right=False時(shí)左閉右開t[’box’]=pd.cut(t[’l’],l_bin,right=False)tj=t.groupby(’box’)[’s’].agg(’sum’)print(’分箱統(tǒng)計(jì)’)print(tj)#生成新的標(biāo)簽label=[]for i in range(len(l_bin)-1): label.append(str(l_bin[i].round(4))+’+’)#原標(biāo)簽和自定義的新標(biāo)簽生成字典 list_box_td=list(set(t[’box’]))list_box_td.sort()dict_t=dict(zip(list_box_td,label))#根據(jù)字典進(jìn)行替換t[’new_box’]=t[’box’].replace(dict_t)print(’新分箱統(tǒng)計(jì)’)tj=t.groupby(’new_box’)[’s’].agg(’sum’)print(tj)del t[’s’]print(t.head())
輸出結(jié)果:
分位點(diǎn): [ 0. 90.9 194.6 290. 386. 473.5 589. 688. 783.2 884.2 997. ]分箱統(tǒng)計(jì)box[0.0, 90.9) 100[90.9, 194.6) 100[194.6, 290.0) 99[290.0, 386.0) 99[386.0, 473.5) 102[473.5, 589.0) 99[589.0, 688.0) 100[688.0, 783.2) 101[783.2, 884.2) 100[884.2, 997.0) 100Name: s, dtype: int64新分箱統(tǒng)計(jì)new_box0.0+ 100194.6+ 99290.0+ 99386.0+ 102473.5+ 99589.0+ 100688.0+ 101783.2+ 100884.2+ 10090.9+ 100Name: s, dtype: int64 l box new_box0 253 [194.6, 290.0) 194.6+1 468 [386.0, 473.5) 386.0+2 130 [90.9, 194.6) 90.9+3 476 [473.5, 589.0) 473.5+4 656 [589.0, 688.0) 589.0+
可以看出每個(gè)分箱內(nèi),約有100個(gè)數(shù)字。根據(jù)這個(gè)方法,可以自定義一些標(biāo)簽。
補(bǔ)充拓展:python 計(jì)算動(dòng)態(tài)時(shí)點(diǎn)的百分位數(shù)
【說(shuō)明】
1、動(dòng)態(tài)時(shí)點(diǎn):每次計(jì)算的數(shù)據(jù)框?yàn)榻刂褂诋?dāng)前行的數(shù)據(jù),即累計(jì)行(多次計(jì)算);
2、靜態(tài)時(shí)點(diǎn)(當(dāng)前時(shí)間):計(jì)算的數(shù)據(jù)框?yàn)樗行校ㄒ淮斡?jì)算);
【代碼】
test = pd.DataFrame(np.random.randint(1, 10, size=10), columns=[’value’]) # 生成[1,10]的隨機(jī)整數(shù)test[’pct_sf’] = test.index.map(lambda x: test.ix[:x].value.rank(pct=True)[x]) # 動(dòng)態(tài)時(shí)點(diǎn)test[’pct’] = test.value.rank(pct=True) # 當(dāng)前時(shí)點(diǎn)test
以上這篇使用python 計(jì)算百分位數(shù)實(shí)現(xiàn)數(shù)據(jù)分箱代碼就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. moment轉(zhuǎn)化時(shí)間戳出現(xiàn)Invalid Date的問題及解決2. python爬蟲實(shí)戰(zhàn)之制作屬于自己的一個(gè)IP代理模塊3. 如何在jsp界面中插入圖片4. 詳解盒子端CSS動(dòng)畫性能提升5. asp批量添加修改刪除操作示例代碼6. HTML 絕對(duì)路徑與相對(duì)路徑概念詳細(xì)7. .NET6打包部署到Windows Service的全過程8. Ajax返回值類型與用法實(shí)例分析9. 解決ajax請(qǐng)求后臺(tái),有時(shí)收不到返回值的問題10. ajax請(qǐng)求后臺(tái)得到j(luò)son數(shù)據(jù)后動(dòng)態(tài)生成樹形下拉框的方法
