av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python多維數組分位數的求取方式

瀏覽:73日期:2022-08-04 14:11:54

在python中計算一個多維數組的任意百分比分位數,只需用np.percentile即可,十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展:如何解決hive同時計算多個分位數的問題

眾所周知,原生hive沒有計算中位數的函數(有的平臺會有),只有計算分位數的函數percentile

在數據量不大的時候,速度尚可。但是數據量一上來之后,完全計算不出來。

那么如何解決這個問題呢,我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數,速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組,value_mccgroup的分位數

第一步:利用row_number() over()給value_mccgroup在分組里排序,記錄下排名

python多維數組分位數的求取方式

第二步:計算mkt_label,mccgroup,month分組下的數據總數

python多維數組分位數的求取方式

第三步:join前兩步的結果,取rank=你需要計算的分位數位置,想計算多少個分位數就計算多少個

python多維數組分位數的求取方式

第四步:再排一次序,這次數據量就已經少了很多了,畢竟每組里面只有幾個數據,記錄排名

python多維數組分位數的求取方式

第五步:得到具體的分位數

python多維數組分位數的求取方式

第六步:行轉成列,所有分位數計算完畢

python多維數組分位數的求取方式

后來查看了下SQL代碼的執行樹,發現percentile利用了map來存數據,怪不得這么耗內存,其實時間久并不是算的時間久,是因為內存不夠了,系統一直在回收內存

python多維數組分位數的求取方式

而rank over 僅僅就是個排序而已

python多維數組分位數的求取方式

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 欧美视频三区 | av片在线观看 | 久精品视频 | 国产精品麻豆免费版 | 激情综合五月天 | 精品久久网站 | 黄色成人在线视频 | 性欧美69 | 成人免费激情视频 | 亚洲在线视频观看 | 婷婷色在线 | 欧美成人xxx | 亚洲国产福利 | 国产成人精品亚洲男人的天堂 | 精品视频久久 | 欧美日本在线观看 | 午夜免费小视频 | 午夜拍拍 | 日韩av在线影院 | 国产福利在线播放 | 一区二区在线看 | 少妇免费视频 | 91视频精品 | 人与拘一级a毛片 | 亚洲 欧美 激情 另类 校园 | 精品视频一区二区三区 | 九九热精品在线观看 | 欧美成人一级片 | 男女免费视频 | 欧美在线视频一区 | 成人深夜福利视频 | 国产农村妇女aaaaa视频 | 一区二区三区免费 | 成人国产精品视频 | 一区二区三区中文字幕 | 涩涩视频免费看 | 久久免费小视频 | 天天干天天曰 | 成人免费看片视频 | 国产精品第二页 | 亚洲在线视频 |