文章詳情頁
python3.x - 求助python下高效且支持大數據量的database2excel方案
瀏覽：134日期：2022-09-02 14:05:47
問題描述
大家好。小弟目前需要一個速度較好，且支持大數據量的數據庫導出至excel（xlsx）的方案小弟的機器配置不高，4核的CPU，可用內存在8G左右（不過是虛擬機，可能性能實際還要低一點）小弟之前嘗試過以下幾種方案openpyxl：大數據量情況下經常會吃光內存。實驗生成100W條/每條6個字段的數據，經常會把小弟這8G內存吃滿。生成excel時間大概在10分鐘~11分鐘左右pyexcel_xlsx：貌似這部分引用的還是openpyxl的東東…不過貌似有一定的優化，生成生成100W條/每條6個字段的數據，消耗內存近3G，時間在8分半左右
這兩個方案效率都非常低，而且小弟目前都沒有找到中途將內存寫入文件的方法…
請各位大大指點，是否還有其他的方案，最好是能夠控制單次寫入條數，例如每寫入5W條，進行一次提交，將內存的東東寫在文件中并釋放內存，再繼續寫入這樣的。（這樣也許可以考慮配合多線程來進行并行寫入，加快效率…）謝謝各位了
問題解答
回答1：pandas有分塊讀取的功能，關鍵詞chunksizedf = pd.read_csv('xxxx',chunksize=10000)可以去研究下文檔：http://pandas.pydata.org/pand...
標簽：
python
相關文章：
1. java中返回一個對象，和輸出對像的值，意義在哪兒2. docker網絡端口映射，沒有方便點的操作方法么？3. mysql - 在不允許改動數據表的情況下，如何優化以varchar格式存儲的時間的比較？4. docker start -a dockername 老是卡住，什么情況？5. css3 - 純css實現點擊特效6. apache web server 怎么限制某一個網站對服務器資源的占用？7. javascript - 關于apply（）與call（）的問題8. docker - 各位電腦上有多少個容器啊？容器一多，自己都搞混了，咋辦呢？9. 安全性測試 - nodejs中如何防mySQL注入10. python - pandas dataframe如何對某列的空數據位置進行update？update的函數是自定義的，參數是同一行的另外兩列數據
排行榜
網公網安備