Python使用mmap實現(xiàn)內(nèi)存映射文件操作
內(nèi)存映射通常可以提高I/O的性能,因為使用內(nèi)存映射時,不需要對每個訪問都建立一個單獨的系統(tǒng)調(diào)用,也不需要在緩沖區(qū)之間復制數(shù)據(jù),內(nèi)核和用戶都能很方便的直接訪問內(nèi)存。
說明1)什么叫映射?
==>就是給一個對象(可以是變量、物理等),起一個唯一的別名,建立一一對應(yīng)的關(guān)系;
2)文件映射:將磁盤上的文件的位置,與進程邏輯地址空間中一塊大小相同的區(qū)域之間的一一對應(yīng);
3)映射后得到一個類似數(shù)組類型的東西(mmap.mmap()對象),可以通過類似操作數(shù)組的方式,達到對文件內(nèi)容更改的目的;
優(yōu)點1)相對于二進制文件的缺陷通常讀寫文件時,使用read()和write()方法,這兩種方法都是以流的形式進行的,也就是一個字節(jié)接著一個字節(jié)的讀寫;如果想從某一位置開始讀寫,使用seek()方法調(diào)整文件指針,此方法對二進制文件的操作非常不方便,因為相對于二進制文件,數(shù)據(jù)寫入文件時是以數(shù)組的形式,將數(shù)據(jù)映射到文件內(nèi),然后就以訪問數(shù)組的形式訪問文件,而且在對文件進行修改后,能再次通過此數(shù)組將數(shù)據(jù)同步到文件中;
2)某些嵌入式設(shè)備,寄存器被編址到內(nèi)存地址空間,我們可以映射/dev/mem某范圍,取訪問這些寄存器例如:在樹莓派(為學習計算機編程教育設(shè)計的一種微型電腦)上,有一個pwm波形的發(fā)生器,若想使用此發(fā)生器,就要訪問樹莓派的寄存器;實際上,寄存器就是物理地址的某一特定空間;此時,如果要訪問寄存器,需要將 /dev/mem 的某一范圍,映射到內(nèi)存中,用訪問內(nèi)存的方式來訪問寄存器;
3)如果多個進程映射同一個文件,還能實現(xiàn)進程通信的目的多個進程把同一個文件映射到各自的內(nèi)存空間當中,實際上它們看到的是同一個視圖,也能實現(xiàn)進程通信的目的;
本篇,將詳細介紹Python內(nèi)存映射庫:mmap。
mmap(讀文件)使用mmap()函數(shù)可以創(chuàng)建一個內(nèi)存映射文件。該函數(shù)的第1個參數(shù)是一個文件描述符,可以通過file對象的fileno()函數(shù)獲取;第2個參數(shù)是要映射的文件部分大小(單位字節(jié)),如果該值為0,映射整個文件,如果該參數(shù)大于文件大小,則擴展該文件。
示例如下:
import mmapwith open(’英文文檔.txt’,’r’) as f: with mmap.mmap(f.fileno(),0,access=mmap.ACCESS_READ) as m:print(m.read(10))print(m.read(10))print(m[:-10])
運行之后,效果如下:
這里讀寫會根據(jù)文件指針進行移動,比如開始讀10個字符,那么第2次讀就會接著11個字符開始在讀,不會返回起點,而通過切片或者seek()函數(shù)可以將指針重置。
至于access參數(shù),表示以什么方式訪問,這里以讀的方式。
需要特別注意的是,windows不支持創(chuàng)建長度為0的映射。
write(寫文件)寫文件比較簡單,這里我們直接看一段代碼:
import mmapword = b’The’with open(’英文文檔.txt’, ’r+’) as f: with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_WRITE) as m:loc = m.find(word)m[loc:loc + len(word)] = b’lyj’print(m.read())
運行之后,首字母The,就被我們替換成'lyj'了,效果如下:
當然,這里除了切片寫入之外,也可以使用write()等文件操作方法進行操作,與文件操作一樣。需要注意的是假如access等于ACCESS_COPY,那么不會把修改的內(nèi)容寫入磁盤上的文件。
到此這篇關(guān)于Python使用mmap實現(xiàn)內(nèi)存映射文件操作的文章就介紹到這了,更多相關(guān)Python 內(nèi)存映射文件操作內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. python如何實現(xiàn)word批量轉(zhuǎn)HTML2. 利用單元測試對PHP代碼進行檢查3. python excel和yaml文件的讀取封裝4. python3實現(xiàn)往mysql中插入datetime類型的數(shù)據(jù)5. moment轉(zhuǎn)化時間戳出現(xiàn)Invalid Date的問題及解決6. Java8內(nèi)存模型PermGen Metaspace實例解析7. python爬蟲實戰(zhàn)之制作屬于自己的一個IP代理模塊8. 如何對php程序中的常見漏洞進行攻擊9. python 利用toapi庫自動生成api10. 詳解Python利用configparser對配置文件進行讀寫操作
