複製鏈接
請複製以下鏈接發送給好友

稀疏文檔

鎖定
稀疏文檔又稱稀疏文件(英語:sparse file),是一種計算機文件,它能嘗試在文件內容大多為空時更有效率地使用文件系統的空間。它的原理是以簡短的信息(元數據)表示空數據塊,而不是在在磁盤上佔用實際空間來存儲空數據塊。只有真實(非空)的數據塊會按原樣寫入磁盤。
中文名
稀疏文檔
外文名
sparse file
別    名
稀疏文件

稀疏文檔簡介

稀疏文件(英語:sparse file)是一種計算機文件,它能嘗試在文件內容大多為空時更有效率地使用文件系統的空間。它的原理是以簡短的信息(元數據)表示空數據塊,而不是在在磁盤上佔用實際空間來存儲空數據塊。只有真實(非空)的數據塊會按原樣寫入磁盤。
在讀取稀疏文件時,文件系統會按元數據在運行時將這些透明轉換為“真實”的數據塊,即填充為零。應用程序不會察覺這個轉換。 [1] 
大多數現代的文件系統支持稀疏文件,包括大多數Unix變種和NTFS。蘋果的HFS+不提供稀疏文件支持,但在OS X中,虛擬文件系統層支持在任何受支持文件系統中存儲稀疏文件,包括HFS+。2016年6月在WWDC宣佈的蘋果文件系統(APFS)支持稀疏文件。稀疏文件常被用在磁盤映像、數據庫快照、日誌文件和科學應用中。

稀疏文檔優勢

稀疏文件的優勢是,它分配的存儲空間只在需要時使用:這樣節省了磁盤空間,並且可以創建很大的文件,即使文件系統中的可用空間不足。這也減少了首次寫入的時間,因為系統不會分配“跳過”的空間。如果初始分配需要寫入全零到空間,這也使得系統不必寫入兩次。

稀疏文檔缺點

稀疏文件的缺點包括:稀疏文件可能碎片化;文件系統的空餘空間報告可能產生誤導;包含稀疏文件的文件系統被填滿可能產生意外效果,例如只是重寫現有文件的內容時遭遇磁盤已滿或超出配額錯誤——開發者未預料到文件可能被稀疏;使用非顯式支持的計算機程序複製稀疏文件可能會複製整個內容,即未壓縮的文件大小,包括未實際在磁盤上分配的零空間——也就是使稀疏文件失去稀疏屬性。稀疏文件也不是被所有備份軟件和應用支持。不過,VFS的實現迴避了先前兩個缺點。在Windows上加載稀疏的可執行文件(exe或dll)可能需要更多時間,因為文件不被映射到內存和緩存。

稀疏文檔Windows的NTFS

如果一個文件的大部分數據是0,則這個文件被稱包含了稀疏數據集。 文件壓縮可以有效率地表示稀疏文件,但壓縮與解壓會帶來時間代價。 NTFS文件系統支持稀疏文件表示,並對文件的讀寫操作透明。
為確定文件系統是否支持稀疏文件,調用GetVolumeInformation函數,使用lpFileSystemFlags參數,檢查返回結果對應於FILE_SUPPORTS_SPARSE_FILES比特標誌。 DWORD dwFileSystemFlags = 0; BOOL bOk = GetVolumeInformation("C:\\", NULL, 0, NULL, NULL, &dwFileSystemFlags, NULL, 0); bOk = dwFileSystemFlags&FILE_SUPPORTS_SPARSE_FILES; 判斷一個文件是否是稀疏文件:GetFileInformationByHandle
大部分文件,在改變它的EndOfFile的時候,中間的空白會被操作系統填0,也就是説,如果用SetFilePointer和SetEndOfFile來產生一個很大的文件,那麼這個文件它佔用的是真正的磁盤空間,即使裏面全是0,系統默認的也會在DeviceIoControl中的ControlCode裏用FSCTL_SET_ZERO_DATA標記,這個標記使得那些文件空洞被0所填充。為了節省磁盤空間,必須把一個文件聲明為稀疏文件,以便讓系統把那些無用的0字節壓縮,並釋放相應的磁盤空間,這需要用DeviceIoControl將標記改為FSCTL_SET_SPARSE。

稀疏文檔參見

  • 文件系統的對比
參考資料
  • 1.    Giampaolo, Dominic. Practical File System Design with the Be File System (PDF). Morgan Kaufmann Publishers. 1999.