重復(fù)數(shù)據(jù)刪除(Data deduplication)無(wú)疑是存儲(chǔ)行業(yè)近年來(lái)最熱鬧的技術(shù)，它消除了傳統(tǒng)備份技術(shù)衍生出的重復(fù)存儲(chǔ)數(shù)據(jù)問題，進(jìn)而為企業(yè)節(jié)省成本。

　　然而，今日的企業(yè)面臨的數(shù)據(jù)保護(hù)問題相當(dāng)復(fù)雜，備份數(shù)據(jù)重復(fù)儲(chǔ)存的問題僅僅是冰山一角，但在某些重復(fù)數(shù)據(jù)刪除廠商的華麗包裝下，這一技術(shù)成了解決所有數(shù)據(jù)保護(hù)問題的“萬(wàn)能藥”，導(dǎo)致用戶對(duì)重復(fù)數(shù)據(jù)刪除產(chǎn)品過(guò)多的期望，在對(duì)技術(shù)本身了解不夠、欠缺全盤考慮的情況下便貿(mào)然部署了重復(fù)數(shù)據(jù)刪除方案，結(jié)果卻往往不如預(yù)期，甚至付出比省下的磁盤還要高的成本，因小失大、得不償失。

　　用戶在選擇具備重復(fù)數(shù)據(jù)刪除技術(shù)的產(chǎn)品時(shí)，如何針對(duì)真正需求理性做出判斷，而不被銷售廣告和專業(yè)術(shù)語(yǔ)所迷惑呢?不妨參考以下五項(xiàng)建議：

　　不要掉入重復(fù)刪除比率的迷局

　　幾乎所有重復(fù)數(shù)據(jù)刪除產(chǎn)品廠商都會(huì)強(qiáng)調(diào)自己可以達(dá)到多高的重復(fù)數(shù)據(jù)刪除比率，有些甚至宣稱可以達(dá)到500：1這樣不可思議的數(shù)據(jù)。事實(shí)上，重復(fù)數(shù)據(jù)刪除比率完全取決于數(shù)據(jù)的類型和備份策略，跟技術(shù)本身的關(guān)聯(lián)并不大。舉例來(lái)說(shuō)，如果數(shù)據(jù)的類型為Office文件、電子郵件，由于數(shù)據(jù)結(jié)構(gòu)本身的重復(fù)性高，能被刪除的部分自然就比較多，如果是已經(jīng)壓縮過(guò)的影音、圖片等文件，重復(fù)數(shù)據(jù)刪除的效果就相當(dāng)有限;采用全備份的重復(fù)數(shù)據(jù)刪除比率，也遠(yuǎn)大于增量或差量備份，因此，比較不同產(chǎn)品之間的重復(fù)數(shù)據(jù)刪除比率其實(shí)是沒有意義的，更不能借些來(lái)判別產(chǎn)品的優(yōu)劣。

　　不能影響服務(wù)器性能

　　某些采用資源端重復(fù)數(shù)據(jù)刪除技術(shù)的解決方案，必須在生產(chǎn)服務(wù)器上安裝代理程序來(lái)執(zhí)行重復(fù)數(shù)據(jù)刪除，無(wú)可避免的給生產(chǎn)服務(wù)器造成了相當(dāng)大的性能負(fù)擔(dān)。任何改變傳統(tǒng)的數(shù)據(jù)保護(hù)方式，都必須建立在不影響系統(tǒng)運(yùn)行的前提下才能被接受，換句話說(shuō)，服務(wù)器的性能絕不能受到數(shù)據(jù)保護(hù)方案的牽制(無(wú)論是應(yīng)用服務(wù)器還是，因此在這個(gè)前提下，目標(biāo)端重復(fù)數(shù)據(jù)刪除技術(shù)才是最理想的選擇。以飛康最新推出的FDS為例，只對(duì)備份到FDS內(nèi)的數(shù)據(jù)進(jìn)行分析比對(duì)，然后再刪除重復(fù)數(shù)據(jù)，前端服務(wù)器不需要安裝代理程序，所有運(yùn)行負(fù)載也都集中在FDS上，重復(fù)數(shù)據(jù)刪除工作對(duì)生產(chǎn)服務(wù)器的性能毫無(wú)影響。

　　在線處理不一定比后處理好

　　重復(fù)數(shù)據(jù)刪除技術(shù)依據(jù)數(shù)據(jù)處理方式的不同，分成備份與重復(fù)數(shù)據(jù)刪除同時(shí)執(zhí)行的在線處理(Inline)，以及備份完成后執(zhí)行重復(fù)數(shù)據(jù)刪除的后處理(Post processing)兩種，有些廠商宣稱在線處理才是最先進(jìn)的技術(shù)，這其實(shí)是錯(cuò)誤的觀念。

　　事實(shí)上無(wú)論采用哪種數(shù)據(jù)處理方式，絕大多數(shù)重復(fù)數(shù)據(jù)刪除技術(shù)都是基于業(yè)界標(biāo)準(zhǔn)的哈希算法(Hash)，僅有少數(shù)采用自主開發(fā)的專利技術(shù)，其運(yùn)行方式也都大同小異：追蹤核對(duì)數(shù)據(jù)區(qū)塊，當(dāng)新數(shù)據(jù)寫入硬盤前先經(jīng)由系統(tǒng)的掃描與核對(duì)，判定硬盤上是否存有相同的副本，如果有的話，這部分?jǐn)?shù)據(jù)將只存入一個(gè)指向該副本地址的指針，不會(huì)重復(fù)儲(chǔ)存，進(jìn)而達(dá)到節(jié)省磁盤空間的目的。兩者的差異在于，在線處理運(yùn)用了大量的內(nèi)存作為數(shù)據(jù)寫入硬盤前的緩存空間，后處理則是先將備份數(shù)據(jù)寫入硬盤后，再進(jìn)行分析比對(duì)，然后刪除重復(fù)數(shù)據(jù)。

　　乍看之下，在線處理似乎是效率比較高，但是，有兩個(gè)問題不可忽視：

　　1. 數(shù)據(jù)處理速度慢：在線處理在備份資料寫入前，必須先暫時(shí)存在內(nèi)存中執(zhí)行內(nèi)容比對(duì)與刪除演算等工作，這些動(dòng)作會(huì)消耗大量CPU資源，亦會(huì)不可避免的拖慢備份速度，某些產(chǎn)品的備份性能甚至比磁帶機(jī)還差，這樣很容易導(dǎo)致備份窗口不足，能在要求時(shí)限內(nèi)完成備份的數(shù)據(jù)量也相對(duì)變少。

　　2. 可靠性令人擔(dān)心：在線處理方式由于是在數(shù)據(jù)寫入磁盤的同時(shí)進(jìn)行比對(duì)、刪除重復(fù)數(shù)據(jù)、保留文件指針，沒有校驗(yàn)、核對(duì)的機(jī)制，也就是說(shuō)，沒有廠商敢保證文件經(jīng)過(guò)重復(fù)數(shù)據(jù)刪除后，恢復(fù)時(shí)的數(shù)據(jù)是100%正確無(wú)誤的，萬(wàn)一數(shù)據(jù)處理的某個(gè)環(huán)節(jié)出現(xiàn)錯(cuò)誤，系統(tǒng)內(nèi)儲(chǔ)存的備份數(shù)據(jù)就只是一堆無(wú)法識(shí)別的代碼，不得不令人擔(dān)心其可靠性問題。

　　相比之下，后處理方式的重復(fù)數(shù)據(jù)刪除技術(shù)就不用擔(dān)心性能和可靠性的問題了。還是以飛康FDS為例，由于備份數(shù)據(jù)傳輸過(guò)程不受重復(fù)數(shù)據(jù)刪除運(yùn)行程序的干擾，能充分發(fā)揮高速磁盤的I/O處理能力，如果搭配備份服務(wù)器的Hosted backup主機(jī)式備份功能，還能運(yùn)用服務(wù)器內(nèi)部的高速鏈路取代速度較慢的以太網(wǎng)，消除備份服務(wù)器到存儲(chǔ)系統(tǒng)間的傳輸瓶頸，進(jìn)一步提升備份的性能。在可靠性方面，F(xiàn)DS即將推出的一致性校驗(yàn)功能(Self integrity check)，可在備份數(shù)據(jù)寫入磁盤并執(zhí)行重復(fù)數(shù)據(jù)刪除后，進(jìn)行文件指針與單一存儲(chǔ)區(qū)塊比對(duì)的工作，如果發(fā)現(xiàn)有任何錯(cuò)誤便會(huì)自動(dòng)修復(fù)，確保所有處理過(guò)的備份資料都能正確恢復(fù)，系統(tǒng)可靠性與數(shù)據(jù)安全性更有保障。

　　不應(yīng)局限在單一應(yīng)用

　　目前市場(chǎng)中具備重復(fù)數(shù)據(jù)刪除功能的解決方案，在架構(gòu)和技術(shù)上或有不同，但應(yīng)用范圍幾乎全都集中在數(shù)據(jù)備份領(lǐng)域，換而言之，這些產(chǎn)品本身不是備份軟件就是必須搭配備份軟件才能使用的硬設(shè)備。然而企業(yè)內(nèi)部存在重復(fù)冗余數(shù)據(jù)的豈止只在備份?散落在各個(gè)部門的文件服務(wù)器內(nèi)的非結(jié)構(gòu)性數(shù)據(jù)(其中以O(shè)ffice文件居多)，在經(jīng)年累月不斷增加之下已經(jīng)累積了相當(dāng)多的重復(fù)數(shù)據(jù)，在企業(yè)不具備完善的數(shù)據(jù)分級(jí)存儲(chǔ)與歸檔機(jī)制的情況下，管理員面對(duì)文件服務(wù)器數(shù)據(jù)量不斷增長(zhǎng)的問題，也只能消極的以擴(kuò)展硬盤空間的方式應(yīng)對(duì)。換個(gè)角度想，如果文件服務(wù)器能夠利用重復(fù)數(shù)據(jù)刪除技術(shù)，理論上就可以有效的抑制這個(gè)問題，可惜的是大多數(shù)的重復(fù)數(shù)據(jù)刪除方案受限于技術(shù)和性能，功能 上只能局限在備份應(yīng)用。

　　飛康FDS則突破了“重復(fù)數(shù)據(jù)刪除只能用在備份”的局限，提供了基于管理策略的重復(fù)數(shù)據(jù)刪除功能。這個(gè)功能允許管理員在設(shè)定FDS的網(wǎng)絡(luò)共享文件夾時(shí)，根據(jù)文件大小、被讀取或修改的頻率來(lái)定義是否進(jìn)行重復(fù)數(shù)據(jù)刪除。舉例來(lái)說(shuō)，管理員可以設(shè)定30天內(nèi)未曾被用戶存取過(guò)的文件，在時(shí)間到達(dá)后自動(dòng)執(zhí)行重復(fù)數(shù)據(jù)刪除。大多數(shù)的情況下，文件服務(wù)器內(nèi)的數(shù)據(jù)被存取的機(jī)率會(huì)隨著時(shí)間而遞減，經(jīng)常被用戶使用的文件由于不會(huì)執(zhí)行重復(fù)數(shù)據(jù)刪除，可以快速的存取、修改而不受文件重組的程序影響性能;不常使用的文件可以通過(guò)重復(fù)數(shù)據(jù)刪除，減少占用的磁盤空間，便于存儲(chǔ)更多的文件數(shù)據(jù)，可謂一舉數(shù)得。

　　遠(yuǎn)程復(fù)制與全局重復(fù)數(shù)據(jù)刪除能力不可少

　　除了節(jié)省存儲(chǔ)空間外，重復(fù)數(shù)據(jù)刪除技術(shù)與遠(yuǎn)程復(fù)制相結(jié)合，則可以消除通過(guò)網(wǎng)絡(luò)執(zhí)行遠(yuǎn)程備份時(shí)，一再傳送重復(fù)數(shù)據(jù)而造成的帶寬浪費(fèi)的問題，進(jìn)而達(dá)到廣域網(wǎng)優(yōu)化的功效。用戶不需要投資昂貴的專線，就能建立兩地之間的異地備份。對(duì)于許多有分公司、遠(yuǎn)程辦公室或分支機(jī)構(gòu)的企業(yè)來(lái)說(shuō)，還能借此建立多網(wǎng)站遠(yuǎn)程集中備份，可兼具節(jié)省帶寬和存儲(chǔ)空間的雙重效果，這也是重復(fù)數(shù)據(jù)刪除技術(shù)之所以吸引這么多廠商的重要因素。但是，并不是所有廠商現(xiàn)在都能提供足夠成熟的技術(shù)，因此，大部分重復(fù)數(shù)據(jù)刪除+遠(yuǎn)程復(fù)制方案仍有限制。

　　某些的重復(fù)數(shù)據(jù)刪除方案本身并不具備遠(yuǎn)程復(fù)制技術(shù)，數(shù)據(jù)經(jīng)過(guò)處理后必須利用其他軟件或磁盤陣列的復(fù)制功能，才能將數(shù)據(jù)傳送到災(zāi)備中心。這不僅要求用戶必須購(gòu)買更多的設(shè)備才能實(shí)現(xiàn)異地備份，如果用戶具備多個(gè)遠(yuǎn)程站點(diǎn)需要進(jìn)行集中備份受到的限制則更多，徒增項(xiàng)目實(shí)施的復(fù)雜程度與成本。

　　飛康FDS采用了只有企業(yè)級(jí)VTL才有的全局重復(fù)數(shù)據(jù)刪除(Global Deduplication)技術(shù)，是市場(chǎng)上少數(shù)完全整合重復(fù)數(shù)據(jù)刪除與遠(yuǎn)程復(fù)制的方案，不僅支持一對(duì)一、多對(duì)一遠(yuǎn)程集中備份環(huán)境，遠(yuǎn)程網(wǎng)站和數(shù)據(jù)中心的FDS通過(guò)比對(duì)單一存儲(chǔ)區(qū)內(nèi)有無(wú)相同數(shù)據(jù)，僅復(fù)制和傳送單一數(shù)據(jù)，在20：1的重復(fù)數(shù)據(jù)刪除比率下，可以節(jié)省95%的網(wǎng)絡(luò)帶寬占用。在數(shù)據(jù)中心，用戶可以采用能夠外接不同廠商磁盤陣列的FDS網(wǎng)關(guān)設(shè)備，利用超大容量的單一存儲(chǔ)區(qū)和高速磁盤存取優(yōu)勢(shì)，徹底消除遠(yuǎn)程網(wǎng)站之間備份的重復(fù)數(shù)據(jù)，充分發(fā)揮重復(fù)數(shù)據(jù)刪除技術(shù)的同時(shí)，節(jié)省成本、提升性能。