伴隨著全球化電子商務(wù)、無紙化辦公和云計(jì)算的大規(guī)模開展，在各種應(yīng)用系統(tǒng)的存儲(chǔ)設(shè)備上，信息正以數(shù)據(jù)存儲(chǔ)的TB甚至是PB級(jí)方式高速增長(zhǎng)。正如EMC CEO喬圖斯對(duì)股東們說的那樣“IT行業(yè)出現(xiàn)了最勢(shì)不可擋的兩種趨勢(shì)：云計(jì)算和海量數(shù)據(jù)”。伴隨著云計(jì)算的迅猛發(fā)展，海量數(shù)據(jù)的高效存儲(chǔ)需求和管理成為一個(gè)研究的重點(diǎn)。高效存儲(chǔ)不僅可以為用戶提供更高效的存儲(chǔ)，而且還可以降低用戶成本，實(shí)現(xiàn)高效低碳的環(huán)保型存儲(chǔ)。
隨著綠色I(xiàn)T的提出，存儲(chǔ)系統(tǒng)作為IT架構(gòu)的重要組成部分，當(dāng)仁不讓地承擔(dān)了節(jié)能降耗的重?fù)?dān)。浪潮存儲(chǔ)及時(shí)退出了自己的產(chǎn)品LiveStor，LiveStor系統(tǒng)解決了用戶的需求，滿足了對(duì)數(shù)據(jù)的高效存儲(chǔ)和管理。本文基于LiveStor系統(tǒng)對(duì)大數(shù)據(jù)量存儲(chǔ)常用策略進(jìn)行分析研究，這其中主要用到了多協(xié)議訪問技術(shù)、存儲(chǔ)虛擬化、自動(dòng)精簡(jiǎn)配置、重復(fù)數(shù)據(jù)刪除和分級(jí)存儲(chǔ)等關(guān)鍵技術(shù)。
1.高效存儲(chǔ)技術(shù)特點(diǎn)分析
1.1 海量數(shù)據(jù)存儲(chǔ)的特點(diǎn)
伴隨著云存儲(chǔ)等技術(shù)的發(fā)展，各企業(yè)對(duì)數(shù)據(jù)的存儲(chǔ)和管理顯得尤為重要。高效、低碳、易管理的存儲(chǔ)解決方案成為浪潮存儲(chǔ)研究的一個(gè)重要方向，浪潮存儲(chǔ)與其他傳統(tǒng)的存儲(chǔ)相比具有以下優(yōu)勢(shì)：
1)易于擴(kuò)展、成本低廉：存儲(chǔ)系統(tǒng)支持自動(dòng)精簡(jiǎn)配置，可以很方便地支持?jǐn)U充容量。減少各單位存在的硬盤空問浪費(fèi)，用戶根據(jù)自己的需要向服務(wù)器彈性地申請(qǐng)所需要的空間，降低了用戶的使用成本。
2)方便管理、可靠性高：易于管理是存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)重點(diǎn)考慮的問題，數(shù)據(jù)采用集中存儲(chǔ)的方式。由數(shù)據(jù)中心的管理員對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一管理、數(shù)據(jù)保護(hù)、安全控制，并能更可靠地進(jìn)行數(shù)據(jù)的遠(yuǎn)程復(fù)制和備份還原，降低了數(shù)據(jù)風(fēng)險(xiǎn)。
3)高效存儲(chǔ)：支持多協(xié)議訪問技術(shù)，用戶可以通過SAN和NAS存取自己數(shù)據(jù)，支持重復(fù)數(shù)據(jù)刪除技術(shù)，提高存儲(chǔ)的利用率。
1.2 存儲(chǔ)虛擬化
存儲(chǔ)虛擬化是將零散的存儲(chǔ)資源整合起來，構(gòu)建海量存儲(chǔ)資源池。從而提高整體的利用率，同時(shí)降低系統(tǒng)的管理成本。其基本思想是將資源的邏輯映像與物理存儲(chǔ)分開，從而為系統(tǒng)和管理員提供一簡(jiǎn)化、無縫的資源虛擬視圖，這其中一個(gè)鶯要的概念就是存儲(chǔ)池。存儲(chǔ)池屏蔽了底層存儲(chǔ)的差異，使用戶屏蔽具體磁盤、磁帶等存儲(chǔ)設(shè)備的差異，也不必關(guān)心自己的數(shù)據(jù)經(jīng)過哪一條路徑通往哪一個(gè)具體的存儲(chǔ)設(shè)備。存儲(chǔ)虛擬化可以提高存儲(chǔ)空間的利用率，與傳統(tǒng)的空間管理和靜態(tài)虛擬化空問管理相比，動(dòng)態(tài)虛擬化空間管理是后端存儲(chǔ)具有更高的利用率，如圖1所示，LiveStor是采用動(dòng)態(tài)虛擬化空間管理策略來實(shí)現(xiàn)存儲(chǔ)的。
圖1 存儲(chǔ)虛擬化管理
例如，給用戶A和B提前分配好100GB的存儲(chǔ)空間。真正使用時(shí)，用戶A可能不到5GB，而用戶B可能需要190GB，這樣真實(shí)的物理存儲(chǔ)如果最開始是200GB時(shí)，靜態(tài)虛擬化無法滿足需求。需要對(duì)用戶B的容量擴(kuò)展至190GB滿足需求，總物理容量將達(dá)到100+190=290GB，分配的容量利用率為195/290=67.2%；基于動(dòng)態(tài)虛擬化管理技術(shù)的LiveStor，物理容量為200GB組成資源池，在存儲(chǔ)池上建立邏輯卷，用戶A和用戶B所在卷組分別為vol1和vol2。分別為200GB，用戶A只消耗5GB，則只分配5GB，用戶B消耗190GB，則分配190GB，最終利用率達(dá)到195/200—97.5%，該方案大大提高了利用率。
1.3多協(xié)議支持
后端存儲(chǔ)通過LiveStor可以向服務(wù)器提供SAN和NAS服務(wù)，方便用戶的使用和數(shù)據(jù)的存儲(chǔ)，提高了后端存儲(chǔ)的高可用性，如圖2所示。NAS服務(wù)支持ftp，samba，nfs功能，可以為用戶提供可靠的文件級(jí)數(shù)據(jù)整合，提供存儲(chǔ)資源；SAN服務(wù)可以為用戶提供FC SAN和IP-SAN服務(wù)，F(xiàn)C-SAN針對(duì)對(duì)數(shù)據(jù)帶寬有較高要求的用戶，為用戶提供快速、高效的塊級(jí)應(yīng)用，提高了存儲(chǔ)的性能，IP-SAN技術(shù)簡(jiǎn)單、低成本，基于標(biāo)準(zhǔn)的TCP/IP協(xié)議，在以太網(wǎng)上為用戶提供塊級(jí)的應(yīng)用。
圖2 支持多協(xié)議平臺(tái)
1.4 自動(dòng)精簡(jiǎn)配置
隨著企業(yè)規(guī)模的發(fā)展。需要的數(shù)據(jù)空間會(huì)隨著業(yè)務(wù)的擴(kuò)展而增加，然而一個(gè)企業(yè)開始規(guī)模還是比較小的，不需要太多的存儲(chǔ)空間，如果開始就要購(gòu)置5年后的存儲(chǔ)空間，既浪費(fèi)了財(cái)力和初始構(gòu)建的成本，也會(huì)造成大量空間的浪費(fèi)和電力的消耗，自動(dòng)精簡(jiǎn)配置可以解決這些問題，比如在部署了自動(dòng)精簡(jiǎn)配置之后，存儲(chǔ)系統(tǒng)可以為用戶提供2TB的邏輯單元，而實(shí)際上只有1TB的物理空間可被分配，如圖3所示：
圖3 自動(dòng)精簡(jiǎn)配置
自動(dòng)精簡(jiǎn)配置能夠?qū)⒋鎯?chǔ)空間利用率從60%提升到80%，推遲用戶磁盤擴(kuò)容的時(shí)間、減少磁盤購(gòu)買數(shù)量，減少環(huán)境對(duì)存儲(chǔ)的壓力，降低總體實(shí)現(xiàn)成本，從而降低系統(tǒng)的整體能耗、冷卻成本、以及二氧化碳排放量，符合綠色存儲(chǔ)的要求。
LiveStor提供El志、郵件和SNMP Trap 3種告警機(jī)制，當(dāng)物理空間存儲(chǔ)池的利用率達(dá)到一定閾值時(shí)就會(huì)向管理員發(fā)送告警，當(dāng)實(shí)際空間已經(jīng)沒有空余，在新磁盤被添加之前，卷訪問將被鎖定，當(dāng)存儲(chǔ)池告警之后。存儲(chǔ)管理員需跟據(jù)實(shí)際存儲(chǔ)容量狀況添加新的磁盤進(jìn)行擴(kuò)容以確保系統(tǒng)的連續(xù)性。
1.5 重復(fù)數(shù)據(jù)刪除
隨著存儲(chǔ)技術(shù)的不斷發(fā)展，重復(fù)數(shù)據(jù)刪除成了主存儲(chǔ)系統(tǒng)中高效存儲(chǔ)的一個(gè)重要技術(shù)點(diǎn)，重復(fù)數(shù)據(jù)刪除可以降低存儲(chǔ)系統(tǒng)的采購(gòu)成本、節(jié)約電力、減少散熱。重復(fù)數(shù)據(jù)刪除技術(shù)主要有3種類型：文件級(jí)重復(fù)數(shù)據(jù)刪除、塊級(jí)重復(fù)數(shù)據(jù)刪除、字節(jié)級(jí)重復(fù)數(shù)據(jù)刪除。
LiveStor采用基于散列的塊級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)，它把需要存儲(chǔ)的數(shù)據(jù)分成固定的數(shù)據(jù)塊，然后為每個(gè)數(shù)據(jù)塊生成一個(gè)獨(dú)特的指紋，如果新數(shù)據(jù)塊的指紋與設(shè)備散列索引中的某個(gè)散列匹配，僅存人指針，并指向存儲(chǔ)相同數(shù)據(jù)塊的原始位置，如果數(shù)據(jù)塊是唯一的就被寫入磁盤，其指紋也存入索引中。這種方法用小容量的指針替代重復(fù)的數(shù)據(jù)塊，而不是將重復(fù)數(shù)據(jù)塊再次寫入存儲(chǔ)，節(jié)省了磁盤存儲(chǔ)空間，實(shí)現(xiàn)流程如圖4所示：
圖4 重復(fù)數(shù)據(jù)刪除流程圖
塊級(jí)重復(fù)數(shù)據(jù)刪除采用定長(zhǎng)塊的切分方法，每個(gè)數(shù)據(jù)塊的長(zhǎng)度都是相同的。文件在切分時(shí)，如果切分最后剩余部分不足一個(gè)數(shù)據(jù)塊的長(zhǎng)度，那么就向該數(shù)據(jù)塊填充空數(shù)據(jù)，如圖5所示：
圖5 定長(zhǎng)切分
圖5中Padding表示不足一個(gè)數(shù)據(jù)塊，重刪的數(shù)據(jù)變換效果如圖6所示：
圖6 重復(fù)數(shù)據(jù)刪除前后數(shù)據(jù)變化
LiveStor系統(tǒng)在Web界面上顯示去重率，去重率是用來定義重復(fù)數(shù)據(jù)刪除中的優(yōu)化率，等于原數(shù)據(jù)大小除以去重之后的數(shù)據(jù)大小。根據(jù)實(shí)際應(yīng)用統(tǒng)計(jì)，一般情況下有效存儲(chǔ)容量是磁盤總?cè)萘康?0～20倍，因此，重復(fù)數(shù)據(jù)刪除技術(shù)可以有效節(jié)省存儲(chǔ)空間。
2.LiveStor實(shí)現(xiàn)高效存儲(chǔ)分析
2.1 LiveStor簡(jiǎn)介
LiveStor是新一代高效存儲(chǔ)系統(tǒng)，它通過高速光纖網(wǎng)絡(luò)連接后端存儲(chǔ)陣列，支持存儲(chǔ)虛擬化、支持SAN存儲(chǔ)網(wǎng)絡(luò)架構(gòu)和NAS的多協(xié)議存儲(chǔ)、支持自動(dòng)精簡(jiǎn)配置、支持重復(fù)數(shù)據(jù)刪除功能，具有高性能、高可用性、易用、易管理的特點(diǎn)。LiveStor能提高存儲(chǔ)性能，減少環(huán)境的壓力，降低總體實(shí)現(xiàn)成本，降低能耗和降低二氧化碳排放量，符合綠色存儲(chǔ)的要求。
LiveStor不僅提供高效存儲(chǔ)，還能基于快照技術(shù)為用戶提供本地邏輯分區(qū)的持續(xù)數(shù)據(jù)保護(hù)，結(jié)合本地CDP提供遠(yuǎn)程復(fù)制和恢復(fù)功能，滿足生產(chǎn)運(yùn)行的連續(xù)性和災(zāi)難恢復(fù)的需求，最大程度地保護(hù)用戶數(shù)據(jù)安全。
2.2 自動(dòng)精簡(jiǎn)的屬性設(shè)置
LiveStor建立的NAS分區(qū)可以創(chuàng)建大于物理存儲(chǔ)的邏輯卷，各個(gè)邏輯卷共享整個(gè)存儲(chǔ)池的大小，LiveStor使用set quota設(shè)置邏輯卷的大小。
LiveStor建立的SAN分區(qū)可以創(chuàng)建大于物理存儲(chǔ)大小的邏輯卷，建立的分區(qū)大小是自己設(shè)定的，獨(dú)立于存儲(chǔ)池大小之外，但可用存儲(chǔ)池的大小還是原來存儲(chǔ)池的大小，只是在分區(qū)顯示時(shí)存儲(chǔ)池的利用率是假象還是真實(shí)的情況，使用zfs create—S—b128K—V設(shè)置邏輯卷的大小。映射出來的磁盤就是自動(dòng)精簡(jiǎn)配置設(shè)置的大小，但可用的容量還是原來總存儲(chǔ)池的大小，當(dāng)LiveStor管理員通過設(shè)置的存儲(chǔ)池告警獲得警告信息，就要按需擴(kuò)容后端存儲(chǔ)，添加硬盤，為用戶提供持續(xù)可用的高效存儲(chǔ)。
2.3 重刪技術(shù)的屬性設(shè)置
LiveStor的重刪功能是基于塊級(jí)的重復(fù)數(shù)據(jù)刪除，LiveStor默認(rèn)使用的是SHA一256，不作校驗(yàn)。它利用SHA一256哈希函數(shù)提供數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除功能，開啟重復(fù)數(shù)據(jù)刪除的LiveStor需要較強(qiáng)的處理能力(比如多核處理器)，因此提高處理器能力和內(nèi)存就可以提高重復(fù)數(shù)據(jù)刪除的速度。
LiveStor對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)設(shè)置了3個(gè)屬性值，分別為on，off，verify。當(dāng)屬性設(shè)置為on時(shí)，這種方法是在重刪技術(shù)中速度最快的，因?yàn)樗前磯K的哈希值進(jìn)行對(duì)比重刪的，但是這種重刪存在2*256的可能性將不同的數(shù)據(jù)作為相同的哈希值來刪除。為了確保散列重復(fù)數(shù)據(jù)刪除的安全性，可以將重刪功能的屬性值設(shè)為verify，讓存儲(chǔ)數(shù)據(jù)進(jìn)行全部字節(jié)對(duì)比。針對(duì)重復(fù)數(shù)據(jù)刪除，也可以使用改進(jìn)的、簡(jiǎn)單的散列算法來減少所需的處理能力，并將它與驗(yàn)證功能結(jié)合在一起以提高重復(fù)數(shù)據(jù)刪除的整體速度。
LiveStor重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，LiveStor設(shè)置塊大小為128 KB，塊的大小可以自動(dòng)配置，LiveStor的重刪技術(shù)可以有選擇地設(shè)置，可以針對(duì)包含重復(fù)多的數(shù)據(jù)，在存儲(chǔ)時(shí)就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對(duì)重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
3.基于塊級(jí)重刪的高效存儲(chǔ)的性能分析
實(shí)驗(yàn)是將后端存儲(chǔ)映射給LiveStor存儲(chǔ)系統(tǒng)，在其上建立存儲(chǔ)池和邏輯分區(qū)，將邏輯分區(qū)通過光纖再映射給服務(wù)器作為客戶端，利用Iometer(2006)對(duì)具有存儲(chǔ)虛擬化、自動(dòng)精簡(jiǎn)配置和重刪的LiveStor分區(qū)進(jìn)行性能測(cè)試，添加standard。icf腳本，進(jìn)行裸盤測(cè)試，對(duì)運(yùn)行Iometer(2006)并保存測(cè)試數(shù)據(jù)進(jìn)行分析，測(cè)試結(jié)果如圖7～10所示(其中off為邏輯分區(qū)和存儲(chǔ)池的重刪功能關(guān)閉的狀態(tài)，on是指邏輯分區(qū)和存儲(chǔ)池采用sha一256校驗(yàn)算法開啟重刪功能，verify是指邏輯分區(qū)和存儲(chǔ)池采用按字節(jié)比對(duì)的重刪功能)。
圖7 3種情況下順序讀的性能
圖8 3種情況下順序?qū)懙男阅軋D
圖9 3種情況下隨機(jī)讀的性能
圖10 3種情況下隨機(jī)寫的性能
通過以上對(duì)LiveStor存儲(chǔ)系統(tǒng)在隨機(jī)讀、隨機(jī)寫、順序讀以及順序?qū)懙男阅鼙容^可以看出，在集成了自動(dòng)精簡(jiǎn)配置和重復(fù)數(shù)據(jù)刪除技術(shù)的邏輯卷的帶寬還是比較穩(wěn)定的，最高的帶寬達(dá)到了388.721 469 MBps，具有較高的性能保證。
4.總結(jié)
本文基于LiveStor系統(tǒng)對(duì)大數(shù)據(jù)量存儲(chǔ)常用策略進(jìn)行了分析研究，滿足了當(dāng)今IT發(fā)展的需求。大數(shù)據(jù)的高效存儲(chǔ)和管理不僅為用戶提供更高質(zhì)量的服務(wù)，而且還可以降低用戶成本，實(shí)現(xiàn)高效低碳的環(huán)保型綠色I(xiàn)T，也為云計(jì)算和云存儲(chǔ)的存儲(chǔ)方案打下了堅(jiān)實(shí)的基礎(chǔ)。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.lukmueng.com/
本文標(biāo)題：一種高效存儲(chǔ)解決方案的分析與研究
本文網(wǎng)址：http://www.lukmueng.com/html/support/11121511845.html
相關(guān)文章
