1.背景
縱觀整個安防領域,平安城市是規模最大、業務最復雜的龐大系統,涉及治安監控、指揮通信、偵查破案、規范執法、社會服務等多個分區領域,視頻接入規模從幾千到幾十萬,隨著安防監控對高清、智能、聯網的要求越來越高,各地平安城市項目每天產生的數據規模正以驚人的速度不斷增長。“十二五”期間,全國城市地區要基本完成報警與監控系統建設,實現對重點地區的全覆蓋,各省市級和有條件的縣(區)級公安機關完成監控報警平臺數據庫建設,實現跨地區、跨部門、跨警種的信息共享。
2011年,“3111工程”進入整體推進階段,推廣至每個地級市,整體直接投資近1000億元。未來五年內,中國各大城市將繼續投入巨額資金全面開展平安城市的聯網監控系統的建設。據公安部科技局的估計,一個中型城市的平安城市建設投入將達幾百億,其中視頻監控系統所占比例為28%,而存儲設備的投資往往會占到視頻監控設備總投資的20%~40%,同時隨著視頻監控高清化的發展,對存儲設備的容量需求將直接數倍乃至十余倍地增長,大數據的規模效應給數據存儲、管理以及數據分析帶來了極大的挑戰,數據管理方式上的變革正在醞釀和發生。目前我國共有2300多個地市城市和縣城,蘊藏著巨大的市場潛力。
2.云存儲應運而生
從目前大部分城市的安防系統架構看,安防大數據的傳輸渠道主要是網絡,一般都采用聯網匯聚、分級存儲的機制,網絡一般為千兆網,存儲也以一般的磁盤陣列存儲為主。為了適應安防信息整合,安防數據分析和信息挖掘的需求,安防系統逐步傾向于互聯、整合,而安防數據信息也逐漸的匯聚和集成,出現了萬兆網絡集中匯聚管理,并且以云存儲作為視頻圖像數據存儲平臺的趨勢。目前,云存儲已成為安防大數據的核心技術,各廠商也在著力提升自己的研發能力。
2.1.結構模型
本文所要介紹的云存儲系統的結構模型共由4層組成。

云存儲系統結構示意圖
1)數據存儲層
數據存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和iSCSI等IP存儲設備,也可以是SCSI或SAS等DAS存儲設備,當然也可以是普通的PC機硬盤。云存儲中的存儲設備往往數量龐大且分布多不同地域,彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設備的狀態監控和故障維護。
2)數據管理層
數據管理層是云存儲最核心的部分,也是云存儲中最難以實現的部分。數據管理層通過集群、分布式文件系統和網格計算等技術,實現云存儲中多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,并提供更大更強更好的數據訪問性能。CDN內容分發系統、數據加密技術保證云存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術和措施可以保證云存儲中的數據不會丟失,保證云存儲自身的安全和穩定。
3)數據服務層
數據服務層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型,開發不同的應用服務接口,提供不同的應用服務。比如視頻監控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤引用平臺,遠程數據備份應用平臺等。
4)應用訪問層
任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統,享受云存儲服務。云存儲運營單位不同,云存儲提供的訪問類型和訪問手段也不同。
2.2.云存儲拓撲
根據云存儲架構的特點,云存儲系統應用拓撲如圖所示。

視頻監控云存儲結構
云存儲系統的核心由云存儲控制服務器和后端存儲設備組成。
1)控制節點
云存儲控制器負責整個系統元數據和實際數據的管理和索引,提供超大容量管理,實現后端存儲設備的高性能并發訪問和數據冗余等功能。云存儲控制服務器是整個系統的統一管理平臺,管理員可以在其中監視系統運行情況、管理系統中用戶和各項策略等。
2)存儲節點
云存儲系統采用高性能應用存儲設備,可內嵌云存儲系統訪問協議包、存儲節點認證許可等。設備采用高密度磁盤陣列設備,每套設備通過網絡接入到云存儲系統中,進入云存儲存儲池后進行分配。對數據存儲可實現多副本、多物理設備分別保存,當容量或帶寬需要擴展時,通過增加存儲節點來實現,根據實際需要靈活擴張,在系統運行中進行在線的容量和性能增加。
3.云存儲應用
隨著公安信息化建設的不斷提速,“情報信息主導警務”的理念日漸深入,建立公安實戰平臺,幫助公安部門進行可疑線索視頻情報研判及實戰應用,已成為公安機關案件偵破工作不可或缺的重要技術手段。中安消技術有限公司研究院針對公安視頻情報的分析需求開發了一套公安視頻偵查實戰平臺(簡稱公安實戰平臺)。公安實戰平臺主要由資源接入層、云存儲層、核心業務層構成。資源接入層主要負責各種資源,如視頻、音頻、文檔等警情資源的匯總導入,云存儲層負責對海量信息資源進行高效存儲管理,核心業務層是整個平臺最重要最核心的部分,負責對海量信息資源的檢索排查、智能處理、案件的分析研判以及對平臺的綜合管理。
對于目前大型或者超大型的高清監控系統,數據量往往是在數PB甚至上百PB的,這既需要大量存儲設備的支持,又需要對設備采集的海量數據進行高效的管理,視頻監控資料的80%是用來作為案事件的事后搜索和查詢,以提供案件線索,通常錄像資料的存儲是15天,但是案件的發生沒有預計性,有些事件發生的時間會不只15天,毫無疑問,公安部門對于視頻錄像的存儲需求很明顯。如何在有限的存儲空間內提供更長的文件記錄時間是用戶所期待的,同時公安實戰平臺不僅僅是監控和存儲,還要可以提供公共安全防范,如預警、突發事件處理等服務,對存儲系統的要求很高。在充分估量平臺存儲需求基礎上,公安實戰平臺提供的云存儲服務采用層次清晰的存儲架構,存儲對用戶透明,云存儲服務接口統一,簡化了應用步驟,實現了對海量存儲設備的高效配置和透明擴展,對平臺所需的海量數據的高效管理和控制,針對各種視頻的流媒體文件系統、緩存優化、數據保護機制等提供近乎100%的服務保證,充分體現了云存儲海量存儲、應用簡單、低成本高可靠性的特點。

公安實戰云存儲應用
4.總結
大數據技術在安防各領域的應用并不如在IT、互聯網行業那樣成熟,在日漸龐大的數據面前,如何做到對海量視頻數據的綜合應用與精準分析,正是平安城市大數據亟待解決的問題,基于云存儲系統之上的大容量視頻監控解決方案,以及創新的城市級海量視頻云存儲系統和高清圖像智能分析檢索技術,決定了它需要大數據技術予以支撐,而且將是支撐未來安防監控乃至其它大容量存儲及圖像處理應用領域的最好選擇,完全滿足未來監控存儲所必須的技術需求。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.lukmueng.com/
本文標題:大數據時代的安防云存儲及應用