引 言
伴隨著移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)、云計(jì)算等新服務(wù)的新起，大大拓展了互聯(lián)網(wǎng)的疆界和應(yīng)用領(lǐng)域，使得數(shù)據(jù)來(lái)源的渠道逐漸增多，半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)成幾何倍增長(zhǎng)，數(shù)據(jù)規(guī)模和數(shù)據(jù)種類(lèi)正以前所未有的速度增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨。大數(shù)據(jù)已經(jīng)成為了計(jì)算機(jī)行業(yè)爭(zhēng)相傳誦的熱門(mén)概念,甚至引起了工商界和金融界的高度關(guān)注。早在 1980 年，著名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中，將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”。從 2009 年開(kāi)始，“大數(shù)據(jù)”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯，2012 年，大數(shù)據(jù)概念炙手可熱，2013 年，大數(shù)據(jù)走向?qū)嵺`，有的專家稱之為“大數(shù)據(jù)元年”。
1 數(shù)據(jù)管理技術(shù)的回顧
數(shù)據(jù)管理技術(shù)主要經(jīng)歷了人工管理階段、文件系統(tǒng)階段和數(shù)據(jù)庫(kù)系統(tǒng)階段。隨著數(shù)據(jù)應(yīng)用領(lǐng)域的不斷擴(kuò)展，數(shù)據(jù)管理所處的環(huán)境也越來(lái)越復(fù)雜，目前廣泛流行的數(shù)據(jù)庫(kù)技術(shù)開(kāi)始暴露出許多弱點(diǎn)，面臨著許多新的挑戰(zhàn)。
1.1 人工管理階段
20 世紀(jì) 50 年代中期，計(jì)算機(jī)主要用于科學(xué)計(jì)算。當(dāng)時(shí)沒(méi)有磁盤(pán)等直接存取設(shè)備，只有紙帶、卡片、磁帶等外存，也沒(méi)有操作系統(tǒng)和管理數(shù)據(jù)的專門(mén)軟件。該階段管理的數(shù)據(jù)不保存、由應(yīng)用程序管理數(shù)據(jù)、數(shù)據(jù)不共享和數(shù)據(jù)不具有獨(dú)立性等特點(diǎn)。
1.2 文件系統(tǒng)階段
20 世紀(jì) 50 年代后期到 60 年代中期，隨著計(jì)算機(jī)硬件和軟件的發(fā)展，磁盤(pán)、磁鼓等直接存取設(shè)備開(kāi)始普及，這一時(shí)期的數(shù)據(jù)處理系統(tǒng)是把計(jì)算機(jī)中的數(shù)據(jù)組織成相互獨(dú)立的被命名的數(shù)據(jù)文件，并可按文件的名字來(lái)進(jìn)行訪問(wèn)，對(duì)文件中的記錄進(jìn)行存取的數(shù)據(jù)管理技術(shù)。數(shù)據(jù)可以長(zhǎng)期保存在計(jì)算機(jī)外存上，可以對(duì)數(shù)據(jù)進(jìn)行反復(fù)處理，并支持文件的查詢、修改、插入和刪除等操作。其數(shù)據(jù)面向特定的應(yīng)用程序，因此，數(shù)據(jù)共享性、獨(dú)立性差，且冗余度大，管理和維護(hù)的代價(jià)也很大。
1.3 數(shù)據(jù)庫(kù)階段
20 世紀(jì) 60 年代后期以來(lái)，計(jì)算機(jī)性能得到進(jìn)一步提高，更重要的是出現(xiàn)了大容量磁盤(pán)，存儲(chǔ)容量大大增加且價(jià)格下降。在此基礎(chǔ)上，才有可能克服文件系統(tǒng)管理數(shù)據(jù)時(shí)的不足，而滿足和解決實(shí)際應(yīng)用中多個(gè)用戶、多個(gè)應(yīng)用程序共享數(shù)據(jù)的要求，從而使數(shù)據(jù)能為盡可能多的應(yīng)用程序服務(wù)，這就出現(xiàn)了數(shù)據(jù)庫(kù)這樣的數(shù)據(jù)管理技術(shù)。數(shù)據(jù)庫(kù)的特點(diǎn)是數(shù)據(jù)不再只針對(duì)某一個(gè)特定的應(yīng)用，而是面向全組織，具有整體的結(jié)構(gòu)性，共享性高，冗余度減小，具有一定的程序與數(shù)據(jù)之間的獨(dú)立性，并且對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的控制。
2 大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理技術(shù)
大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法透過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。大數(shù)據(jù)有 3 個(gè) V，一是大量化（Volume），數(shù)據(jù)量是持續(xù)快速增加的，從 TB級(jí)別，躍升到 PB 級(jí)別；二是多樣化（Variety），數(shù)據(jù)類(lèi)型多樣化，結(jié)構(gòu)化數(shù)據(jù)已被視為小菜一碟，圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)正以傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)的兩倍速快速創(chuàng)建；三是快速化 (Velocity)，數(shù)據(jù)生成速度快，也就需要快速的處理能力，因此，產(chǎn)生了“1 秒定律”，就是說(shuō)一般要在秒級(jí)時(shí)間范圍內(nèi)給出分析結(jié)果，時(shí)間太長(zhǎng)就失去價(jià)值了，這個(gè)速度要求是大數(shù)據(jù)處理技術(shù)和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)最大的區(qū)別。
2.1 關(guān)系型數(shù)據(jù)庫(kù)（RDBMS）
20 世紀(jì) 70 年代初,IBM 工程師 Codd 發(fā)表了著名的論文“A Relational Model of Data for Large Shared DataBanks”，標(biāo)志著關(guān)系數(shù)據(jù)庫(kù)時(shí)代來(lái)臨。關(guān)系數(shù)據(jù)庫(kù)的理論基礎(chǔ)是關(guān)系模型，是借助于集合代數(shù)等數(shù)學(xué)概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)，現(xiàn)實(shí)世界中的實(shí)體以及實(shí)體之間的聯(lián)系非常容易用關(guān)系模型來(lái)表示。容易理解的模型、容易掌握的查詢語(yǔ)言、高效的優(yōu)化器、成熟的技術(shù)和產(chǎn)品，使得關(guān)系數(shù)據(jù)庫(kù)占據(jù)了數(shù)據(jù)庫(kù)市場(chǎng)的絕對(duì)的統(tǒng)治地位。隨著互聯(lián)網(wǎng) web2.0 網(wǎng)站的興起，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的大量涌現(xiàn)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)在應(yīng)付 web2.0 網(wǎng)站特別是超大規(guī)模和高并發(fā)的 SNS（全稱 Social Networking Services，即社會(huì)性網(wǎng)絡(luò)服務(wù)） 類(lèi)型的 web2.0 純動(dòng)態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服的問(wèn)題。
2.2 noSQL 數(shù)據(jù)庫(kù)
順應(yīng)時(shí)代發(fā)展的需要產(chǎn)生了 noSQL 數(shù)據(jù)庫(kù)技術(shù)，其主要特點(diǎn)是采用與關(guān)系模型不同的數(shù)據(jù)模型，當(dāng)前熱門(mén)的 noSQL 數(shù)據(jù)庫(kù)系統(tǒng)可以說(shuō)是蓬勃發(fā)展、異軍突起，很多公司都熱情追捧之，如：由 Google 公司提出的 Big Table 和 MapReduce 以及 IBM 公司提出的 Lotus Notes 等。不管是那個(gè)公司的 noSQL 數(shù)據(jù)庫(kù)都圍繞著大數(shù)據(jù)的 3 個(gè) V，目的就是解決大數(shù)據(jù)的 3個(gè) V 問(wèn)題。因此，在設(shè)計(jì) noSQL 時(shí)往往考慮以下幾個(gè)原則，首先，采用橫向擴(kuò)展的方式，通過(guò)并行處理技術(shù)對(duì)數(shù)據(jù)進(jìn)行劃分并進(jìn)行并行處理，以獲得高速的讀寫(xiě)速度；其次，解決數(shù)據(jù)類(lèi)型從以結(jié)構(gòu)化數(shù)據(jù)為主轉(zhuǎn)向結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化三者的融合的問(wèn)題；再次，放松對(duì)數(shù)據(jù)的 ACID 一致性約束，允許數(shù)據(jù)暫時(shí)出現(xiàn)不一致的情況，接受最終一致性；最后，對(duì)各個(gè)分區(qū)數(shù)據(jù)進(jìn)行備份(一般是 3 份)，應(yīng)對(duì)節(jié)點(diǎn)失敗的狀況等。
對(duì)數(shù)據(jù)的應(yīng)用可以分為分析型應(yīng)用和操作型應(yīng)用，分析型應(yīng)用主要是指對(duì)大量數(shù)據(jù)進(jìn)行分類(lèi)、聚集、匯總，最后獲得數(shù)據(jù)量相對(duì)小的分析結(jié)果；操作型應(yīng)用主要是指對(duì)數(shù)據(jù)進(jìn)行增加、刪除、修改和查詢以及簡(jiǎn)單的匯總操作，涉及的數(shù)據(jù)量一般比較少,事務(wù)執(zhí)行時(shí)間一般比較短。目前數(shù)據(jù)庫(kù)可分為關(guān)系數(shù)據(jù)庫(kù)和 noSQL數(shù)據(jù)庫(kù)，根據(jù)數(shù)據(jù)應(yīng)用的要求，再結(jié)合目前數(shù)據(jù)庫(kù)的種類(lèi)，所以目前數(shù)據(jù)庫(kù)管理方式主要有以下 4 類(lèi)。
（1）面向操作型的關(guān)系數(shù)據(jù)庫(kù)技術(shù)。
首先，傳統(tǒng)數(shù)據(jù)庫(kù)廠商提供的基于行存儲(chǔ)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，如 DB2、Oracle、SQL Server 等，以其高度的一致性、精確性、系統(tǒng)可恢復(fù)性，在事務(wù)處理方面仍然是核心引擎。其次，面向?qū)崟r(shí)計(jì)算的內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)，如 Hana、Timesten、Altibase 等通過(guò)把對(duì)數(shù)據(jù)并發(fā)控制、查詢和恢復(fù)等操作控制在內(nèi)存內(nèi)部進(jìn)行，所以獲得了非常高的性能，在很多特定領(lǐng)域如電信、證券、網(wǎng)管等得到普遍應(yīng)用。另外，以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時(shí)提高了事務(wù)處理性能 50 倍 ~60 倍。
（2）面向分析型的關(guān)系數(shù)據(jù)庫(kù)技術(shù)。
首先，TeraData 是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的領(lǐng)頭羊，Teradata 在整體上是按 Shared Nothing 架構(gòu)體系進(jìn)行組織的，定位就是大型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，支持較高的擴(kuò)展性。其次，面向分析型應(yīng)用，列存儲(chǔ)數(shù)據(jù)庫(kù)的研究形成了另一個(gè)重要的潮流。列存儲(chǔ)數(shù)據(jù)庫(kù)以其高效的壓縮、更高的 I/O 效率等特點(diǎn)，在分析型應(yīng)用領(lǐng)域獲得了比行存儲(chǔ)數(shù)據(jù)庫(kù)高得多的性能。如：MonetDB 和 Vertica是一個(gè)典型的基于列存儲(chǔ)技術(shù)的數(shù)據(jù)庫(kù)系統(tǒng)。
（3）面向操作型的 noSQL 技術(shù)。
有些操作型應(yīng)用不受 ACID 高度一致性約束，但對(duì)大數(shù)據(jù)處理需要處理的數(shù)據(jù)量非常大，對(duì)速度性能要求也非常高，這樣就必須依靠大規(guī)模集群的并行處理能力來(lái)實(shí)現(xiàn)數(shù)據(jù)處理，弱一致性或最終一致性就可以了。這時(shí)，操作型 noSQL 數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)就可以發(fā)揮的淋漓盡致了。如，Hbase 一天就可以有超過(guò) 200 億個(gè)到達(dá)硬盤(pán)的讀寫(xiě)操作，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的處理。另外，noSQL 數(shù)據(jù)庫(kù)是一個(gè)數(shù)據(jù)模型靈活、支持多樣數(shù)據(jù)類(lèi)型，如對(duì)圖數(shù)據(jù)建模、存儲(chǔ)和分析，其性能、擴(kuò)展性是關(guān)系數(shù)據(jù)庫(kù)無(wú)法比擬的。
（4）面向分析型的 noSQL 技術(shù)。
面向分析型應(yīng)用的 noSQL 技術(shù)主要依賴于Hadoop 分布式計(jì)算平臺(tái)，Hadoop 是一個(gè)分布式計(jì)算平臺(tái)，以 HDFS 和 Map Reduce 為用戶提供系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。《Hadoop 經(jīng)典實(shí)踐染技巧》傳統(tǒng)的數(shù)據(jù)庫(kù)廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉(zhuǎn)向 Hadoop 的研究，如微軟公司關(guān)閉 Dryad 系統(tǒng)，全力投入 Map Reduce 的研發(fā)，Oracle 在 2011 年下半年發(fā)布 Big Plan 戰(zhàn)略計(jì)劃，全面進(jìn)軍大數(shù)據(jù)處理領(lǐng)域，IBM 則早已捷足先登“,沃森(Watson)”計(jì)算機(jī)就是基于 Hadoop 技術(shù)開(kāi)發(fā)的產(chǎn)物，同時(shí) IBM 發(fā)布了 BigInsights 計(jì)劃，基于 Hadoop,Netezza 和 SPSS(統(tǒng)計(jì)分析、數(shù)據(jù)挖掘軟件)等技術(shù)和產(chǎn)品構(gòu)建大數(shù)據(jù)分析處理的技術(shù)框架。同時(shí)也涌現(xiàn)出一批新公司來(lái)研究Hadoop 技術(shù)，如 Cloudera、MapRKarmashpere 等。
3 數(shù)據(jù)管理方式的展望
通過(guò)以上分析，可以看出關(guān)系數(shù)據(jù)庫(kù)的 ACID 強(qiáng)調(diào)數(shù)據(jù)一致性通常指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整，而對(duì)于很多互聯(lián)網(wǎng)應(yīng)用來(lái)說(shuō)，對(duì)這一致性和隔離性的要求可以降低，而可用性的要求則更為明顯，此時(shí)就可以采用 noSQL 的兩種弱一致性的理論 BASE 和 CAP。關(guān)系數(shù)據(jù)庫(kù)和 noSQL 數(shù)據(jù)庫(kù)并不是想到對(duì)立的矛盾體，而是可以相互補(bǔ)充的，根據(jù)不同需求使用不同的技術(shù)，甚至二者可以共同存在，互不影響。最近幾年，以 Spanner 為代表新型數(shù)據(jù)庫(kù)的出現(xiàn)，給數(shù)據(jù)庫(kù)領(lǐng)域注入新鮮血液，這就是融合了一致性和可用性的 newSQL，這種新型思維方式或許會(huì)是未來(lái)大數(shù)據(jù)處理方式的發(fā)展方向。
4 結(jié)束語(yǔ)
隨著云計(jì)算、物聯(lián)網(wǎng)等的發(fā)展，數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)，人們正被數(shù)據(jù)洪流所包圍，大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái)。正確利用大數(shù)據(jù)給人們的生活帶來(lái)了極大的便利，但與此同時(shí)也給傳統(tǒng)的數(shù)據(jù)管理方式帶來(lái)了極大的挑戰(zhàn)。文章首先對(duì)傳統(tǒng)數(shù)據(jù)管理方式進(jìn)行了全面的回顧和總結(jié)，其次，介紹了大數(shù)據(jù)的基本概念和目前對(duì)大數(shù)據(jù)的幾種管理方式，最后，對(duì)大數(shù)據(jù)未來(lái)的管理方式作出了展望。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.lukmueng.com/
本文標(biāo)題：大數(shù)據(jù)時(shí)代數(shù)據(jù)管理方式的研究
本文網(wǎng)址：http://www.lukmueng.com/html/consultation/10819416505.html
相關(guān)文章
