工程機械行業(yè)普遍使用大型ERP軟件系統(tǒng)，如SAP、ORACLE等。這些軟件系統(tǒng)功能強大，各模塊集成度很高，極大地提升了對公司各項業(yè)務的支持能力。但是，隨著IT技術的發(fā)展，伴隨著功能擴展和集成度提高同時，也給業(yè)務系統(tǒng)帶來了巨大的數(shù)據(jù)增長量。
以廣西柳工機械股份有限公司(以下簡稱柳工)的ERP系統(tǒng)實施進程為例，1996年部署的TCM—EMS系統(tǒng)(MRPⅡ系統(tǒng))最大數(shù)據(jù)量只有5GB，2000年部署的IFS系統(tǒng)(ERP系統(tǒng))最大數(shù)據(jù)量接近100GB，2006年上線的SAP系統(tǒng)(ECC6版本)僅初始安裝數(shù)據(jù)量就接近300GB，系統(tǒng)上線后ERP數(shù)據(jù)量增長迅速，一個月的數(shù)據(jù)增長超過原系統(tǒng)幾年的數(shù)據(jù)增長，系統(tǒng)數(shù)據(jù)的增速是越來越快。隨著業(yè)務的增長以及對數(shù)據(jù)存儲、保存和可用性存在法規(guī)上的要求，面對著不斷增長的數(shù)據(jù)，這些數(shù)據(jù)的備份成為各公司和組織的當務之急。并且，數(shù)據(jù)量的劇增造成系統(tǒng)的負荷加重，性能需求加大，必須采購更高級的服務器(更多的CPU和內(nèi)存)來滿足性能需求，同時需要不斷對存儲進行擴容以滿足容量需求。而生產(chǎn)系統(tǒng)數(shù)據(jù)量增加，配套的質(zhì)量保證系統(tǒng)(用于測試)數(shù)據(jù)量需要增加，相應的主存儲需要擴容，備份存儲也需要擴容，同時備份設備也需要擴容，環(huán)環(huán)相扣，給系統(tǒng)的IT基礎架構帶來了巨大的壓力。
然而，數(shù)據(jù)也是有生命周期的。隨著時間的推移，數(shù)據(jù)的重要性和關鍵性都會改變。大部分產(chǎn)生的數(shù)據(jù)都只在短時間內(nèi)有重要性，時間一長就不那么重要了，這一點決定了數(shù)據(jù)存儲解決方案的使用。由于法規(guī)性及審計要求，特定的業(yè)務數(shù)據(jù)有保留期，并且在審計時能夠讀取或在必要的時候可以再次使用，這使得SAP系統(tǒng)的數(shù)據(jù)將會有相當長的保留期限，對某些財務數(shù)據(jù)來說，保存期可能達到15年以上。面對這種壓力，僅僅依靠簡單硬件的升級來提升性能和擴容容量，既不經(jīng)濟也難以持續(xù)滿足未來需求，數(shù)據(jù)歸檔的需求應運而生。
1.數(shù)據(jù)歸檔原理分析
根據(jù)不同的數(shù)據(jù)類型和應用，數(shù)據(jù)歸檔可以分為3類：數(shù)據(jù)庫歸檔、記錄歸檔和內(nèi)容歸檔。出于性能考慮，大型ERP系統(tǒng)的數(shù)據(jù)主要存放于后臺數(shù)據(jù)庫中，以便隨時能訪問所需數(shù)據(jù)。當數(shù)據(jù)庫數(shù)據(jù)量較小時，其大小對性能影響不明顯；但當數(shù)據(jù)庫數(shù)據(jù)量增加很多，數(shù)據(jù)表的大小達到幾百萬甚至上千萬條數(shù)據(jù)，數(shù)據(jù)庫容量也達到幾百GB或幾千GB時，量變已經(jīng)引起質(zhì)變，需要多方優(yōu)化并且控制整個數(shù)據(jù)庫的數(shù)據(jù)規(guī)模，才能保證數(shù)據(jù)庫的性能水平不降低。因此，對于制造業(yè)的ERP系統(tǒng)來說，其數(shù)據(jù)歸檔的主要內(nèi)容是對ERP數(shù)據(jù)庫的歸檔。
簡單的說，數(shù)據(jù)歸檔就是將不再需要頻繁訪問并且以后也不會再發(fā)生變化的數(shù)據(jù)，從數(shù)據(jù)庫中轉(zhuǎn)移到歸檔文件中去，然后將這部分數(shù)據(jù)從在線數(shù)據(jù)中刪除，以降低在線數(shù)據(jù)的數(shù)據(jù)庫容量，提升數(shù)據(jù)庫的性能，進而整體提升業(yè)務系統(tǒng)的性能。數(shù)據(jù)庫是結(jié)構化的數(shù)據(jù)集合，“數(shù)據(jù)歸檔的核心是標識數(shù)據(jù)庫中非活動數(shù)據(jù)，然后將活動數(shù)據(jù)從中央數(shù)據(jù)庫中分離出來存儲，至更廉價的存儲設備。通常將應用系統(tǒng)的歸檔文件存儲在外部歸檔介質(zhì)或系統(tǒng)上，并且被歸檔出去的數(shù)據(jù)還可以通過多種方式進行訪問，部分數(shù)據(jù)可以重載到系統(tǒng)中。現(xiàn)以SAP系統(tǒng)的數(shù)據(jù)歸檔來進行說明，數(shù)據(jù)歸檔原理如圖1所示。
圖1 SAP數(shù)據(jù)歸檔原理圖
由圖1可知，要進行數(shù)據(jù)歸檔，首先需要標識出滿足數(shù)據(jù)歸檔條件的數(shù)據(jù)：但是如何讓系統(tǒng)知道哪些數(shù)據(jù)能夠被歸檔呢?對SAP系統(tǒng)來說，只有滿足以下兩方面條件的數(shù)據(jù)才允許被歸檔：第一，業(yè)務已經(jīng)完結(jié)且憑證記錄完整；第二，數(shù)據(jù)的駐留期小于歸檔時間與數(shù)據(jù)創(chuàng)建時間之差。這需要了解SAP數(shù)據(jù)歸檔中的一個重要概念——駐留期。駐留期是指數(shù)據(jù)從創(chuàng)建到允許進行歸檔的時間。通過對駐留期的定義，可以在成千上萬的數(shù)據(jù)中將可以歸檔的部分區(qū)分出來，使數(shù)據(jù)歸檔具有可行性。駐留期與保留期的區(qū)別如圖2所示。
圖2 駐留期示意圖
2.現(xiàn)行國內(nèi)工程機械行業(yè)SAP系統(tǒng)使用分析
大部分企業(yè)在SAP上線時，都會上FI/CO/MM/SD模塊，PP模塊通常只在制造業(yè)才會使用，由于工程機械企業(yè)的離散制造的特點，決定了其PP模塊使用會更為復雜，因此工程機械企業(yè)在使用SAP數(shù)據(jù)歸檔解決方案時，需要依據(jù)其自身的特點進行調(diào)整。國內(nèi)一些主要工程機械企業(yè)均使用了SAP ERP系統(tǒng)，包括柳工、徐工集團、三一重工、中聯(lián)中科、廈工等在內(nèi)。這些企業(yè)的業(yè)務模塊和基礎架構都有如下特點：
a.這些企業(yè)都使用了SAP的五大基本模塊：FI(財務會計)/CO(管理會計)/MM(物料管理)/PP(生產(chǎn)計劃)/SD(銷售和分銷)。部分企業(yè)還使用了QM(質(zhì)量管理)/PM(工廠管理)/HR(人力資源)模塊。但由于離散制造業(yè)的特點，F(xiàn)I/CO/MM/PP4個模塊通常是數(shù)據(jù)的主要來源，是影響系統(tǒng)數(shù)據(jù)量的主要方面，其他模塊占數(shù)據(jù)總量的比例較小。數(shù)據(jù)歸檔的主要對象也將圍繞這4個模塊展開。
b.IT基礎架構上，這些企業(yè)的SAP系統(tǒng)都采用UNIX小型機+FC—SAN存儲架構。標準的IT基礎架構，使得數(shù)據(jù)歸檔方案可以相互借鑒和參照。
柳工和三一重工SAP系統(tǒng)上線時間較早，距今已經(jīng)超過5年。通常，使用時間超過5年，應用系統(tǒng)各方面都會進入一個較為成熟穩(wěn)定的階段，總體的業(yè)務方案及技術架構的調(diào)整不會過于劇烈和頻繁，具備了進行數(shù)據(jù)歸檔的基本條件。并且經(jīng)過5年的使用，SAP系統(tǒng)的數(shù)據(jù)量也達到了一個較為龐大的規(guī)模，對IT基礎架構各性能、容量、備份等方面的要求也越來越高，實施數(shù)據(jù)歸檔的必要性也越來越迫切。目前柳工和三一重工均已實施了數(shù)據(jù)歸檔項目，其他的企業(yè)也將陸續(xù)面臨數(shù)據(jù)歸檔的問題。這兩個企業(yè)的數(shù)據(jù)歸檔項目的成功經(jīng)驗也可以為后續(xù)企業(yè)提供有益的參考和項目思路。
3.柳工SAP數(shù)據(jù)歸檔方案介紹
柳工SAP R/3系統(tǒng)自2007年上線以來，核心系統(tǒng)SAP R/3數(shù)據(jù)量由上線時的300GB增長到2010年末的超過4 200GB，項目前SAP數(shù)據(jù)庫增長量超過4GB/天，系統(tǒng)數(shù)據(jù)量劇增造成系統(tǒng)響應速度變慢，系統(tǒng)運行效率降低，MRP運算時間由原來的十幾分鐘上升到幾個小時，系統(tǒng)備份時間由原來的幾個小時增長到30多個小時。于是，柳工在2011年開始啟動SAP數(shù)據(jù)歸檔項目。
柳工的數(shù)據(jù)歸檔采用ADK(Archive Development Kit)結(jié)合File System的方式進行，SAP數(shù)據(jù)歸檔架構如圖3所示。ADK是SAP標準模塊之一，SAP系統(tǒng)通過ADK接口提供結(jié)構化數(shù)據(jù)(TransactionalData)的歸檔功能，把數(shù)據(jù)從SAP數(shù)據(jù)庫系統(tǒng)中移出并歸檔到外部的文件系統(tǒng)。為提高效率，歸檔文件存放在UNIX小型機的文件系統(tǒng)中，以備后續(xù)的數(shù)據(jù)歸檔和歸檔數(shù)據(jù)查詢，并在歸檔后對系統(tǒng)數(shù)據(jù)庫進行優(yōu)化重組，以釋放數(shù)據(jù)庫空間。
圖3 SAP數(shù)據(jù)歸檔架構圖
需要明確的是，數(shù)據(jù)歸檔項目不僅僅是IT部門的事情，它需要業(yè)務部門和IT部門高度合作，并在此基礎上共同計劃和實施的一個項目。實施過程在技術上分幾個階段進行。第一階段：分析和設計。定義歸檔對象、策略和流程。需要通過全面的數(shù)據(jù)分析，業(yè)務部門需要與IT部門高度合作，最終定義好歸檔對象和歸檔策略。需要注意的是，數(shù)據(jù)歸檔通常按年限進行，需要與各業(yè)務單位確認好歸檔的年份，通常在線數(shù)據(jù)會保留最近的2—3年。
柳工在開展項目時，通過與業(yè)務單位溝通，確定了保留兩年的在線數(shù)據(jù)。歸檔分析過程中，首要的是對SAP數(shù)據(jù)庫中TABLE of TOPl00(數(shù)據(jù)量排名前100的表)進行分析。TABLEl00數(shù)據(jù)庫表容量圖見表1。通過對大表的數(shù)據(jù)分析，最終將相關的數(shù)據(jù)表容量歸集到歸檔對象中，并按照年份形成歷年各個歸檔對象的數(shù)據(jù)分布，項目預期的歸檔目標可以在此基礎上產(chǎn)生。歸檔對象容量分析見表2。從表2中可以看到，PP—ORDER生產(chǎn)訂單的數(shù)據(jù)量非常大(>800GB)，這就是工程機械行業(yè)相對其他行業(yè)特別之處——大量的生產(chǎn)訂單，所以該對象的歸檔是重點需要考慮的問題。
表1 TABLEl00數(shù)據(jù)庫表容量圖
表2 歸檔對象容量分析表
第二階段：歸檔測試。完成歸檔配置、歸檔開發(fā)以及歸檔測試。通過第一階段的分析，對本項目的歸檔情況已經(jīng)有了初步的預期。可以依據(jù)確定的歸檔年限，進行相應的系統(tǒng)配置，本項目歸檔2007年、2008年、2009年這3年的數(shù)據(jù)。由于只有完結(jié)了業(yè)務流程的數(shù)據(jù)才能被歸檔，所以通過與業(yè)務部門的充分溝通，可以促成業(yè)務部門對部分長期未清業(yè)務進行清理，一定程度上提高業(yè)務的規(guī)范性。一個基本的歸檔過程(或歸檔循環(huán))通常有3個步驟。數(shù)據(jù)歸檔過程如圖4所示。業(yè)務對象的歸檔有相應的先后順序，總體上通常是按照模塊CO/FI/MM/PP/SD的順序來進行。由于數(shù)據(jù)歸檔后，大部分的數(shù)據(jù)不能通過原來的事物代碼進行訪問，因此需要通過特定歸檔事物碼SARI訪問。對于很多自開發(fā)的報表，必須要通過對信息結(jié)構進行配置及進行相應的歸檔開發(fā)，才能保證數(shù)據(jù)歸檔后，能夠按照正確的邏輯進行讀取、匯總和計算。對于個別需要經(jīng)常性讀取在線數(shù)據(jù)和歸檔數(shù)據(jù)的標準事物代碼，需要進行歸檔增強開發(fā)。本階段主要難點在于清理歸檔區(qū)間內(nèi)的未結(jié)業(yè)務和進行歸檔開發(fā)。
圖4 數(shù)據(jù)歸檔過程
第三階段：歸檔實施。調(diào)整歸檔策略，歸檔配置并完成生產(chǎn)系統(tǒng)的正式歸檔。由于測試環(huán)境和生產(chǎn)環(huán)境的差異，測試時通過的配置參數(shù)在生產(chǎn)系統(tǒng)實施時，有很大幾率因性能或其他問題而需要進行調(diào)整，才能不影響生產(chǎn)系統(tǒng)正常業(yè)務的運行。同時，歸檔的開發(fā)工作在此階段也持續(xù)進行，業(yè)務部門需要經(jīng)常對信息結(jié)構進行優(yōu)化，并且需要對最終用戶進行充分培訓，以保證獲取業(yè)務數(shù)據(jù)的準確性。
第四階段：上線和支持。重組數(shù)據(jù)庫，歸檔確認和后續(xù)技術支持。完成數(shù)據(jù)歸檔后，對數(shù)據(jù)庫進行重組以釋放數(shù)據(jù)庫空問并提升性能，處理歸檔開發(fā)中可能遺漏的BUG。同時，由于歸檔數(shù)據(jù)不會發(fā)生修改，因此對歸檔數(shù)據(jù)的備份不需要頻繁進行，可以以較低的備份頻率進行備份，以縮減備份窗口，降低對備份設備存儲資源的占用。
柳工通過6個月的項目實施，成功完成了對24個歸檔對象實施歸檔，保證歸檔數(shù)據(jù)安全可查。通過數(shù)據(jù)歸檔釋放生產(chǎn)系統(tǒng)數(shù)據(jù)庫空間，降低生產(chǎn)系統(tǒng)數(shù)據(jù)庫容量，縮短系統(tǒng)響應時間，提高系統(tǒng)性能，總體來看數(shù)據(jù)庫空間減少1.24TB，約占歸檔前總數(shù)據(jù)量的32%，達到數(shù)據(jù)庫容量減少30%的預期目標。通過對SAP系統(tǒng)的數(shù)據(jù)歸檔，可以給企業(yè)帶來如下的收益：
a．SAP系統(tǒng)的響應時間有明顯的改善，報表整體查詢效率提高，有效地提高員工的工作效率；
b．通過提高系統(tǒng)的運行效率，連帶提高與SAP集成的系統(tǒng)接口運行效率，減少客戶因系統(tǒng)響應問題產(chǎn)生的投訴，提高了服務質(zhì)量；
c．縮短了系統(tǒng)的備份時間和恢復時間，從而整體上提高了系統(tǒng)的安全性；
d．通過將過期的數(shù)據(jù)從數(shù)據(jù)庫剝離出去，可以降低總體擁有成本(TCO)，如對主機系統(tǒng)、存儲系統(tǒng)、備份系統(tǒng)的投入；
e．由于數(shù)據(jù)量增速下降，連帶降低了對數(shù)據(jù)庫及存儲進行優(yōu)化、擴容的維護工作量，降低SAP系統(tǒng)的維護成本和風險；
f．建立了數(shù)據(jù)管理機制，保證柳工SAP系統(tǒng)數(shù)據(jù)庫容量增長保持相對穩(wěn)定目標的實現(xiàn)。
4.結(jié)束語
在工程機械行業(yè)中開展數(shù)據(jù)歸檔項目，其實施過程中需要充分考慮行業(yè)自身的特點，才能達到可預期的結(jié)果。數(shù)據(jù)歸檔技術在ERP系統(tǒng)上的應用通常表現(xiàn)為對數(shù)據(jù)庫的歸檔，對解決企業(yè)ERP系統(tǒng)數(shù)據(jù)量劇增問題有著極為明顯的優(yōu)勢。作為一個軟件為主導而又能影響硬件的方案，它摒棄了傳統(tǒng)的硬件為主的對應方案，從根本上減弱ERP系統(tǒng)大數(shù)據(jù)對硬件的依賴，成為軟硬結(jié)合、治標治本的解決方案。隨著軟硬件技術的不斷發(fā)展，對應的各種解決方案也將呈現(xiàn)出新的軟硬件結(jié)合的趨勢，只有多方技術設備結(jié)合使用，才能獲取最優(yōu)TCO解決方案。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.lukmueng.com/
本文標題：SAP數(shù)據(jù)歸檔在工程機械企業(yè)中的應用
本文網(wǎng)址：http://www.lukmueng.com/html/consultation/10839313326.html
相關文章
