基于ERP系統的數據挖掘應用研究

2013-12-16 10:54:12 電力信息化　點擊量：評論 (0)

引言隨著全球經濟環境的進一步改變，企業的競爭壓力也越來越大，而ERP（企業資源計劃）體現了當今世界上最先進的企業管理理論，并提供了企業信息化集成的最佳方案，因此已經成為眾多企業追求管理革新與信息化建設

引言

隨著全球經濟環境的進一步改變，企業的競爭壓力也越來越大，而ERP（企業資源計劃）體現了當今世界上最先進的企業管理理論，并提供了企業信息化集成的最佳方案，因此已經成為眾多企業追求管理革新與信息化建設的必然選擇。一方面，隨著ERP系統的普及與廣泛應用，必然會形成越來越多的數據，如何從大量的甚至海量的數據中提取有用的知識以支持管理決策，已經成為越來越重要的問題；另一方面，數據挖掘技術利用數據庫系統、統計學、機器學習、可視化和信息科學等多學科技術，研究從大量數據中如何提取或“挖掘”知識，也逐漸從理論研究發展到了實際應用。因此，將數據挖掘應用于ERP系統，分析利用ERP所形成的數據，從而形成幫助決策的知識，逐漸引起了研究者與企業的重視。

然而，由于數據挖掘源于多個學科，因此產生了大量的、各種不同類型的數據挖掘系統，盡管有普通的、全能的數據挖掘系統與通用的數據挖掘算法，但通用系統并不適合特定領域的挖掘任務，因此需要針對特定應用的數據挖掘進行分析研究。

文中主要介紹ERP與數據挖掘的基本概念與發展，還分析了基于ERP的數據挖掘應用所面對的問題，討論數據挖掘在ERP中的兩個應用框架的構建。最后，比較并分析了兩個應用框架的特點與優缺點。

l 概念與定義

1.1 ERP的概念與發展

ERP的概念于20世紀90年代由美國Garter Group Inc咨詢公司首先提出，其理論與系統從MRPⅡ發展而來，極大地擴展了業務管理的范圍及深度，管理范圍涉及到企業的所有供需過程。概括地說，ERP有如下定義：

定義：ERP是建立在信息技術的基礎上，利用現代企業的先進管理思想，全面地集成了企業的所有資源信息，并為企業提供決策、計劃、控制與經營業績評估的全方位和系統化的管理平臺。

ERP不僅僅是信息系統，更重要的是一種管理理論與管理思想，它代表了當前在全球范圍內應用最廣泛、最有效的一種企業管理方法，這種管理方法已經通過計算機軟件得到了體現。

ERP的核心管理思想就是實現對整個供應鏈的有效管理，包括物流、資金流與信息流。基于ERP理論的信息系統主要包括生產計劃管理、質量管理、設備管理、采購管理、庫存管理、銷售管理、客戶關系管理、成本管理、財務管理幾個模塊。

隨著ERP應用的深入發展，ERP的應用范圍逐漸擴大，并不再限于制造業，已應用到金融業、高科技產業、郵電與通信業、能源行業（電力、石油與天然氣、煤炭業等）、公共事業、商業與零售業、外貿行業、新聞出版業、咨詢服務業，甚至于醫療保健業和賓館酒店等行業，因此，美國生產庫存學會（American Production and Inventory Control Society，APICS）在2002年出版的《AFICS字典》（第10版）中對ERP系統的定義擴展為：一種在制造、分銷或服務業公司中有效地計劃和控制為接收、制造、發運和解決客戶訂單問題所需的所有資源的方法。

從ERP的理論與實際應用可以看到，為企業提供決策足ERP的重要目的與功能之一。

1.2 數據挖掘概述

隨著信息技術的發展，人們積累了越來越多的數據，從大量的數據中獲得有價值的知識也越來越成為迫切的需求。因此，自20世紀90年代初以來，數據挖掘或知識發現也越來越受到人們的重視。廣義的數據挖掘等同于知識發現，而狹義的數據挖掘專指知識發現的一個基本步驟。作為知識發現的一個步驟，數據挖掘有以下定義：

定義2：數據挖掘就是從大量的數據中挖掘出有用的信息，即從大量的、不完全的、有噪音的、模糊的、隨機的實際應用數據中發現隱含的、規律性的，人們事先未知的，但又是潛在有用的并且最終可理解的信息和知識的非平凡過程。

與傳統的數據分析手段（如查詢報表）相比，數據挖掘有以下幾個特點：首先，數據挖掘處理的是大量或海量的數據；其次，數據挖掘的目的是發現隱含的、事先未知的知識；再次，數據挖掘更傾向于把任務交給程序自動完成，也是人工智能的一種應用；最后，數據挖掘是一個交叉學科，是高級的數據分析手段。

數據挖掘使用各種不同的算法來完成不同的任務。數據挖掘的任務一般可以分為兩類BJ：描述和預測。描述性數據挖掘任務刻畫數據庫中數據的一般特性。預測性挖掘任務在當前數據上進行推斷，以進行預測。最基本也是最重要的數據挖掘任務為：

1）關聯：關聯分析發現關聯規則，這些規則展示了屬性與屬性之間的關系；

2）聚類：產生分組標記，根據最大化類內相似性、最小化類間相似性原則將數據分成不同的簇；

3）分類／預測：找出描述并區分數據類或概念的模型，以便能使用模型預測類標記未知的對象類。數據挖掘還有序列發現、相關分析、孤立點分析等多種任務。

目前，數據挖掘作為知識發現的重要步驟與商業智能（BI）的核心功能，已經應用于金融、電信、體育分析、銷售等多個領域，但制造業應用并不廣泛。

2 數據挖掘在ERP中的應用框架

2.1 應用問題描述與分析

ERP系統涉及整個供應鏈的管理，會產生大量的數據，其重要目的之一是提供決策支持，因此，分析利用ERP系統積累的數據，提高決策能力，越來越受到人們的重視。傳統的方法是提供報表功能，但報表功能處理海量數據力不從心，也無法更智能地發現隱含的知識，因此，ERP系統越來越需要數據挖掘的應用。但是，由于ERP最主要的應用行業——制造業類型復雜，各個生產管理環節形成的數據種類繁多，設計通用的數據挖掘算法覆蓋所有的生產問題和所有的管理環節是十分困難的。事實上，由于ERP積累的數據有著行業獨特的相關性，通用的數據挖掘算法是無效的，加之企業對數據挖掘這種新技術實施風險的考慮，因此，盡管大型的ERP系統包含數據挖掘的商業智能模塊，但總體上來看，數據挖掘在ERP中的應用并不廣泛。

2.2 基于數據倉庫的應用框架

根據ERP系統的特點，結合典型的數據挖掘系統結構，一種基于數據倉庫的ERP系統數據挖掘應用框架如圖1所示，標記為應用框架1。

ERP業務數據庫屬于數據庫技術中的操作型數據庫，主要處理聯機事務，關注多事務處理、數據的一致性與完整性等，重點不在于大數據量的查詢與分析。而數據倉庫是分析型數據庫，是一種數據的長期存儲，數據經過組織在一致的模式下存放，通常是歷史數據的匯總，目的是為了支持決策。數據倉庫的數據組織、存取方法以及支持的主要功能等都是針對歷史數據的查詢與分析而設計，因此數據倉庫能更好地支持數據挖掘。

圖1所示的應用框架描述如下：

a）數據處理模塊：將ERP業務數據庫的數據經過提取、轉換與加載等，轉換為符合數據倉庫要求的數據。

b）數據挖掘引擎：用于執行數據挖掘任務，包括關聯規則、聚類、分類等。

c）知識庫：領域知識，用于指導數據挖掘執行，也用于評估數據挖掘的結果模式。

d）模式評估：該模塊與數據挖掘引擎交互，也與用戶交互，并根據知識庫的相關知識，評估數據挖掘結果的興趣度，過濾發現的模式。

基于數據倉庫的數據挖掘應用框架的特點是：數據挖掘過程與ERP業務過程分離，挖掘過程不影響實時操作，但分析對象也不是實時數據。

2.3 基于ERP業務數據庫的應用框架

盡管數據倉庫技術對數據挖掘有著重要作用，但是數據挖掘不限于僅分析數據倉庫中的匯總數據，它可以分析現存于ERP系統中的更細化的業務數據，因此，基于ERP業務數據庫的數據挖掘應用框架如圖2所示，標記為應用框架2。在這一框架中，數據挖掘不再是建立在數據倉庫上的獨立系統，而是作為ERP系統的一個高級模塊存在，它一方面是對數據挖掘分析對象的擴展，另一方面也是日益重要的在線實時數據分析的要求。

圖2 基于ERP業務數據庫的數據挖掘應用框架

在圖2所示的應用框架中，ERP數據挖掘模塊直接處理分析業務數據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數據預處理功能作為數據挖掘模塊內部功能存在，直接提取處理ERP操作數據庫。事實上，大型的數據庫系統也越來越向提供智能分析與數據挖掘功能的方向發展，因此，在不建立數據倉庫的情況下，利用數據挖掘技術直接對ERP業務數據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數據倉庫的建立，是應用框架1中的核心內容，也是傳統的數據挖掘應用模式在ERP系統中的應用，即先建立數據倉庫，再進行數據挖掘。這種模式將ERP系統與數據倉庫系統結合，既發揮了ERP系統處理事務的能力，又發揮了數據倉庫之上的數據挖掘技術的決策支持作用。但根據ERP系統的特點，ERP業務數據庫中的數據已經相對集中與規范，在企業沒有建立數據倉庫時，ERP系統同樣需要有效的數據分析與決策支持，因此，基于ERP業務數據的數據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優缺點比較分析如下：

（1）應用框架1：基于數據倉庫的數據挖掘應用

應用框架1的主要優點：

a）操作型數據庫與分析型數據庫分離，使操作事務與分析任務互不干擾，能夠保證數據挖掘進行大量數據查詢時不影響業務操作性能；

b）數據倉庫根據分析需要組織數據結構、內容與功能等，使數據挖掘更專注有效；

c）數據倉庫可以整合不同數據源數據，使數據挖掘不僅局限于ERP系統，方便擴充。

應用框架1的主要缺點：

a）需要建立數據倉庫，需要進行數據清理和數據集成，會增加數據挖掘應用的風險與成本；

b）數據倉庫存儲歷史數據，與最新數據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業務數據庫的數據挖掘應用

應用框架2的主要優點：

a）利用ERP系統數據庫，不建立單獨數據倉庫，成本低；

b）基于業務數據的分析具有實時性，分析結果時問延遲小；

c）數據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業務，優化ERP流程與業務。

應用框架2的主要缺點：

a）與ERP使用同一數據庫，復雜的分析與查詢會影響業務操作性能；

b）數據挖掘需要考慮數據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數據的分析。進一步比較兩個應用框架的特點，如表l所示。

圖2 基于ERP業務數據庫的數據挖掘應用框架

在圖2所示的應用框架中，ERP數據挖掘模塊直接處理分析業務數據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數據預處理功能作為數據挖掘模塊內部功能存在，直接提取處理ERP操作數據庫。事實上，大型的數據庫系統也越來越向提供智能分析與數據挖掘功能的方向發展，因此，在不建立數據倉庫的情況下，利用數據挖掘技術直接對ERP業務數據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數據倉庫的建立，是應用框架1中的核心內容，也是傳統的數據挖掘應用模式在ERP系統中的應用，即先建立數據倉庫，再進行數據挖掘。這種模式將ERP系統與數據倉庫系統結合，既發揮了ERP系統處理事務的能力，又發揮了數據倉庫之上的數據挖掘技術的決策支持作用。但根據ERP系統的特點，ERP業務數據庫中的數據已經相對集中與規范，在企業沒有建立數據倉庫時，ERP系統同樣需要有效的數據分析與決策支持，因此，基于ERP業務數據的數據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優缺點比較分析如下：

（1）應用框架1：基于數據倉庫的數據挖掘應用

應用框架1的主要優點：

a）操作型數據庫與分析型數據庫分離，使操作事務與分析任務互不干擾，能夠保證數據挖掘進行大量數據查詢時不影響業務操作性能；

b）數據倉庫根據分析需要組織數據結構、內容與功能等，使數據挖掘更專注有效；

c）數據倉庫可以整合不同數據源數據，使數據挖掘不僅局限于ERP系統，方便擴充。

應用框架1的主要缺點：

a）需要建立數據倉庫，需要進行數據清理和數據集成，會增加數據挖掘應用的風險與成本；

b）數據倉庫存儲歷史數據，與最新數據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業務數據庫的數據挖掘應用

應用框架2的主要優點：

a）利用ERP系統數據庫，不建立單獨數據倉庫，成本低；

b）基于業務數據的分析具有實時性，分析結果時問延遲小；

c）數據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業務，優化ERP流程與業務。

應用框架2的主要缺點：

a）與ERP使用同一數據庫，復雜的分析與查詢會影響業務操作性能；

b）數據挖掘需要考慮數據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數據的分析。進一步比較兩個應用框架的特點，如表l所示。

圖2 基于ERP業務數據庫的數據挖掘應用框架

在圖2所示的應用框架中，ERP數據挖掘模塊直接處理分析業務數據，同樣基于知識庫進行模式評估，并與用戶交互。必要的數據預處理功能作為數據挖掘模塊內部功能存在，直接提取處理ERP操作數據庫。事實上，大型的數據庫系統也越來越向提供智能分析與數據挖掘功能的方向發展，因此，在不建立數據倉庫的情況下，利用數據挖掘技術直接對ERP業務數據進行一定程度的分析也是可行的。

2.4 比較與分析

基于ERP的數據倉庫的建立，是應用框架1中的核心內容，也是傳統的數據挖掘應用模式在ERP系統中的應用，即先建立數據倉庫，再進行數據挖掘。這種模式將ERP系統與數據倉庫系統結合，既發揮了ERP系統處理事務的能力，又發揮了數據倉庫之上的數據挖掘技術的決策支持作用。但根據ERP系統的特點，ERP業務數據庫中的數據已經相對集中與規范，在企業沒有建立數據倉庫時，ERP系統同樣需要有效的數據分析與決策支持，因此，基于ERP業務數據的數據挖掘應用框架也同樣具有重要意義。

兩個應用框架的優缺點比較分析如下：

（1）應用框架1：基于數據倉庫的數據挖掘應用

應用框架1的主要優點：

a）操作型數據庫與分析型數據庫分離，使操作事務與分析任務互不干擾，能夠保證數據挖掘進行大量數據查詢時不影響業務操作性能；

b）數據倉庫根據分析需要組織數據結構、內容與功能等，使數據挖掘更專注有效；

c）數據倉庫可以整合不同數據源數據，使數據挖掘不僅局限于ERP系統，方便擴充。

應用框架1的主要缺點：

a）需要建立數據倉庫，需要進行數據清理和數據集成，會增加數據挖掘應用的風險與成本；

b）數據倉庫存儲歷史數據，與最新數據存在差異，因此分析結果有時間延遲。

（2）應用框架2：基于ERP業務數據庫的數據挖掘應用

應用框架2的主要優點：

a）利用ERP系統數據庫，不建立單獨數據倉庫，成本低；

b）基于業務數據的分析具有實時性，分析結果時問延遲小；

c）數據挖掘作為ERP模塊，與ERP結合緊密，可以及時根據分析結果調整ERP業務，優化ERP流程與業務。

應用框架2的主要缺點：

a）與ERP使用同一數據庫，復雜的分析與查詢會影響業務操作性能；

b）數據挖掘需要考慮數據預處理，挖掘算法計算代價大；

c）可擴充性相對低，局限于僅對ERP數據的分析。進一步比較兩個應用框架的特點，如表l所示。

由以上分析可以得出：基于數據倉庫的應用框架，適合于信息化應用較成熟的大中型企業，通過建立面向主題的、集成的、時變的與非易失的數據倉庫，通過數據清理與數據集成，能夠充分進行數據挖掘與分析，為企業提供有效、全面的決策支持。基于ERP業務數據庫的數據挖掘應用框架，適合于不具備建立成熟數據倉庫，但又需要進行數據挖掘應用的中小型企業，盡管不能全面支持與實現數據挖掘各種算法，但在有限條件下可實現性高，靈活性大，也具有較高的應用價值。隨著數據庫與中間件技術的發展，基于操作型數據庫的數據挖掘與分析也必將進一步發展。

3 結束語

本文在介紹ERP與數據挖掘概念與定義的基礎上，描述了兩個數據挖掘在ERP中的應用框架：基于數據倉庫的應用框架與基于ERP業務數據庫的應用框架。從兩個應用框架出發，分析了它們的優缺點，并且從數據對象、及時性、有效性等多個方面，比較了兩個框架的特點。數據挖掘技術作為數據分析與決策支持實現的高級技術，必將成為ERP應用的一個重要內容，隨著ERP系統與數據挖掘技術的進一步發展，在ERP系統中的數據挖掘應用必將為企業提供更快、更有效的決策支持服務，也必將給企業帶來巨大的經濟效益。