摘　要: 隨著時間的推移，社會的進步，越來越多的數據被海量積累下來，如何合理處理數據，并利用相關數據獲取人們所需的知識，是進入21世紀以來人們一直深入研究的方向。以此為出發(fā)點，從數據倉庫與數據挖掘的誕生談起，詳細介紹了數據倉庫的構建、幾種數據挖掘算法以及數據挖掘過程，分析提出了數據挖掘技術的進一步發(fā)展和研究方向。
　　關鍵詞：SQL Server 2000；數據倉庫；數據挖掘

?

? 　隨著計算機應用技術的快速發(fā)展，令各行各業(yè)收集數據的能力大力提升，隨之也就帶來了“數據爆炸”現象。如何將這些海量數據存儲與分析，令其轉換成信息和知識，輔助決策管理，成為亟待解決的問題。由此，數據倉庫與數據挖掘技術應運而生。
　　20世紀90年代初期INMON W H.在其里程碑式的著作《Building the Datahouse》中提出了“數據倉庫”的概念^[1]，而后隨著數據庫與計算機技術的不斷進步，數據倉庫技術也得以快速發(fā)展，并逐漸滲透到生物醫(yī)學、零售、醫(yī)學信息系統、移動通信等行業(yè)中。
　　數據挖掘技術自從1989年8月在底特律召開的研討會上提出后迅速發(fā)展，該研討會組委會在1997年開始擁有了自己的雜志“Knowledge Discovery and Data Mining”，并且在數據倉庫的基礎上，在保險業(yè)務、金融風險預測、基因工程研究、產品產量和質量分析等領域中得到了成功應用。
1? 數據倉庫技術
1.1 數據倉庫介紹
　　數據倉庫不僅包含分析所需的數據，而且包含處理數據所需的應用程序，這些程序包括將數據由外部媒體轉入數據倉庫的應用程序，也包括了將數據加以分析并呈現給用戶的應用程序。
根據該定義，一個數據倉庫包括了數據以及負責管理與分析工作的程序管理器，其主要目的是提供可用的數據，使分析人員可以取得所需的正確統計信息，以作為管理決策的參考依據。
1.2 數據倉庫系統的架構
　　一個數據倉庫的大小一般都是在100 GB以上，因為傳統的關系數據庫技術是針對OLTP而發(fā)展的，并不適用于數據量大而且復雜度高的數據倉庫系統，需要用不同的方式來設計和開發(fā)一個數據倉庫系統。
　　因此提出一個新名詞——系統管理器，它是由多個程序所構成的，而成為層次式的架構，至于一個管理程序的功能與復雜度則會因數據倉庫系統而異。系統管理器向下可分為3個管理器：加載管理器（Load Manager）、倉庫管理器（Warehouse Manager）和查詢管理器（Query Manager）。圖1所示架構圖實現了一個數據倉庫系統的架構，就數據層面而言，圖中標示出了3個層次：數據、信息以及決策。而圖中各管理器職責為：
　?。?）加載管理器：程序需實現抽取與加載，功能為抽取并加載數據，在加載數據之前與進行中執(zhí)行簡單的轉換。
　?。?）倉庫管理器：程序需實現整理與轉換、備份與備存，功能為轉換并管理數據倉庫數據、備份與備存數據。
　?。?）查詢管理器：程序需實現查詢功能，從而可引導并管理數據倉庫的查詢。

1.3 數據倉庫設計
　　數據倉庫的設計和創(chuàng)建是一個分布實施的連貫過程，在確定用戶需求的基礎上，完成數據倉庫的設計和建立、提取和加載，最后進行長期的使用和維護。從系統的角度看，數據倉庫的建立首先必須明確其設計方法，針對解決問題的短期性或長效性，將數據倉庫設計方法分為以下3種：
　?。?）自頂向下的方法：該方法把企業(yè)需求作為實現數據倉庫的首要任務，其成本、難度和時間花費都遠遠大于自下向上的方法，一般適合于取得長期效益。
　?。?）自底向上的方法：該方法設計較小的、更集中的數據倉庫應用，可以簡化整體處理過程，為兼顧縮短開發(fā)時間和可縮放企業(yè)應用提供了折中的方案，是快速實現數據集市、部門數據倉庫的有效手段。
　?。?）聯合方法：是以上兩種方法的合成，企業(yè)在保持自底向上方法實現和基于應用的同時，還能利用自頂向下方法的規(guī)劃和決策，為企業(yè)保留建立長遠決策方案提供了機會^[2]。
2　數據挖掘算法
2.1 數據挖掘理論
　　數據挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取隱含的、預先不知道的、但又潛在有用的信息和知識的過程。數據挖掘的相近術語，包括知識發(fā)現、數據分析、數據融合（Data Fusion）以及決策支持等。人們把原始數據看作是形成知識的源泉，就像從礦石中采礦一樣。原始數據可以是結構化的，如關系數據庫中的數據，也可以是半結構化的，如文本、圖形、圖像數據，甚至可以是分布在網絡上的異構型數據。發(fā)現知識的方法可以是數學的，也可以是非數學的；可以是演繹的，也可以是歸納的。已發(fā)現知識不僅可以被用于信息管理、查詢優(yōu)化、決策支持、過程控制等，還可以用于數據自身的維護。
2.2 數據挖掘基本算法
2.2.1．關聯規(guī)則
　　（1）關聯規(guī)則的定義

　　如果項集的出現頻率大于或等于min_sup與D中事務總數的乘積，則項集滿足最小支持度min_sup；如果項集滿足最小支持度，則稱它為頻繁項集，頻繁k-項集的集合通常記作L_k。關聯規(guī)則分為兩步：找出所有頻繁項集和由頻繁項集產生關聯規(guī)則。
　　(2)Apriori算法：使用候選項集找頻繁項集
　　Apriori算法^[4]是一種最有影響的挖掘布爾關聯規(guī)則頻繁項集的算法。Apriori使用一種稱作逐層搜索的迭代方法，k-項集用于探索(k+1)-項集。首先，找出頻繁1-項集的集合。該集合記作L₁。L₁用于找頻繁2-項集的集合L₂，而L₂用于找L₃，如此下去，直到不能找到頻繁k-項集。找每個Lk需要一次數據庫掃描。
　　為提高頻繁項集逐層產生的效率,用Apriori性質來壓縮搜索空間，該性質稱為Apriori性質：即頻繁項集的所有非空子集都必須也是頻繁的。Apriori性質基于如下觀察：根據定義，如果項集I不滿足最小支持度閥值min_sup，則I不是頻繁的，即P(I)??? (3)由頻繁項集產生關聯規(guī)則
　　一旦由數據庫D中的事務找出頻繁項集，由它們產生強關聯規(guī)則是直截了當的，對于置信度，可以用下式，其中條件概率用項集支持度計數表示：
　　

　　其中support_count(A∪B)是包含項集A∪B的事務數，support_count(A)是包含項集A的事務數。根據該式，關聯規(guī)則可以產生如下：
　　對于每個頻繁項集l，產生l的所有非空子集；
　　對于l的每個非空子集s，如果

　　Apriori算法在剪枝步中的每個元素需在交易數據庫中進行驗證來決定其是否加入，這里的驗證過程是算法性能的瓶頸，這個方法要求多次重復掃描可能很大的交易數據庫，還會產生大量的候選項集，這是Apriori算法的兩大缺點。
2.2.2 遺傳算法
　　遺傳算法是進化計算方法的實例,是優(yōu)化型算法。遺傳算法是一個計算模型，由5部分組成：個體的初始集合P、雜交技術、變異算法、適應度函數以及對P反復應用雜交技術和變異技術的算法。該算法用適應度函數確定P中應保留的最優(yōu)個體。算法每次迭代都從種群中替換許多預先定義的個體，直至達到某一閾值為止。遺傳算法的優(yōu)點是容易并行化，但它也存在許多缺點：遺傳算法對于最終用戶來說很難理解和解釋、問題抽象和個體表述十分困難、最佳的適應度函數難以確定以及雜交和變異過程難以確定。
2.2.3 決策樹
　　決策樹^[5]是一個類似于流程圖的樹結構，其中每個內部節(jié)點表示一個屬性上的測試，每個分枝代表一個測試輸出，而每個樹葉節(jié)點代表類或類分布。決策樹根據不同的特征，以樹型結構表示分類或決策集合，產生規(guī)則和發(fā)現規(guī)律。決策樹的算法主要有：ID3算法、C4.5算法、SLIQ算法和SPRINT算法。
3? 數據挖掘的過程
3.1 確定業(yè)務對象
　　清晰地定義出業(yè)務問題，認清數據挖掘的目的是數據挖掘的重要一步。挖掘的最后結構是不可預測的，但要探索的問題應是可預見的，為了數據挖掘而數據挖掘則帶有盲目性，是不會成功的。
3.2 數據準備
??? （1）數據的選擇，搜索所有與業(yè)務對象有關的內部和外部數據信息，并從中選擇出適用于數據挖掘應用的數據；
??? （2）數據的預處理，研究數據的質量，為進一步分析作準備，并確定將要進行的挖掘操作的類型；
??? （3）數據的轉換，將數據轉換成一個分析模型，這個分析模型是針對挖掘算法建立的，建立一個真正適合挖掘算法的分析模型是數據挖掘成功的關鍵。
3.3 數據挖掘
　　對所得到的經過轉換的數據進行挖掘，除了完善從選擇合適的挖掘算法外，其余一切工作都能自動地完成。
3.4 結果分析
　　解釋并評估結果，其使用的分析方法一般應以數據挖掘操作而定，通常會用到可視化技術。
3.5 知識的同化
　　將分析所得到的知識集成到業(yè)務信息系統的組織結構中去。
總之，數據挖掘過程需要多次的循環(huán)反復，才有可能達到預期的效果，如圖2所示。

?