從數(shù)據(jù)本身來考慮，數(shù)據(jù)挖掘通常需要有信息收集、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)清理、數(shù)據(jù)變換、數(shù)據(jù)挖掘?qū)嵤┻^程、模式評(píng)估和知識(shí)表示8個(gè)步驟。
步驟（1）信息收集：根據(jù)確定的數(shù)據(jù)分析對象，抽象出在數(shù)據(jù)分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數(shù)據(jù)庫。對于海量數(shù)據(jù)，選擇一個(gè)合適的數(shù)
據(jù)存儲(chǔ)和管理的數(shù)據(jù)倉庫是至關(guān)重要的。
步驟（2）數(shù)據(jù)集成：把不同來源、格式、特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，從而為企業(yè)提供全面的數(shù)據(jù)共享。
步驟（3）數(shù)據(jù)規(guī)約：如果執(zhí)行多數(shù)的數(shù)據(jù)挖掘算法，即使是在少量數(shù)據(jù)上也需要很長的時(shí)間，而做商業(yè)運(yùn)營數(shù)據(jù)挖掘時(shí)數(shù)據(jù)量往往非常大。數(shù)據(jù)規(guī)約技術(shù)可以用來得到數(shù)據(jù)集的規(guī)約表示，它小得多，但仍然接近于保持原數(shù)據(jù)的完整性，并且規(guī)約后執(zhí)行數(shù)據(jù)挖掘結(jié)果與規(guī)約前執(zhí)行結(jié)果相同或幾乎相同。
步驟（4）數(shù)據(jù)清理：在數(shù)據(jù)庫中的數(shù)據(jù)有一些是不完整的（有些感興趣的屬性缺少屬性值）、含噪聲的（包含錯(cuò)誤的屬性值），并且是不一致的（同樣的信息不同的表示方式），因此需要進(jìn)行數(shù)據(jù)清理，將完整、正確、一致的數(shù)據(jù)信息存入數(shù)據(jù)倉庫中。不然，挖掘的結(jié)果會(huì)差強(qiáng)人意。
步驟（5）數(shù)據(jù)變換：通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。對于有些實(shí)數(shù)型數(shù)據(jù)，通過概念分層和數(shù)據(jù)的離散化來轉(zhuǎn)換數(shù)據(jù)也是重要的一步。
步驟（6）數(shù)據(jù)挖掘過程：根據(jù)數(shù)據(jù)倉庫中的數(shù)據(jù)信息，選擇合適的分析工具，應(yīng)用統(tǒng)計(jì)方法、事例推理、決策樹、規(guī)則推理、模糊集，甚至神經(jīng)網(wǎng)絡(luò)、遺傳算法的方法處理信息，得出有
用的分析信息。
步驟（7）模式評(píng)估：從商業(yè)角度，由行業(yè)專家來驗(yàn)證數(shù)據(jù)挖掘結(jié)果的正確性。
步驟（8）知識(shí)表示：將數(shù)據(jù)挖掘所得到的分析信息以可視化的方式呈現(xiàn)給用戶，或作為新的知識(shí)存放在知識(shí)庫中，供其他應(yīng)用程序使用。
數(shù)據(jù)挖掘過程是一個(gè)反復(fù)循環(huán)的過程，每一個(gè)步驟如果沒有達(dá)到預(yù)期目標(biāo)，都需要回到前面的步驟，重新調(diào)整并執(zhí)行。不是每件數(shù)據(jù)挖掘的工作都需要這里列出的每一步，例如在某個(gè)工作
中不存在多個(gè)數(shù)據(jù)源的時(shí)候，步驟（2）便可以省略。步驟（3）數(shù)據(jù)規(guī)約、步驟（4）數(shù)據(jù)清理、步驟（5）數(shù)據(jù)變換又合稱數(shù)據(jù)預(yù)處理。在數(shù)據(jù)挖掘中，至少60%的費(fèi)用可能要花在步驟（1）信息收集階段，而其中至少60%以上的精力和時(shí)間花在了數(shù)據(jù)預(yù)處理過程中。
除了之前我們提到的分類，還有一些概念是我們在數(shù)據(jù)挖掘中常用的，比如聚類算法、時(shí)間序列算法、估計(jì)和預(yù)測以及關(guān)聯(lián)算法等。我們將在本節(jié)中介紹幾個(gè)常用概念以加深讀者對數(shù)據(jù)挖
掘的理解。
聚類
所謂聚類，就是類或簇（Cluster）的聚合，而類是一個(gè)數(shù)據(jù)對象的集合。
和分類一樣，聚類的目的也是把所有的對象分成不同的群組，但和分類算法的最大不同在于采用聚類算法劃分之前并不知道要把數(shù)據(jù)分成幾組，也不知道依賴哪些變量來劃分。
聚類有時(shí)也稱分段，是指將具有相同特征的人歸結(jié)為一組，將特征平均，以形成一個(gè)“特征矢量”或“矢心”。聚類系統(tǒng)通常能夠把相似的對象通過靜態(tài)分類的方法分成不同的組別或者更多的子集（Subset），這樣在同一個(gè)子集中的成員對象都有相似的一些屬性。聚類被一些提供商用來直接提供不同訪客群組或者客戶群組特征的報(bào)告。聚類算法是數(shù)據(jù)挖掘的核心技術(shù)之一，而除了本身的算法應(yīng)用之外，聚類分析也可以作為數(shù)據(jù)挖掘算法中其他分析算法的一個(gè)預(yù)處理步驟。
下圖是聚類算法的一種展示。圖中的Cluster1和Cluster2分別代表聚類算法計(jì)算出的兩類樣本。打“+”號(hào)的是Cluster1，而打“○”標(biāo)記的是Cluster2。
在商業(yè)中，聚類可以幫助市場分析人員從消費(fèi)者數(shù)據(jù)庫中區(qū)分出不同的消費(fèi)群體，并且概括出每一類消費(fèi)者的消費(fèi)模式或者消費(fèi)習(xí)慣。它作為數(shù)據(jù)挖掘中的一個(gè)模塊，可以作為一個(gè)單獨(dú)的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個(gè)特定的類上以作進(jìn)一步的分析并概括出每一類數(shù)據(jù)的特點(diǎn)。
在商業(yè)中，聚類可以幫助市場分析人員從消費(fèi)者數(shù)據(jù)庫中區(qū)分出不同的消費(fèi)群體，并且概括出每一類消費(fèi)者的消費(fèi)模式或者消費(fèi)習(xí)慣。它作為數(shù)據(jù)挖掘中的一個(gè)模塊，可以作為一個(gè)單獨(dú)的工具以發(fā)現(xiàn)數(shù)據(jù)庫中分布的一些深層次的信息，或者把注意力放在某一個(gè)特定的類上以作進(jìn)一步的分析并概括出每一類數(shù)據(jù)的特點(diǎn)。
聚類分析的算法可以分為劃分法（Partitioning Methods）、 層次法（Hierarchical Methods）、基于密度的方法（Density-Based Methods）、基于網(wǎng)格的方法（Grid-Based Methods）和基于模型的方法（Model-Based Methods）等。
比如，下面幾個(gè)場景比較適合應(yīng)用聚類算法，同時(shí)又有相應(yīng)的商業(yè)應(yīng)用：
哪些特定癥狀的聚集可能預(yù)示什么特定的疾病？
租同一類型車的是哪一類客戶？
網(wǎng)絡(luò)游戲上增加什么功能可以吸引哪些人來？
哪些客戶是我們想要長期保留的客戶？
聚類算法除了本身的應(yīng)用之外還可以作為其他數(shù)據(jù)挖掘方法的補(bǔ)充，比如聚類算法可以用在數(shù)據(jù)挖掘的第一步，因?yàn)椴煌垲愔械膫€(gè)體相似度可能差別比較大。例如，哪一種類的促銷對客戶響應(yīng)最好？對于這一類問題，首先對整個(gè)客戶做聚集，將客戶分組在各自的聚集里，然后對每個(gè)不同的聚集，再通過其他數(shù)據(jù)挖掘算法來分析，效果會(huì)更好。
后面的文章中我們還會(huì)詳細(xì)介紹聚類算法是如何實(shí)現(xiàn)的。本文中多次提到的RFM模型也是基于聚類算法的數(shù)據(jù)挖掘模型。而在營銷領(lǐng)域的客戶關(guān)系管理中，RFM聚類模型也是最經(jīng)常被使用的一種模型。
估測和預(yù)測
估測（Estimation）和預(yù)測（Prediction）是數(shù)據(jù)挖掘中比較常用的應(yīng)用。估測應(yīng)用是用來猜測現(xiàn)在的未知值，而預(yù)測應(yīng)用是預(yù)測未來的某一個(gè)未知值。估測和預(yù)測在很多時(shí)候可以使用同樣的算法。估測通常用來為一個(gè)存在但是未知的數(shù)值填空，而預(yù)測的數(shù)值對象發(fā)生在將來，往往目前并不存在。舉例來說，如果我們不知道某人的收入，可以通過與收入密切相關(guān)的量來估測，然后找到具有類似特征的其他人，利用他們的收入來估測未知者的收入和信用值。還是以某人的未來收入為例來談?lì)A(yù)測，我們可以根據(jù)歷史數(shù)據(jù)來分析收入和各種變量的關(guān)系以及時(shí)間序列的變化，從而預(yù)測他在未來某個(gè)時(shí)間點(diǎn)的具體收入會(huì)是多少。
估測和預(yù)測在很多時(shí)候也可以連起來應(yīng)用。比如我們可以根據(jù)購買模式來估測一個(gè)家庭的孩子個(gè)數(shù)和家庭人口結(jié)構(gòu)。或者根據(jù)購買模式，估測一個(gè)家庭的收入，然后預(yù)測這個(gè)家庭將來最需要的產(chǎn)品和數(shù)量，以及需要這些產(chǎn)品的時(shí)間點(diǎn)。
對于估測和預(yù)測所做的數(shù)據(jù)分析可以稱作預(yù)測分析（Predictive Analysis），而因?yàn)閼?yīng)用非常普遍，現(xiàn)在預(yù)測分析被不少商業(yè)客戶和數(shù)據(jù)挖掘行業(yè)的從業(yè)人員當(dāng)作數(shù)據(jù)挖掘的同義詞。
我們在數(shù)據(jù)分析中經(jīng)常聽到的回歸分析（Regression Analysis）就是經(jīng)常被用來做估測和預(yù)測的分析方法。所謂回歸分析，或者簡稱回歸，指的是預(yù)測多個(gè)變量之間相互關(guān)系的技術(shù)，而這門技術(shù)在數(shù)據(jù)挖掘中的應(yīng)用是非常廣泛的。
決策樹
在所有的數(shù)據(jù)挖掘算法中，最早在 http://www.36dsj.com/archives/15292 提到的決策樹可能是最容易讓人理解的數(shù)據(jù)挖掘過程。決策樹本質(zhì)上是導(dǎo)致做出某項(xiàng)決策的問題或數(shù)據(jù)點(diǎn)的流程圖。比如購買汽車的決策樹可以從是否需要2012年的新型汽車開始，接著詢問所需車型，然后詢問用戶需要?jiǎng)恿π蛙囘€是經(jīng)濟(jì)型車等，直到確定用戶所最需要的車為止。決策樹系統(tǒng)設(shè)法創(chuàng)建最優(yōu)路徑，將問題排序，這樣，經(jīng)過最少的步驟，便可以做出決定。
據(jù)統(tǒng)計(jì)，在2012年，被數(shù)據(jù)挖掘業(yè)者使用頻率最高的三類算法是決策樹、回歸和聚類分析。而且因?yàn)闆Q策樹的直觀性，幾乎所有的數(shù)據(jù)挖掘的專業(yè)書籍都是從某一個(gè)決策樹算法開始講起的：如ID3/C4.5/C5.0，CART，QUEST，CHAID等。
有些決策樹做得很精細(xì)，用到了數(shù)據(jù)大部分的屬性，這時(shí)，我們可能闖入了一個(gè)誤區(qū)，因?yàn)樵跊Q策樹算法上我們需要避免的一個(gè)問題是把決策樹構(gòu)建得過大，過于復(fù)雜。過于復(fù)雜的決策樹往往會(huì)過度擬合（Over-Fitting），不穩(wěn)定，而且有時(shí)候無法詮釋。
這時(shí)我們可以把一棵大的決策樹分解成多棵較小的決策樹來解決這一問題。
我們來看一個(gè)商用的決策樹實(shí)例。下圖中展示的是用IBM SPSS Modeler數(shù)據(jù)挖掘軟件構(gòu)建的一棵決策樹，是美國商業(yè)銀行用以判斷客戶的信用等級(jí)的決策樹模型。
上圖是根據(jù)收入、信用卡數(shù)量和年齡構(gòu)建的決策樹，并以80%的準(zhǔn)確率作為劃分的閾值。第一個(gè)分支查的是收入，設(shè)立了兩個(gè)關(guān)鍵數(shù)據(jù)分隔點(diǎn)，按照收入把人群先劃分成3組：低收入、中等收入和高收入。其中低收入的節(jié)點(diǎn)直接變成葉子節(jié)點(diǎn)，這組人中82.0976%的人的信用等級(jí)是差的（Bad），而且信用卡個(gè)數(shù)或者年齡對信用等級(jí)的分類沒有幫助。決策樹的第二層判斷是根據(jù)已經(jīng)擁有的信用卡個(gè)數(shù)。以此作為判斷，高收入人群可以再做劃分。其中擁有卡個(gè)數(shù)在5個(gè)或以上的82.4176%信用等級(jí)是優(yōu)質(zhì)的（Good），而擁有卡的數(shù)量在5張以下的，高達(dá)96.8944%的人信用等級(jí)是優(yōu)質(zhì)的。因?yàn)檫@棵樹一共有6個(gè)葉子節(jié)點(diǎn)，所我們最終劃分出6組人群，其中有一組信用等級(jí)為優(yōu)質(zhì)的人群占比56.3147%，是無法判斷的。其中在數(shù)據(jù)上表現(xiàn)最好的是高收入而信用卡個(gè)數(shù)在5張以下的人，把他們判斷為優(yōu)質(zhì)信用等級(jí)有96.8944%的準(zhǔn)確率。
如果我們手里還有別的數(shù)據(jù)，比如是否有房有車，是否結(jié)婚等，那么通過測試，可以進(jìn)一步提高這棵決策樹的精度。
CRISP-DM
1999年，在歐盟（European Commission）的資助下，由SPSS、DaimlerChrysler、NCR和OHRA發(fā)起的CRISP-DM Special Interest Group 組織開發(fā)并提煉出CRISP-DM（CRoss-Industry Standard Process for Data Mining），進(jìn)行了大規(guī)模數(shù)據(jù)挖掘項(xiàng)目的實(shí)際試用。
CRISP-DM提供了一個(gè)數(shù)據(jù)挖掘生命周期的全面評(píng)述。它包括項(xiàng)目的相應(yīng)周期，它們的各自任務(wù)和這些任務(wù)的關(guān)系。在這個(gè)描述層，識(shí)別出所有關(guān)系是不可能的。所有數(shù)據(jù)挖掘任務(wù)之間關(guān)系的存在是依賴用戶的目的、背景和興趣，最重要的還有數(shù)據(jù)。SIG組織已經(jīng)發(fā)布了CRISP-DM Process Guide and User Manual的電子版。CRISP-DM的官方網(wǎng)址是http://www.crisp-dm.org/。在這個(gè)組織中，除了SPSS是數(shù)據(jù)挖掘軟件提供商，其他的幾個(gè)發(fā)起者都是數(shù)據(jù)挖掘的應(yīng)用方。所以CRISP-DM和SPSS自有開發(fā)的SPSS Modeler契合度非常好。
一個(gè)數(shù)據(jù)挖掘項(xiàng)目的生命周期包含六個(gè)階段。這六個(gè)階段的順序是不固定的，我們經(jīng)常需要前后調(diào)整這些階段。這依賴每個(gè)階段或是階段中特定任務(wù)的產(chǎn)出物是否是下一個(gè)階段必須的輸入，下圖中箭頭指出了最重要的和依賴度高的階段關(guān)系。
上中最外面這一圈表示數(shù)據(jù)挖掘自身的循環(huán)本質(zhì)，每一個(gè)解決方案發(fā)布之后代表另一個(gè)數(shù)據(jù)挖掘的過程也已經(jīng)開始了。在這個(gè)過程中得到的知識(shí)可以觸發(fā)新的，經(jīng)常是更聚焦的商業(yè)問題。后續(xù)的過程可以從前一個(gè)過程中得到益處。
我們把CRISP-DM的數(shù)據(jù)挖掘生命周期中的六個(gè)階段，也就是上圖中的概念解釋如下：
業(yè)務(wù)理解（Business Understanding）
最初的階段集中在理解項(xiàng)目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時(shí)將這個(gè)知識(shí)轉(zhuǎn)化為數(shù)據(jù)挖掘問題的定義和完成目標(biāo)的初步計(jì)劃。
數(shù)據(jù)理解（Data Understanding）
數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動(dòng)的處理，目的是熟悉數(shù)據(jù)，識(shí)別數(shù)據(jù)的質(zhì)量問題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設(shè)。
數(shù)據(jù)準(zhǔn)備（Data Preparation）
數(shù)據(jù)準(zhǔn)備階段包括從未處理的數(shù)據(jù)中構(gòu)造最終數(shù)據(jù)集的所有活動(dòng)。這些數(shù)據(jù)將是模型工具的輸入值。這個(gè)階段的任務(wù)能執(zhí)行多次，沒有任何規(guī)定的順序。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。
建模（Modeling）
在這個(gè)階段，可以選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳的數(shù)值。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問題。有些技術(shù)在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準(zhǔn)備階段。
評(píng)估（Evaluation）
到這個(gè)階段，你已經(jīng)從數(shù)據(jù)分析的角度建立了一個(gè)高質(zhì)量顯示的模型。在開始最后部署模型之前，重要的事情是徹底地評(píng)估模型，檢查構(gòu)造模型的步驟，確保模型可以完成業(yè)務(wù)目標(biāo)。這個(gè)階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。在這個(gè)階段結(jié)束后，一個(gè)數(shù)據(jù)挖掘結(jié)果使用的決定必須達(dá)成。
聯(lián)系客服
