在本文中，我將向大家介紹如何使用Apache Spark的spark.ml庫中的隨機森林算法來對銀行信用貸款的風險做分類預測。Spark的spark.ml庫基于DataFrame，它提供了大量的接口，幫助用戶創(chuàng)建和調(diào)優(yōu)機器學習工作流。結(jié)合dataframe使用spark.ml，能夠?qū)崿F(xiàn)模型的智能優(yōu)化，從而提升模型效果。
　　分類算法
　　分類算法是一類監(jiān)督式機器學習算法，它根據(jù)已知標簽的樣本（如已經(jīng)明確交易是否存在欺詐）來預測其它樣本所屬的類別（如是否屬于欺詐性的交易）。分類問題需要一個已經(jīng)標記過的數(shù)據(jù)集和預先設計好的特征，然后基于這些信息來學習給新樣本打標簽。所謂的特征即是一些“是與否”的問題。標簽就是這些問題的答案。在下面這個例子里，如果某個動物的行走姿態(tài)、游泳姿勢和叫聲都像鴨子，那么就給它打上“鴨子”的標簽。
　　
　　我們來看一個銀行信貸的信用風險例子：
　　我們需要預測什么？
　　某個人是否會按時還款這就是標簽：此人的信用度
　　你用來預測的“是與否”問題或者屬性是什么？
　　申請人的基本信息和社會身份信息：職業(yè)，年齡，存款儲蓄，婚姻狀態(tài)等等……這些就是特征，用來構建一個分類模型，你從中提取出對分類有幫助的特征信息。
　　決策樹模型
　　決策樹是一種基于輸入特征來預測類別或是標簽的分類模型。決策樹的工作原理是這樣的，它在每個節(jié)點都需要計算特征在該節(jié)點的表達式值，然后基于運算結(jié)果選擇一個分支通往下一個節(jié)點。下圖展示了一種用來預測信用風險的決策樹模型。每個決策問題就是模型的一個節(jié)點，“是”或者“否”的答案是通往子節(jié)點的分支。
　　問題1：賬戶余額是否大于200元？
　　否問題2：當前就職時間是否超過1年？
　　否不可信賴
　　
　　隨機森林模型
　　融合學習算法結(jié)合了多個機器學習的算法，從而得到了效果更好的模型。隨機森林是分類和回歸問題中一類常用的融合學習方法。此算法基于訓練數(shù)據(jù)的不同子集構建多棵決策樹，組合成一個新的模型。預測結(jié)果是所有決策樹輸出的組合，這樣能夠減少波動，并且提高預測的準確度。對于隨機森林分類模型，每棵樹的預測結(jié)果都視為一張投票。獲得投票數(shù)最多的類別就是預測的類別。