精品伊人久久大香线蕉,开心久久婷婷综合中文字幕,杏田冲梨,人妻无码aⅴ不卡中文字幕

大多數(shù)機器學習系統(tǒng)需要能夠為利益相關者解釋為何做出這樣特定的預測。 在選擇合適的機器學習模型時，我們通常會在準確性與可解釋性之間權衡：

• 準確與“黑盒”：

諸如神經網絡，梯度增強模型或復雜集合之類的黑盒模型通常提供很高的準確性。 這些模型的內部工作難以理解，并且它們不能估計每個特征對模型預測的重要性，也不容易理解不同特征之間如何相互作用。

• 較弱的“白盒”：

另一方面，諸如線性回歸和決策樹之類的簡單模型具備較弱的預測能力，并且不總能對數(shù)據(jù)集的固有復雜性建模（即，特征交互）。 但是這些卻是很容易被理解和解釋的。

圖片來自Applied.AI

準確性與可解釋性的權衡取決于一個重要的假設，即“可解釋性是模型的固有屬性”。

“可解釋性是模型的固有屬性”

https://www.inference.vc/accuracy-vs-explainability-in-machine-learning-models-nips-workshop-poster-review/

然而，我堅信通過合適的“可解釋性技術”，任何機器學習模型都可以更具解釋性，盡管對于某些模型而言其復雜性和成本比其他模型更高。

在這篇博文中，我將討論一些可用于解釋機器學習模型的不同技術。 此博客文章的結構和內容主要基于H20.ai機器學習可解釋性小冊子。 如果您想了解更多信息，我強烈建議閱讀這個H20.ai小冊子或Patrick Hall撰寫的的其他材料！

H20.ai機器學習可解釋性小冊子

Patrick Hall

http://docs.h2o.ai/driverless-ai/latest-stable/docs/booklets/MLIBooklet.pdf

模型屬性

模型的可解釋程度通常與響應函數(shù)的兩個屬性相關聯(lián)。 模型的響應函數(shù)f（x）定義模型的輸入（特征x）和輸出（目標f（x））之間的輸入 - 輸出關系。 根據(jù)機器學習模型，此函數(shù)具有以下特征：

• 線性：在線性響應函數(shù)中，特征與目標之間的關聯(lián)表現(xiàn)為線性。 如果一個特征線性變化，我們也期望目標以相似的速率線性變化。

• 單調性：在單調響應函數(shù)中，特征與目標之間的關系始終在特征上的一個方向（增大或減?。?。 更重要的是，這種關系貫穿于整個特征域，并且與其他特征變量無關。

簡單線性和單調響應函數(shù)的示例（1個輸入變量x，1個響應變量y）

線性回歸模型是線性單調函數(shù)的例子，而隨機森林和神經網絡是表現(xiàn)出高度非線性和非單調響應函數(shù)的模型的例子。

Patrick Hall的以下幻燈片說明了為什么在需要清晰簡單的模型解釋時，通常首選白盒模型（具有線性和單調函數(shù)）。 最上面的圖表顯示，隨著年齡的增長，購買數(shù)量會增加。 在全局范圍內響應函數(shù)具有線性和單調關系，這容易被所有利益相關者理解。

然而，由于白盒模型的線性和單調約束，趨勢的一個重要部分被忽略了。 通過探索更復雜的機器學習模型，雖然響應函數(shù)在局部范圍內僅是線性和單調的，但是可以更好地擬合觀測數(shù)據(jù)。 為了解釋模型行為，有必要在局部范圍內研究該模型。

在全局范圍或局部范圍內，模型可解釋性的范圍本質上與模型的復雜性相關。線性模型在整個特征空間中表現(xiàn)出相同的行為（如上圖所示），因此它們是全局可解釋的。 輸入和輸出之間的關系通常受到復雜性和局部解釋的限制（即，為什么模型在某個數(shù)據(jù)點做出了某種預測？），而局部解釋默認為全局解釋。

對于更復雜的模型，模型的全局行為更難定義，并且需要響應函數(shù)的小區(qū)域的局部解釋。 這些小區(qū)域更可能表現(xiàn)出線性和單調，從而實現(xiàn)更準確的解釋。

ML庫（例如sk-learn）允許在不同分類器之間進行快速比較。 當數(shù)據(jù)集的大小和維度受限時，可以解釋結果。 在大多數(shù)現(xiàn)實問題中情況將不再如此。

在本博文的其余部分中，我將重點介紹兩種提供全局和局部解釋的模型無關（model-agnostic）技術。 這些技術可以應用于任何機器學習算法，并且通過分析機器學習模型的響應函數(shù)來實現(xiàn)可解釋性。

可解釋性技術

1. 代理模型

代理模型是用于解釋更復雜模型的模型。 通常使用線性模型和決策樹模型，由于它們的簡單解讀。 創(chuàng)建代理模型以表示復雜模型（響應函數(shù)）的決策過程，并且是使用輸入和模型預測訓練的模型，而不是在輸入和目標上訓練的模型。

代理模型在非線性和非單調模型之上提供了一個全局可解釋性的層，但它們不應該被完全依賴。 代理模型不能完美地表示底層響應函數(shù)，也不能捕獲復雜的特征關系。 它們主要用作模型的“全局總結”。 以下步驟說明了如何為任一黑盒模型構建代理模型：

• 訓練黑盒模型。

• 在數(shù)據(jù)集上評估黑盒模型。

• 選擇一個可解釋的代理模型（通常是線性模型或決策樹）。

• 在數(shù)據(jù)集上訓練可解釋模型和其預測。

• 確定代理模型的錯誤度量并解釋代理模型。

2. LIME

LIME背后的一般思想與代理模型相同。 然而，LIME并不構建代表整個數(shù)據(jù)集的全局代理模型，而只構建在局部區(qū)域內解釋預測的局部代理模型（線性模型）。 有關LIME的更深入解釋，請參閱LIME上的博客文章。

LIME提供了一種直觀的方法來解釋給定數(shù)據(jù)點的模型預測。

以下步驟說明了如何為任一黑盒模型構建LIME模型：

• 訓練黑盒模型。

• 局部感興趣區(qū)域的樣本點。樣本點可以從數(shù)據(jù)集中檢索，或生成人工點。

• 通過接近感興趣區(qū)域對新樣本進行加權。在有差異的數(shù)據(jù)集上擬合加權的，可解釋的（代理）模型。

• 解釋局部代理模型。

結論

你可以使用這里的幾種不同技術來提高你的機器學習模型的可解釋性。盡管隨著該領域的進步，這些技術越來越強大，但是一直比較不同的技術是很重要的。我沒有討論的一個技術是Shapley值。要了解更多有關該技術的知識請看Christoph Molnar的書《可解釋的機器學習》（Interpretable Machine Learning）。

Interpretable Machine Learning

Christoph Molnar

https://christophm.github.io/interpretable-ml-book/

原文標題 : 

Black-box vs. white-box models

原文鏈接：

https://towardsdatascience.com/machine-learning-interpretability-techniques-662c723454f3