AXE:作為一名數據科學從業者，你應該知道的P值_XEN

作者|SHAROONSAXENA編譯|CDA數據分析師EverythingyouShouldKnowaboutp-valuefromScratchforDataScience

介紹

當你向有抱負的數據科學家談論p值時，以下情況看起來是否很熟悉？

我無法告訴你數據科學家在涉及到如何解釋p值時是多么的手足無措。實際上，可以花點時間回答以下問題：

如何解釋p值？P值有多么的重要？你將如何向非數據科學人員解釋p值的重要性？這些問題應該是每個數據科學專業人員都應該能夠回答的關鍵問題。以我的經驗，大多數人都在努力克服第一個問題。如果我們不能為客戶分解機器學習模型的結果，我們就不能說服他們。

維基百科對p值的定義讓那些統計和數據科學領域的任何新手都感到望而生畏。關于p值的典型對話是這樣的：

而且你只知道一些公式和約定，卻沒有如何系統的解釋什么是P值的想法。那么，我們如何一勞永逸地學習p值，并將其根深蒂固地牢記在心？

我們應該如何從頭開始理解P值

在本文中，我們將從頭開始逐步建立p值的認知，并且還要揭穿p值的傳統解釋。我們將介紹以下內容：

什么是p值？統計學意義統計中p值的例子數據科學中P值的例子p值的一些傳統解釋什么是p值？

讓我們從絕對的基礎開始。什么是p值？為了理解這個問題，我們將來看一下正態分布：

我們在x軸上具有值的范圍，在y軸上具有不同值的出現頻率。

聲音 | 宜信CEO：BTC風險波動太高，已經不適合作為一種財富管理配置的主要資產類別:據財經網報道，7月6日，在以“財富助力航運貿易金融創新”為主題的2019中國財富論壇上，宜信公司創始人、CEO，宜人貸董事會主席、CEO唐寧表示，我對區塊鏈、比特幣的理解，是我們對底層技術非常關注，區塊鏈技術是有其意義的，我們通過創新實驗室，金融科技早期投資等方式去關注、學習、參與它。比特幣，我理解好像只是一個游戲，游戲玩兒的人越來越多，它的價值也會越來越高，價格越來越高，大家不適合作為一種財富管理的配置的主要資產類別，因為它的風險波動太高了，真正財富管理中國高凈值、超高凈值理財者、企業家的需求不是在這些炒作型的、高風險的、賭博式的資產類別上。國際化、新經濟、傳承問題，這些遠比去投機一些不靠譜的資產類別要重要得多，我指的是比特幣。Libra從技術上不是高難度的事，更多作為一種模式能不能與監管有很好的共識達成，作為潛在可能的“貨幣”是和很多的法幣管理體系，是如何處這樣的關系，我覺得現在有很不清晰的地方，這也是為什么前段時間美國立法機構要求它停下來，要去很好地匯報、討論，形成共識，我覺得這些也是預料之中的。[2019/7/6]

現在，假設我們從此分布中選取一個隨機值。我們選擇接近均值的值的可能性是最高的，因為它具有最高的峰值。我們可以清楚地看到，如果我們遠離峰值，則值的出現會迅速減少，相應的概率也會減少，趨近于一個非常小的接近0的值。

但是本文是關于p值的-那么為什么我們要看正態分布呢？好吧，考慮到我們上面討論的正態分布，請考慮如何定義P值。

P值是上圖中紅點右側值的累計概率。

要么是，

當從分布中隨機選擇值時，與紅點相對應的p值告訴我們將任何值帶到紅點右側的“總概率”。

現在，這看起來可能像是一個非常幼稚的定義，但是我們將在此基礎上繼續。

聲音 | 神魚:作為一個理性的人 我當然挖BTC:針對微博網友詢問“挖BCHABC還是BCHSV”，神魚回復稱：“我當然挖BTC了 （作為一個理性的人）”。[2018/11/19]

P值本身不包含任何值。較大的p值表示樣本得分與總體得分更加一致或相似。它就是如此簡單。

現在，你可能已經遇到了將p值與alpha值進行比較以得出結論的經驗法則。因此，讓我們研究一下alpha值。

P值的統計意義：輸入–Alpha值

到目前為止，我已經提到過幾次alpha值，alpha值也被稱為顯著性水平。由于某些未知原因，我們知道該值為0.05或5％。

在統計課上我們也被老師教導過，也就是p值小于alpha意味著所獲得的結果具有統計學意義。但是alpha值到底是多少呢？

因此，讓我們花點時間看一下alpha值的含義。

alpha值只是一個閾值，P值在進行實驗后進行的相似性或顯著性中的測試前決定該閾值。

這意味著，如果得到樣本得分的概率小于或閾值p-值，我們認為它與總體顯著不同，甚至屬于新的樣本分布。

再次考慮一下上述的正態分布。此分布中的紅點表示alpha值或閾值p值。現在，讓我們說綠色和橙色點代表實驗后獲得的不同樣本結果。

在圖中可以看到，最左邊的綠點的p值大于alpha。因此，這些值可以得到相當高的概率和樣本結果被認為是幸運的。

最右邊的點(橙色)的p值小于alpha值(紅色)。因此，樣本結果是一個罕見的結果，不太可能是幸運的。因此，他們與分布有很大的不同。。

聲音 | MAC底層生態開發平臺創始人蔡曉文：區塊鏈應該被作為一種綜合性解決方案:金色財經現場報道，今日，2018中國國際區塊鏈產業融合峰會暨區塊鏈產品與應用展在石家莊舉行，在以《新時期下區塊鏈技術賦能實體與應用結合》為題的圓桌論壇上，MAC底層生態開發平臺創始人蔡曉文認為，區塊鏈項目一部分以通證類為主，另一種就是底層開發，底層開發情況下，區塊鏈應該被作為一種綜合性解決方案。[2018/9/21]

alpha值取決于正在執行的測試。如果我們不確定應該考慮什么值，那么將alpha值設為0.05被認為是一個不錯的約定。

但這帶有一個星號-我們考慮的alpha值越小，則將結果視為有意義的難度就越大。請記住，每個實驗的alpha值會有所不同，并且沒有任何一個alpha值可以視為經驗法則。

讓我們仔細看一下alpha值和p值之間的關系。

p值<alpha值

考慮以下分布：

在此，紅點表示Alpha值。這基本上是閾值p值。我們可以清楚地看到，閾值右側曲線下方的區域非常小。

橙色點代表使用樣本總體的p值。在這種情況下，我們可以清楚地看到p值小于alpha值。這可以解釋為：

從樣本獲得的結果是分布的一個極端，因此很有可能它可能屬于另外一個分布。

考慮到我們對alpha和p值的定義，我們認為得到的樣本結果是顯著不同的。我們可以清楚地看到p值遠遠小于alpha值。

p值>alpha值

我覺得你應該在進一步閱讀之前回答這個問題。既然你已經知道了硬幣的另一面，你就可以想象這種情況的結果了。

聲音 | \t比特幣耶穌：BTC作為一種數字現金已無法使用:據CNBC報道，比特幣耶穌Roger Ver今日在接受CNBC的Fast Money節目采訪時表示，BTC作為一種數字現金已無法使用，隨著BTC因為高轉賬費等原因不再被商家所接受，BCH才脫穎而出。但是他不建議投資者將全部資產投資于加密貨幣，也不建議將資產全部投資于同一種加密貨幣。Roger Ver稱自己主要持有BCH，但是ETH、DASH等幣種也持有一些。[2018/8/28]

p值大于alpha意味著結果支持原假設，因此我們無法拒絕它。此結果通常與備用假設相反，并且獲得的結果并不顯著，只是一個偶然或者運氣的問題。

再次，考慮相同的總體分布曲線，紅色點為alpha，橙色點為樣本中計算出的p值：

因此，p值>alpha可以解釋如下：

樣本結果只是總體分布的一個低概率事件，很可能是靠運氣得到的

我們可以清楚地看到，人口曲線下方橙色點右側的面積遠大于alpha值。這意味著所獲得的結果更可能是同一總體分布的一部分，而不是其他分布的一部分。

現在我們已經理解了p值和alpha值的解釋，讓我們來看一個來自統計世界的經典例子。

統計中p值的例子

在國家射箭隊中，總教練打算在即將到來的比賽之前改善射箭運動員的表現。你認為提高弓箭手性能的好方法是什么？

他提出并實施了在比賽前進行呼吸運動和冥想可能會有所幫助的想法。實驗前后的統計數據如下：

聲音 | 澳大利亞央行主管：比特幣不是貨幣 作為一種投資風險極高:6月26日，澳大利亞央行的支付政策主管Tony Richards今日表示，比特幣取得了引人注目的發展，它的設計令人欽佩，但它不是貨幣，作為一種投資風險極高。 Richards表示，盡管澳大利亞央行已對比特幣進行了5年的觀察，但鑒于比特幣的使用率非常低，加密貨幣似乎并未引起央行的擔憂。他還說：比特幣和其他加密貨幣還沒有建立起自己可靠的價值儲備。比較比特幣與澳元等國家貨幣的波動性，這一點最為明顯。[2018/6/26]

真有趣。結果支持了弓箭手總體得分提高的假設。但是教練希望確保這些結果是由于弓箭手能力的提高而不是因為運氣或偶然性。那么你認為我們應該怎么做？

這是一個典型的相似度測試(本例中為z檢驗)，我們想要檢查樣本是否與總體相似。我不會深入討論相似性測試，因為這超出了本文的范圍。

為了解決這個問題，我們將循序漸進的方法：

了解給定的信息并形成備選假設和無效假設計算Z分數并找到曲線下的面積計算相應的p值比較p值和alpha值解釋最終結果這個問題的解決方案

步驟1：了解給定的信息

總體均值=74總體標準偏差=8樣本均值=78樣本大小=60我們的總體均值和標準差樣本容量超過30，這意味著我們將使用z檢驗。

根據上面的問題，可能存在兩種情況：

實驗后的結果取決于運氣，即實驗前后的均值相似。這將是我們的“零假設”實驗后的結果確實與實驗前的結果有很大不同。這將是我們的“備擇假設”步驟2：計算Z分數

現在，我們將使用以上公式計算Z分數。你問這些符號代表什么？好吧，告訴你是什么意思：

X=總體均值M=樣本均值Sigma=總體標準偏差n=樣本實例數插入相應的值后，Z分數為–3.87。

步驟3：參考Z表并找到p值：

如果我們在Z表中查找3.87，則會得到的值是0.999。這是曲線下的面積或總體分布下的概率。但這是什么概率？

我們得到的概率是在我們計算的z分數(紅點)的左邊。該值0.999表示相對于總體，得到“小于樣本得分78”的結果的“總概率”。

這里，紅點表示樣本均值相對于總體分布的位置。但是我們之前學過p值在紅點的右邊，我們該怎么做?

對于這個，我們會用到正態Z分布下的總面積是1。因此，z分數右側的面積(或未陰影區域所代表的p值)可以計算為:

p值=1–0.999

p值=0.001

0.001(p值)是紅點右側的未陰影區域。值0.001表示得到“大于樣本得分78”的結果的“總概率”，相對于總體。

步驟4：比較p值和alpha值

我們沒有為alpha提供任何值，因此我們可以考慮alpha=0.05。根據我們的理解，如果獲得樣本結果的可能性小于alpha值，則我們認為獲得的樣本結果有顯著差異。

我們可以清楚地看到，p值遠遠小于alpha值:

0.001<<0.5

這表明，就總體分布而言，得到平均值為78的概率很低。因此，可以方便地說，射箭運動員在樣本群體中成績的提高不是運氣的結果。樣本總體屬于其自身的某種其它(在本例中更好)分布。

數據科學中p值的例子

現在，我相信這是你一直在等待的部分。在統計中使用p值是可以理解的，我們甚至多次聽說過它。但是p值處于數據科學的那個領域中呢?

即使許多有抱負的數據科學家了解p值的含義，他們也不知道如何在數據科學中使用此知識。結果就是他們錯過了一個非常強大的方法來改進他們的模型。

P值是特征選擇過程中的重要指標。在特征選擇中，我們嘗試找出自變量的最佳子集來構建模型。

現在你可能會問：“為什么不把所有的自變量都帶入呢？”

實際上，引入冗余且沒有貢獻的變量會增加模型的復雜性。此外，它們可以降低模型在準確性、運行時甚至內存占用方面的性能。

讓我們看一個例子。假設我有一個包含不同初創公司信息的數據集。我們有以下變量:

我們的目標是根據其他自變量來預測初創公司的利潤。現在，你的直覺可能會說–使用所有可用的自變量來構建一個線性回歸模型。

經過預處理和OneHot編碼之后，因變量具有以下映射：

接下來，我們將使用statsmodels庫構建一個OLS模型。這是我們得到的：

這個表顯示了所有關于獨立變量的統計數據。但是現在，我們只對包含p值的列感興趣。我們可以清楚地看到，“R&DSpend”、“Administration”和“State_California”的p值超過0.50!

但是問題是，這個p值在回歸模型中意味著什么？為此，讓我們了解計算這些p值的假設是什么：

原假設：自變量對目標變量沒有顯著影響備擇假設：自變量對目標變量有顯著影響現在，以上結果表明，“R&DSpend”、“Administration”和“State_California”對初創公司獲得的“利潤”沒有重大影響。因此，讓我們從模型中刪除這三個變量

除去這兩個變量后的結果映射為：

在再次使用statsmodels庫構建OLS模型時，我們得到的是：

我們可以看到，現在只有一個變量剩余值為0.05–“State_Florida”。那么我們應該刪除它嗎？

首先，我們從未決定任何alpha值。如果我們將alpha值設為0.05，則變量“State_Florida”將被消除。如果我將alpha設置為0.10，則該變量將在過濾過程中幸存下來。

在這種情況下，考慮到0.05不是要為alpha值選擇的經驗法則，我會保留下來。

在這個模型總結中最重要的一點是，盡管我們減少了兩個獨立變量，但調整后的R-Square值卻上升了。

正如我們前面討論的這是雙重效果。借助p值，我們不僅創建了一個變量較少的簡單模型，而且還改善了模型的性能。

在總結本文之前，讓我們看一下許多數據科學專業人員和統計學家對p值的誤解。

對p值的一些傳統解釋

我見過很多人對P值有很多的誤解。以下是一些最常見的錯誤：

我們錯誤地拒絕原假設的概率：盡管低p值會促進對零假設的拒絕，但它與拒絕原假設的概率無關統計顯著性水平：我們在實驗前選擇顯著性水平。如果p值滿足我們的顯著性水平(p<alpha)，我們才能得出結論干預效果的大小：p值絕不表示實驗期間引入的樣品中的干預大小。原假設成立的可能性：這與原假設很接近，可能不會造成太大傷害，但仍然會造成混淆。使用頻率統計量來討論原假設為真是不可能的。高p值意味著數據與原假設高度一致當然還有更多的錯誤！但請記住這些，下次你在工作中遇到p值時，你會做得很好。

Tags：AXEatcXENAXE幣是什么幣atc幣是什么幣XEN幣XEN價格

幣安交易所app下載