PRE:什么是數據異常檢測？_CPDPRE價格

上面的圖像是由一個人工智能繪制的，當時我們讓它為“異常檢測”這個詞創作藝術品。

據《華盛頓郵報》報道，2009年至2010年間，英國有1.7萬名男性報告懷孕。這些英國男性尋求與懷孕相關的護理，如產科檢查和產婦護理服務。然而，這并不是因為現代醫學的突破!有人在國家的醫療系統中輸入了錯誤的醫療代碼。簡單地說，數據記錄得很糟糕，而且沒有質量檢查來發現錯誤!

這很難歸咎于英國的醫療服務。質量，顧名思義，是主觀的。為各種可能的錯誤數據創建質量檢查是一項巨大的壯舉。即使是數據最成熟的公司也很難預料到每一個錯誤。然而，如果有一種方法可以使用AI/ML，這些解決方案可以獨立地從我們的數據集中學習。他們可以發現這樣的錯誤，而不需要我們明確地說，“如果入境的是男性，那么就不要提供孕產護理。”

事實上，有。

CPDA數據分析師都知道這叫做異常檢測。

什么是數據質量檢查?

在我們進入異常檢測的奇跡之前，我們必須了解什么是數據質量檢查(以及它是如何工作的)。

美SEC主席：SEC會牽頭定義什么是證券，加密貨幣不需要額外的立法:金色財經報道，美國證券交易委員會主席Gary Gensler在接受記者采訪時表示，加密貨幣不需要額外的立法，但如果國會采取立法行動，立法者不要破壞現有法律很重要。 Gary Gensler還表示，證券交易委員會牽頭定義什么是證券，不一定是立法。

Gary Gensler稱，只有一個機構，也即由眾議院金融服務委員會和參議院銀行委員會兩個委員會監督的SEC，以及法院可以來定義什么是證券，而不是由各個加密交易所來選擇。此外他拒絕回答 SEC 是否計劃對幣安提起訴訟，同時指出該機構已對其他交易所采取行動。（TheBlock）[2023/3/30 13:34:05]

數據質量檢查指定了數據維度的標準，即數據的完整性、有效性、及時性、唯一性、準確性和一致性。數據要么不符合這些標準，要么滿足這些標準，這揭示了有關其質量的信息(是高質量還是低質量)。您可以在這里了解更多關于數據質量及其重要性的信息。

數據質量規則將指定用戶定義為高質量數據的內容。例如，醫院可能將老年患者定義為年齡超過60歲。一個簡單的數據質量規則可以有以下形式:

規則:老年患者年齡>60歲

實際上，每家醫院可能都有不同的老年患者定義標準。因此，他們可能以不同的方式定義這些規則。通過這種方式，公司可以定義各種規則來識別有問題的數據。然后將這些規則添加到“規則庫”中，并在數據質量監控期間用于識別低質量條目。

美國參議員：從政策制定的角度來看，擁有比特幣與擁有牛沒有什么不同:金色財經報道，美國參議員Cynthia Lummis正準備推出負責任的金融創新法案，這將影響加密貨幣的征稅方式。她表示，從政策制定的角度來看，擁有比特幣與擁有牛沒有什么不同。作為2020年上任的參議員，Lummis 報告稱持有價值 50,000 至 100,000 美元的 BTC，2021 年 8 月，她報告額外購買了價值 50,000 至 100,000 美元的 BTC。她沒有從出售資產中獲得任何收入。（decrypt）[2022/4/2 13:59:51]

一旦您的公司填充了這個規則庫，您將開發一個您希望數據遵守的標準或“常規行為”。不符合這些標準的數據是無效的、不完整的、不準確的。

例如，在我們上面的高級患者規則中，如果一個申請人的年齡是35歲，而用戶將其標記為“高級患者”，則此數據點將無效。

什么是異常檢測?

然而，還有一種方法可以在不需要編寫DQ規則的情況下找到與通常行為不同的數據點。這叫做異常檢測。它使用ML/AI來掃描數據，而不是DQ規則，以發現數據集特有的模式和期望值。一旦它了解了您的數據系統是如何工作的，它就可以自動找到不符合規范(或不符合這些模式)的數據，并標記條目以提醒相關方。不符合這些標準的值被稱為“異常值”。

韓國先驅報發文解釋為什么NFT比加密貨幣更具顛覆性:11月7日消息，韓國先驅報發文“為什么NFT比加密貨幣更具顛覆性？”，文章表示，NFT比加密貨幣更具破壞性，因為它有可能應用于眾多領域。Kakao Corp. 的區塊鏈部門Ground X的Kim Won-sang表示，加密貨幣市場仍屬于傳統金融領域，另一方面，NFT具有超越現有金融資產概念的無限潛力。未來資產證券高級經理Lee Young-jae表示：“未來資產證券得出的結論是，包括NFT在內的數字資產具有巨大潛力，數字資產創新代表了激進、不連續和顛覆性創新的前所未有的結合。數字資產已經上升到威脅現有金融公司的水平。在金融市場，我們可以期待像‘NFT 證券’這樣的東西，它可以同時授予會員資格和股東權利。”[2021/11/7 6:36:45]

一旦收到關于異常的警報，您將發現關于異常檢測服務為什么將該條目標記為異常的信息。例如，假設一家醫院在2月份記錄了10,000名患者，醫療保健系統收到一個警報，將此條目標記為異常。它可以通過數據集中的上下文解釋:這家醫院通常每月有大約1000名患者。這種突然的跳躍是出乎意料的(或者顯示為傳達此信息的圖形)。

聲音 | Joseph Young：價格大跌或大漲不意味著什么 不應感到意外:加密貨幣分析師Joseph Young發推稱，在過去的幾個月里，加密市場的趨勢沒有任何改變。自去年11月以來，加密貨幣一直表現出較低的價格波動幅度。因此出現大幅下跌或上漲也不應感到意外，這并不意味著什么。[2019/1/10]

然后，您可以獲取這些信息，并確定它是一個異常數據點還是一個正常數據點。也許是因為新冠肺炎，那家醫院的病人激增了。根據您的響應方式，一些異常檢測算法可以從這種反饋中學習，并在未來更加準確地檢測異常。

在我們上面介紹醫院的例子中，假設所有申請懷孕相關服務的人都被貼上了“PREG”的標簽。如果絕大多數使用這些服務的患者在性別欄中有“F”(女性)，異常檢測就會立即注意到“M”(男性)患者是否接受了“PREG”標簽。你不需要寫規則“PREG必須是F”來防止這種錯誤發生。

不同類型的異常

不同的業務角色有不同的方法來定義數據中的異常。

營銷團隊可能會收到異常數量的網絡研討會注冊，從一個公司的域名收到比平時更多的入站請求，或者從一個國家收到太多的請求(超過正常)。這些異常會影響他們的工作表現，并被標記為關鍵。

動態 | 央行研究論文：區塊鏈能做什么不能做什么？:中國人民銀行發布工作論文稱：目前真正落地并產生社會效益的區塊鏈項目很少，除了區塊鏈物理性能不高以外，區塊鏈經濟功能的短板也是重要原因。應在持續研究和試驗的基礎上，理性客觀評估區塊鏈能做什么、不能做什么。不要夸大或迷信區塊鏈的功能。區塊鏈應用要立足實際情況。目前區塊鏈投融資領域泡沫明顯。[2018/11/6]

數據工程師可能對兩個不同系統中關于同一實體(如客戶)的沖突信息更感興趣。

數據科學家可能會看到2月份某個隨機周四的平均銷售數據。然而，周四是公共假日，預計銷售額將增長兩倍。這肯定也是一個關鍵的異常!

因此，您可以說異常定義和異常檢測是相當主觀的。需要記住的重要部分是異常檢測服務必須能夠檢測所有形式的異常。在Ataccama，我們喜歡根據異常與數據的接近程度來定義異常。從高層(遠離實際數據，關于數據本身的更一般的信息)到低層(數據列中的異常，逐行，特定值/數據點)，我們可以在三個類別中定義異常:元數據、事務數據和記錄數據。

元數據異常

元數據是使用度量來描述實際底層數據的數據。例如，數據質量元數據指的是關于數據資源(數據庫、數據湖等)質量的信息。元數據允許您以對用例有獨特意義的方式組織和理解數據，同時保持數據的一致性和準確性。

這一級別的異常處理“一般”數據，是最接近數據本身的異常。這些是關于數據的異常，而不是數據中的異常(然而，它們仍然可以表示數據中的問題)。當數據質量出現意外下降時，就會出現這種情況;當一個數據集/點通常以一種方式標記，但已經以另一種方式標記;或者在提取關于您所存儲的數據的數據時，缺少一定數量的記錄、記錄太少或記錄太多，以及發生任何其他意外情況。

事務性數據異常

從元數據轉向更接近特定數據的地方，我們到達了中間層——事務性數據。我們稱之為中間層，因為您正在處理來自實際數據的值，但通過聚合的鏡頭(即，每五天或每五分鐘一次)。交易數據通常包含某種形式的貨幣交易，因為分析此類數據的能力非常有用。例如，如果您有每五分鐘的銷售匯總，您可以使用它來確定最繁忙的時間，是否值得在晚上8點后營業等等。

在這一水平上出現的異常情況可能是在一年中銷售較慢的某周出現了意外的銷售增長，購物假期的銷售額與一周中正常日子的銷售額相似，或者一個分支機構的業績在繁忙的月份下降得異常低，等等。

記錄級別的異常

在記錄級別，異常檢測標記數據集中可疑的特定值。如果其中一個數據點缺失、不完整、不一致或不正確，則可以將這些值標記為異常。

我們的介紹是記錄級異常的一個很好的例子。數據集中的一個值(性別)是意外的，并且與系統中的其他值不協調。這只是一行信息，是包含患者年齡、既往病史、身高、體重等更大信息集的一部分。

記錄級別的異常檢測逐行探索每個表和列中的數據集，尋找任何不一致之處。它可以揭示數據收集、聚合或處理中的問題。

異常檢測類型

現在我們了解了不同類型的異常，我們可以進入不同的方法來檢測它們。一種方法側重于將時間作為數據的主要上下文，而另一種方法側重于在正常行為的上下文中發現異常。這兩種類型的異常檢測被稱為時間相關和時間無關。

時變異常檢測

依賴于時間的數據會隨著時間的推移而演變(考慮一下我們的事務性數據示例)，因此了解何時捕獲值、何時輸入值、多個條目以何種順序到達等非常重要。通常，用戶將這些數據分組(聚合)在一起(例如，每小時或每天)，并在組級別上尋找異常或趨勢，根據上下文發現異常值。

例如，當您有每日數據(即每天記錄一次)時，您可以預期一些季節性。換句話說，周一的期望值可能與周二不同。因此，不同的值在不同的日子可能是異常的。此外，這些數據經常在較長時期內發生變化。這可以用數據的趨勢或數據的漂移變化來表示。所有這些模式都需要時變異常檢測算法來捕獲。

非時變異常檢測

任何沒有時間維度的數據都可以被認為是“時間無關的”。換句話說，數據是什么時候創建的，輸入到系統中，數據到達的順序等等都不重要。只有實際值才重要。因此，算法只需要了解期望值是什么，或者更好的是，將它們放入“正態聚類”中。

這些異常與主數據(相對于事務數據)更相關:客戶記錄、產品數據、參考數據和其他“靜態數據”。

結論

總之，異常檢測算法允許您發現數據中不需要或意外的值，而無需指定規則和標準。它對您的數據集進行快照，并通過將新數據與過去關于相同或類似數據集發現的模式進行比較來識別異常。

至于對異常檢測工具可以做什么的期望:

無論這些異常發生在較高的級別(如元數據)還是接近實際數據本身(如記錄級別異常)，您的異常檢測服務都需要能夠發現它們。

要應用于所有類型的數據，既需要時變異常檢測，也需要時變異常檢測。

您的服務還必須能夠處理不同的數據類型，易于使用和適應，并在將值標記為異常時提供可用的解釋。

異常檢測領域持續增長和發展。AI/ML正在數據管理領域得到更廣泛的采用和實現。我們可以預期異常檢測將變得越來越主動，而不是被動。這些工具將能夠在數據進入下游系統之前發現有問題的數據，從而造成損害。

異常檢測很有價值，因為它通常會揭示數據之外的潛在問題，例如物聯網設備中的缺陷機器、網絡中的黑客企圖、數據合并中的基礎設施故障或不準確的醫療檢查。這些問題通常很難預測，因此很難編寫DQ規則。因此，基于AI/ml的異常檢測是發現這些異常的最佳方法。

Tags：PREREGCPDPRE價格PRE幣REG價格REG幣CPD幣CPD價格

UNI