跳至內容

異常檢測

出自Taiwan Tongues 台語維基
於 2025年8月22日 (五) 10:44 由 TaiwanTonguesApiRobot留言 | 貢獻 所做的修訂 (從 JSON 檔案批量匯入)

(差異) ←上個修訂 | 已批准修訂 (差異) | 最新修訂 (差異) | 下個修訂→ (差異)

佇資料探勘內底,異常檢測(英語:anomaly detection)著無符合預期模式抑是資料集中其他專案的專案、事件抑是觀測值的辨識。通常異常專案會轉變做銀行欺詐、結構缺陷、醫療問題、文字錯誤等類型的問題。異常嘛予人講做離群值、心適、噪音、偏差佮例外。

特別是佇檢測濫用佮網路入侵的時陣,有趣味性的東西往往毋是 _ 罕見 _ 東西,毋過煞是超出預料的 _ 突發 _ 活動。這種模式無遵循通常統計定義中共異常點看做是罕見物件,就是誠濟異常檢測方法(特別是無監督的方法)會對這款的資料失效,除非進行了有合適的聚集。相反,聚類的分析演算法可能會當檢測出遮的模式成做的微聚類。

有三大類異常檢測方法。佇假使佇資料集中大多數實例攏是正常的提著前提著,無監督各樣檢測方法會當通過走揣佮其他的資料上不匹配的實例來檢測出無標記測試資料的各樣。監督式檢測方法需要一个已經予人標記「正常」佮「異常」的資料集,閣牽涉著訓練分類器(佮真濟其他的統計分類問題的關鍵區別是異常檢測的內在無平均)。半監督式檢測方法根據一个予定的 _ 正常 _ 訓練資料集建立一个表示正常行為的模型,然後檢測由學習模型生成的測試實例的可能性。

應用

異常檢測技術用佇各種領域,親像侵檢測、欺詐檢測、故障檢測、系統健康監測、感測器網路事件檢測佮生態系統干擾檢測等等。伊通常用佇咧預處理當中刪除對資料集的異常資料。佇監督式學習當中,去除異常資料的資料集往往會佇統計頂懸提升準確性。

熱門辦法

文獻內底提出幾種異常檢測方法。一寡誠受歡迎:

  • 佇咧密度的方法(最近厝邊隔壁法、局部異常因為按呢閣概念的閣較濟變化 )。
  • 是和子空間和相關性的高維資料的孤立點檢測。
  • 一類支持向量機。
  • 複製神經網路。
  • 是因為伊聚類分析的孤立點檢測。
  • 佮關聯規則佮頻繁項集的精差。
  • 因為無糊邏輯的孤立點檢測。
  • 咧運用特徵袋仔、分數歸一化佮無仝款多樣性來源的整合方法。

無仝方法的效能佇咧真大程度上取決佇資料集佮參數,較濟資料集佮參數的時陣,各種方法佮其他的方法比起來的系統優勢無較大。

資料安全方面的應用

濟菜西 ・ 丹寧教授佇一九八六年提出了入侵檢測系統(IDS)的異常檢測方法。入侵檢測系統的異常檢測通常是通過允值佮統計完成的,毋過嘛會當用軟計算佮歸納學習。佇一九九九年提出的統計類型包括檢測使用者、工作站、網路、遠端主機佮使用者群組的設定檔,佮基於頻率、均值、方差、協方差佮標準差的程式。佇入侵檢測系統當中,佮異常檢測模式相對應的閣有誤用檢測模式。

軟體

  • ELKI 是一个包括若是有干焦檢測演算法佮其索引加速的開源 Java 資料探勘工具箱。

參見

  • 統計學中的離群值
  • 變化檢測
  • 新奇檢測
  • 分級暫存記憶

參考文獻