發表者

討論內容

冷日
(冷日)

發表時間：2004/8/3 2:56

Webmaster

註冊日: 2008/2/19
來自:
發表數: 15773

[分享]垃圾郵件終結者－貝氏過濾法: 垃圾郵件終結者－貝氏過濾法

透過不斷學習與訓練，貝氏過濾法準確度高達九成

垃圾郵件氾濫成災，是所有電子郵件使用者的夢魘。對抗垃圾信件的技術日新月異，其中最為被廣泛討論的就是「貝氏過濾法（Bayesian Filtering）」。貝氏過濾法是利用貝氏定理發明的過濾法，簡單來說，貝氏定理是結合事前機率與條件機率，導出事後機率的過程。

越來越多阻擋垃圾產品採用貝氏演算法來過濾。貝氏文字分類其實並不算為新興領域，近年來垃圾郵件氾濫，貝氏定理被應用在區分垃圾信件上有令人驚訝的成效，因此成了對抗垃圾信件的新寵兒。

貝氏過濾法如何運作

現代人已逐漸習慣使用類似貝氏定理的概念來分析垃圾信件。例如我們會認為信件中出現「未滿十八歲」字眼即可能為垃圾信件。如果這封信件同時出現「極品」、「熟女」、「偷拍」等字眼，我們便已幾乎肯定此即為不折不扣的垃圾信件。說穿了，我們用過往的收信經驗，判定新的信件是否為垃圾信。同理可證貝氏定理應用在內容過濾領域方面的強大效能，貝氏過濾法即是採用類似，但更客觀的統計方式來偵測其為垃圾信件之機率。

上述所提及「未滿十八歲」、「極品」、「熟女」、「偷拍」對「貝氏過濾法」而言皆為單詞（Token）。一般來說「貝氏過濾法」會有個資料庫，暫且稱之為「貝氏過濾法資料庫」，其主要作用為儲存單詞與單詞的機率。資料庫一開始是淨空的，所以無法判定垃圾信件。別忘了貝氏定理是要仰賴過往累積的數據來預測事件發生的機率。

因此對於空的「貝氏過濾法資料庫」，如能事先提供1000封垃圾信，與1000封正常信件，對信件辨別的訓練過程將帶來莫大幫助，首先分別將1000封的正常信與垃圾信放入資料庫，系統會將這2000封信的內容切成單詞，給予不同的機率。當下次新信件來時，一樣會把信件分解成單詞，比對訓練過的「貝氏過濾法資料庫」，分析過往的經驗，將能精確評判此封高達為垃圾信件的機率。有了訓練「貝氏過濾法資料庫」的步驟，貝氏過濾法的精準率必能達到95%~99.95%之準值。

優異的學習阻擋邏輯

貝氏過濾法仍可在眾多過濾法中一枝獨秀的最主要原因，乃為其極高的準確度、學習方式容易、可針對不同產業調整、垃圾信發送者（Spammer）不容易將垃圾信穿透。垃圾發送者會大量發放垃圾信件，於一段時間後更改內文結構，讓阻擋垃圾的產品疲於奔命更換新過濾規則。

垃圾其實類似於病毒；譬如防毒廠商必須為新病毒提供防毒定義檔，否則未被攔截的病毒勢將危害整個網路；假設一套有效系統能在初次中毒後，將病毒載入其中，日後即可自動攔阻同種病毒，聽起來是否很令人振奮？沒錯，貝氏過濾法即是基於此種理念，當同一封垃圾大量傳送時，同一間公司便會有相當人數收到同一封垃圾信，假設第一人將收到的垃圾信即刻送回系統學習，下一封垃圾信就會被有效攔截。此外，垃圾信件種類遠多於病毒，其製作門檻則反之，變形垃圾郵件在廠商還沒研發出新的垃圾定義檔時，貝氏過濾法已可先行學習，防範下一封類似的垃圾信件。

再者不同產業對垃圾的定義也會有所不同，一般人只要看到「威而剛」就想到垃圾，對於藥廠或是醫院而言則未必。使用貝氏過濾法的優點是；可針對各行各業學習不同的認定方式。一般廠商都使用規則來阻擋垃圾郵件，一旦被找出弱點，垃圾發送者即可針對弱點狡猾地避開系統偵測，長驅直入至收信者的信箱。

貝氏過濾法的使用者，基本上會依據產業需求學習自身認定垃圾與正常信件，故學習的信件不同，發送者不再輕易找到通用的弱點將信件寄給每個郵件使用者。當垃圾的攔截率高時，發送垃圾者的效益愈成反比，垃圾發送者自然漸漸將目標轉向無垃圾阻擋機制的使用者，甚或具備共通弱點的垃圾郵件阻擋機制。

貝氏過濾對抗中文垃圾信

貝氏過濾法的功效卓越，但在中文環境上並非一應俱全。貝氏過濾法以單詞（Token）作為依據，對英語系語文而言，可善加利用空白或標點符號辨識單詞。但相較於中文字，Big5乃是由兩個byte所組成，字與字間基本上並無空白，在加上語意通常由「詞」而非「字」來產生，如果想切出有意義而準確的單詞則必須搭配中文詞庫，或自然語言技術將有意義的字句取出單詞。然而這也是為何國外產品使用相同貝氏過濾法的技術，準確度卻不一的主因。

穿透貝氏過濾法的攔截

貝氏過濾法是由統計的觀點來分析，要躲過它，必須使用大量的中性且儘量不提及與「垃圾郵件」相關的字眼；或者必須是大量被使用者學習過的正常信件詞彙。雖然如此，垃圾發送者依然不容易將垃圾信件穿透貝氏過濾法的過濾，畢竟要垃圾信件完全不提及其相關字眼非常困難，因為此乃為其廣告來源。收信者將本身認定的正常信件送給貝氏過濾法學習，統計出來最常使用的正常信件用詞只有「貝氏過濾法資料庫」知道，垃圾發送者除非經過百般嘗試否則穿透機率十分渺茫。其嘗試過程中，又已迅速地被送回垃圾學習機制了。唯一要穿透貝氏過濾法的辦法，便是找到疏於訓練「貝氏過濾法資料庫」的使用者，成功機會也許較高。

貝氏過濾法的改良型

貝氏過濾法與「啟發式」最大相異處在於前者利用統計的方式找出垃圾特徵，後者乃經由人工找出垃圾特徵。啟發式同樣具備相當的優勢；例如「未滿十八歲的極品」，啟發式可採用作法為：「未滿十八歲」此字句中，其字眼出現過後的10個字內有出現「極品」一併列入垃圾特徵；換言之「未滿十八歲的極品」、「未滿十八歲的美女極品」即為此例。但一旦出現「極品燕窩未滿十八歲不適宜」，則啟發式就不認定為垃圾特徵，但由於此詞句中同時出現「未滿十八歲」與「極品」，「貝氏演算法」則可能誤判為垃圾信件。針對此點，目前貝氏過濾法也出現改良型，其改良方式為不單用單詞做統計，而改採用短句（Phrase）進行改良判斷的精準率，使用短句算是目前較新穎的技術。

貝氏過濾搭配啟發式過濾

貝氏過濾法與常被討論的「啟發式（Heuristic）」相異之處，在於啟發式可將已被研究出來的垃圾郵件特徵，採規則（Rule Base）方式給予不同的分數，進而偵測電子郵件中有多少符合的規則，再依據這些規則所被指定的分數加總，藉此判定郵件本身擁有垃圾特徵值的比重高低。與「啟發式」不同的是，「貝氏過濾法」是將信件切分成單詞，利用演算法統計每個單詞的機率，進而推算出可能為垃圾信高達的機率。

以攤販對假鈔真偽的辨為例，目前假鈔防偽線如假似真已無法逕行辨識，攤販得經由盲人點、浮水印甚至螢光燈照射…等多重管道下辨別偽鈔。同樣的，垃圾發送者的技術也越來越精進，不但使用真路由，更甚者偽造信件標頭也精進到與真正信件標頭無法區別。為避免高誤判率，目前主流技術會一併將信件標頭與內文同時進行垃圾信件特徵偵測，即使用真實信件標頭或幾可亂真之標頭的垃圾信件，其特徵仍可從內文察覺。最新趨勢是將「啟發式」與貝氏過濾法兩者搭配使用，將貝氏過濾法偵測垃圾機率當成「啟發式」的判斷條件之一。這樣的作法可以同時採用兩邊的優點，交叉比對。當然，持續訓練「貝氏過濾法資料庫」會讓準確度平穩地維持在95%~99.95%以上。文⊙蔡承家

作者簡介

蔡承家
寬華網路科技自有產品處經理，曾在澳洲ISP參與系統網路工程，並曾於IBM子公司擔任軟體、系統、EC、客服部等部門經理，累積ISP網路產業共有七年經驗。近年來致力於發展郵件稽核側錄、郵件防駭、防毒、防垃圾等相關產品開發。

SPAM的歷史

我們一般稱垃圾郵件為SPAM或Junk Mail，更繞口的說法是Unsolicited Commercial Email（未經邀約的商業電子郵件）或Unsolicited Bulk E-mail（未經邀約的大量電子郵件），就是將一份內容相同的電子郵件，未經收件人同意，大量寄送給許多人，其內容大多是與收信人無關的商業廣告，而且收件人無法拒收。

其實SPAM不是現代的產物，早在1975年，就有關於垃圾郵件的記錄，1985年8月出現第一封透過電子郵件傳送的「連鎖信」。

1994年4月，Canter & Siegel法律事務所向6000多個新聞群組發送同樣內容的垃圾郵件，也就是著名的「綠卡樂透（Greencard Lottery）」事件。

1995年5月，第一個專門發垃圾郵件的軟體Floodgate誕生，能夠自動發送大量郵件，同年8月，已經有數百萬個電子郵件地址在市面上販售。

1996年3月，專家提出過濾垃圾郵件的方法，並研發一些簡單的過濾工具。1996年4月，垃圾郵件出現另一個名稱UCE（Unsolicited Commercial Email），而且漸受企業重視，人們也開始想辦法阻檔垃圾郵件的氾濫。

為了閃避各種對垃圾郵件的抵制，Spammer開始偽造寄件人及郵件地址，1997年3月，他們把目標轉到Mail Relay，利用其他人的郵件伺服器寄送垃圾郵件。

在過去幾年，世界各地成立許多反垃圾郵件組織，例如ORBS、DSBL、MAPS、SPAMHAUS、UXN等。不過，這些組織也是Spammer攻擊的對象，如SPEWS、Osirusoft（relay.osirusoft.com)及SORBS（www.dnsbl.sorbs.net），在去年就傳出被Sobig蠕蟲攻擊的消息。

我們可以預期，這場戰爭仍會持續多年，正對邪的對抗將持續下去。文⊙陳世煌

回覆

平面展開

前一個主題 | 下一個主題 | |

| |

討論串

» [分享]垃圾郵件終結者－貝氏過濾法 (冷日
(冷日), 2004/8/3 2:56)

發表新主題

一網情深 : [分享]垃圾郵件終結者－貝氏過濾法

討論串