發表者

討論內容

冷日
(冷日)

發表時間：2004/8/4 1:21

Webmaster

註冊日: 2008/2/19
來自:
發表數: 15773

[分享]雞尾酒過濾法的現在與未來: 雞尾酒過濾法的現在與未來

結合新過濾技術與最佳化的成熟技術，對抗新一波垃圾郵件

從過去到現在，許多反制垃圾郵件的技術與理論陸續被提出來實作。現在許多的過濾郵件軟體開發者發現，使用過去任何一種單獨的過濾技術，不如混合兩種以上現在已知有效的技術，可以讓過濾垃圾郵件的效果更好。這種衡量不同技術並混用的過濾垃圾郵件方式，就是雞尾酒過濾法（Anti-spam Cocktail）。雞尾酒過濾法混用的常見過濾技術包括使用黑名單比對（Black List）、建立白名單列表（White List）、關鍵字搜尋（Keyword searches）、規則過濾法（Rules Filter）、路徑偵測法（Detect Routing）、啟發式分析法（Heuristic Analysis）以及學習型的貝氏過濾法（Machine Learning：Bayesian Analysis）。事實上，許多垃圾郵件過濾軟體開發者也不斷在他們的過濾垃圾郵件軟體測試或納入更新的技術與規範讓用戶選擇。不斷將舊有的技術最佳化並使用雞尾酒過濾法調和的作法，儼然已經變成對抗一波波垃圾信浪潮的中流砥柱。

如何應用雞尾酒過濾法

使用雞尾酒過濾法時並非簡單地將各種技術直接混合使用，也不能簡單說Ａ過濾法已經有百分之五十的過濾效果、Ｂ過濾法有百分之五十的過濾效果，最後混合Ａ與Ｂ就可以百分之百過濾掉垃圾信。因為Ａ與Ｂ過濾法沒辦法捕捉的那部分所涵蓋的可能就是同一群垃圾郵件。另外，在混合不同過濾技術時所使用的權重值也相對不同，這點也是調配雞尾酒時不同之處，如何安排不同的技術得到不同權重值達到過濾效果最佳化，需要視情況而定，不能一視同仁都給一樣的比重。例如只要列入白名單者，無論其他過濾技術聲稱這是多麼高危險性的垃圾郵件，都要直接讓這封信送到使用者信箱。而只要在絕對黑名單的垃圾信，都一律將垃圾信的可能性提升到百分之一百。但是，問題經常發生在如果是啟發式分析法認為是垃圾信，但是貝氏過濾法卻認為不是垃圾信時，該怎麼處理？這時就要納入貝氏過濾法已經學習的時間曲線、啟發式過濾法的設定的門檻與貝氏過濾法學習後決定的門檻，以及這些不同技術的優點與缺點，將這些因素通通列入考慮，才能讓雞尾酒過濾法訓練出穩定可靠的垃圾信過濾機制，要不然貿然採用雞尾酒式過濾法反而會變成四不像，也無法增進過濾效果。

過濾技術搭配上的問題

貝氏過濾法需要先有合法郵件的範本以及垃圾郵件的範本，經由告訴學習引擎哪些是垃圾郵件哪些是合法郵件，學習合法郵件與垃圾郵件的分別，要不然在剛開始時啟發式分析法可信度反而是比較高的，貝氏過濾法有一定的學習曲線，更需要不斷訓練以維持良好的過濾效果。啟發式分析法會檢查電子郵件在Header、Body、Envelope幾個不同部分的垃圾郵件特徵，當符合一個先前設定的垃圾郵件特徵時，分數就會累加上去，當累加後所有分數超過設定的門檻就判定是垃圾郵件。完全相信啟發式分析法時郵件系統管理者其實非常辛苦，因為萬一有誤擋信的狀況，管理者必須找出是哪些特徵使這封合法郵件被判定是垃圾信，有時還要人工分析一些沒有過濾到的垃圾信為何沒有被過濾分離出來，再將找出的這種特徵加入到啟發式分析法的資料庫。

至於黑名單的過濾方式，一是相信自己建立的黑名單，二則是相信網路上提供垃圾郵件來源、Open Relay或Open Proxy黑名單的組織，像是RBL（rbls.org）或是Spamhaus（www.spamhaus.org/sbl/）和 MAPS （www.mail-abuse.com）。只要願意完全相信這些資料庫，黑名單是相當強悍的第一道防線。只是今天的垃圾郵件發送者往往防不勝防，經常遷徙到新的網路位址，偽裝合法網路位址，導致黑名單資料庫日益龐大，有些維護性較差，準確度與可信賴度往往未達企業需求水準，像是臺灣的中華電信部分網域也曾被列入RBL黑名單，導致相信使用RBL資料庫的企業收不到中華電信這些網域的正常來信，如果剛好有重要商務郵件從這些網域發出，企業有形無形的損失就會產生。也因為黑名單需要時時維護更新的特性，所以垃圾郵件過濾軟體廠商也花了許多經費在維護各自的黑名單。有時候單單分析黑名單的來源還不夠，如果也將郵件傳遞的路徑（Mail Routing Path）也加入，將類似垃圾郵件的部分路徑考慮變成一種黑名單資料庫，搭配檢查信件內容特徵的啟發式分析法和貝氏過濾法的判斷，兩者符合確認同一來源的垃圾郵件，這也是一種過濾垃圾郵件的技術。這種技術最大的好處是忽略來源位址，而是檢查發送郵件的路徑後半段，避免偽造的來源干擾判斷，最後再用啟發式分析法和貝氏過濾法避免垃圾郵件的誤判。

過濾垃圾郵件的風險

一般企業在導入過濾垃圾郵件時最大的風險為過濾郵件系統誤擋合法郵件的情況（False Positives），如果有正常的重要郵件因此被系統誤擋住，可能會造成損失。所以在封鎖垃圾郵件準確率都已經高達90%以上的今天，降低誤擋率其實是目前所有過濾郵件機制裡最重要的課題－也是一個需要評估的課題。通常非常依賴電子郵件系統的企業寧可犧牲封鎖垃圾郵件的精確度，例如調整系統到總是讓所有人收到百分之五到十的垃圾郵件，但是沒有誤擋的狀況，以避免誤擋重要郵件帶來的損失。如果企業內總是抱怨在垃圾郵件一堆卻不太重視誤擋郵件的情況，可以調整封鎖的門檻，讓垃圾郵件都被封鎖住，再配以定時寄發「被隔離郵件」清單，來讓同仁定期瀏覽一下清單，將被扣押的郵件釋放出來。

讓最終使用者一同參與

事實上，可以不斷對企業的過濾郵件系統作最好訓練的往往是最終使用者們而非管理者。因為管理者不可能有太多時間去檢視被隔離的大量垃圾郵件也無法完全代替最終使用者下判斷，只有降低管理者參與，但是卻由過濾郵件系統提供簡單的直覺介面像是網頁介面或工具，讓最終使用者在輕鬆釋放合法信件與隔離垃圾郵件的過程中不斷訓練企業的過濾垃圾郵件系統，系統也自動學習與進化，才能讓系統準確率與誤擋率達到企業內大多數同仁可以接受的水準。

對付偽造來源的垃圾郵件

濫發垃圾郵件如此猖獗的原因除了行銷成本低廉，最大的原因就是由於今天電子郵件傳輸使用的SMTP協定（簡易郵件傳輸協定，Simple Mail Transfer Protocol）難以制止匿名發信的行為，更無法驗證偽造來源的垃圾郵件。有鑑於此，AOL美國線上提出了SPF（Sender Policy Framework）的草案，Microsoft微軟推出了 Caller ID （電子郵件來信顯示）的草案，Yahoo提出了DomainKeys 技術。這些提案都是希望在相容 SMTP 協定下，能對發信者的網域或對於信件來源做更有效的驗證。Caller ID非常類似 SPF 技術，會都在 DNS 記錄內增加一些資料，讓收信方可以檢查DNS資料驗證發信來源。DomainKeys則是檢查比對電子郵件內及DNS資料的數位簽章，以取得驗證。相信這些提案如果實現，應該能更有效防止偽造的電子郵件。

雞尾酒過濾法的未來

到目前為止，以上這些提案都已送交產業標準組織IETF（網際網路工程工作小組），Sendmail Team也支援 Domain Keys了，但是，距離實際全面應用仍有一段很長的路要走，像是電子賀卡一類的電子郵件，到時候會窒礙難行，還有全面部署時要如何導入這些方案的策略也還沒有訂定出來，所以在可見的幾年內，也不可能完全靠這些方法來驗證是否為垃圾郵件或不是垃圾郵件。但是這些最新的技術也都融入了雞尾酒過濾法內了。企業如需要包含最新技術的這種雞尾酒過濾機制的話，可詢問準備採購的過濾垃圾郵件系統是否也已經支援這些技術。雖然垃圾郵件過濾技術發展至今，雞尾酒過濾法已成主流，但並不代表雞尾酒過濾法沒有缺點，由於混用多種不同過濾機制，在追求最後百分之幾小數點準確率與盡量降低誤擋率到零時，對於不同技術何者為重何者為輕的最後判斷仍困擾軟體開發者與管理者，再加上許多技術混合後導致的效能無法提升都仍是問題。在將來，雞尾酒過濾法也會繼續混合更多有效的過濾技術，提供飽受垃圾郵件洪水之苦的企業與用戶，準確率更高、誤擋率更低的垃圾郵件過濾機制。文⊙蕭朝文

Sender ID

網際網路工程工作小組（Internet Engineering Task Force，IETF）公佈新的網際網路草案標準-Sender ID，該標準原名為郵件傳送代理認證記錄(MTA Authentication Records in DNS)，現則更名為Sender ID。Sender ID包含兩項技術，一是由微軟提出的Caller ID，另一項則是由Pobox.com所制定的Sender Policy Framework（SPF），有興趣的人可以參考www.ietf.org/internet-drafts/draft-ietf-marid-core-02.txt。

在目前垃圾郵件過濾技術中，以SPF與Sender ID得到最多的青睞，包括AOL、Amazon及Google都已經使用該技術來過濾垃圾郵件。不過，Yahoo!則繼續支持Domain Keys。

Sender ID允許ISP和企業在郵件伺服器傳送郵件時，得以指定特定IP位址，如果有其他郵件冒充來自該公司，卻非透過該IP位址，就很有可能是偽造的。文⊙陳世煌

蕭朝文

網護科技工程部經理，曾參與AboveNet網路系統工程、日本NTT DoCoMo 手機上應用程式研發，累積ISP與電信網路產業共有五年經驗。近年來專心於網路安全領域，致力於網路安全、內容過濾、垃圾郵件、電信級無線網路以及網路加值應用服務等相關產品開發推廣。

回覆

平面展開

前一個主題 | 下一個主題 | |

| |

討論串

» [分享]雞尾酒過濾法的現在與未來 (冷日
(冷日), 2004/8/4 1:21)

發表新主題

一網情深 : [分享]雞尾酒過濾法的現在與未來

討論串