對這文章發表回應

為什麼及如何建立一個Robots.txt文件？

為獲得在某一搜尋引擎中的排名，您根據其排名規律，精心設計某一頁面，使其符合得很好，登記後也獲得理想的排名。
由於各搜尋引擎排名規則各異，您的某一頁面能獲得某一搜尋引擎中的好的排名，但通常情況下，對於其他搜尋引擎，排名就差得很遠。
為此，有人在網站中復製出內容相同的不同文件名的頁面，並對復製頁面的原標記進行修改，以期符合其他搜尋引擎排名規則。
然而，許多搜尋引擎一旦發現您網站中有異常「克隆」頁面，會給予懲罰，不收錄您的頁面。
Robots.txt就是為瞭解決這問題。

我們給出樣本：
[code:1:7de5c0c4fb]User-agent: {SpiderNameHere}
Disallow: {FileNameHere}[/code:1:7de5c0c4fb]

譬如，如果您想告訴Excite搜尋引擎的Spider（ArchitextSpider），不檢索您網站中三個特定頁面，您可這樣操作：
[code:1:7de5c0c4fb]User-agent: ArchitextSpider
Disallow: /orderform.html
Disallow: /product1.html
Disallow: /product2.html[/code:1:7de5c0c4fb]

如果您不想讓Excite的Spider檢索在abc目錄下的def.htm文件：
[code:1:7de5c0c4fb]User-agent: ArchitextSpider
Disallow: /abc/def.htm[/code:1:7de5c0c4fb]

不檢索整個mydirectory目錄：
[code:1:7de5c0c4fb]User-agent: ArchitextSpider
Disallow: /mydirectory/[/code:1:7de5c0c4fb]

不讓所有Spider檢索：
[code:1:7de5c0c4fb]User-agent: *[/code:1:7de5c0c4fb]

不檢索整個網站：
[code:1:7de5c0c4fb]Disallow: /[/code:1:7de5c0c4fb]

我們給出其他實例：
[code:1:7de5c0c4fb]User-agent: ArchitextSpider
Disallow: /abc/def.htm
User-agent: Infoseek
Disallow: /ghi/jkl.htm
User-agent: ArchitextSpider
User-agent: Infoseek
Disallow: /abc/def.htm
Disallow: /ghi/jkl.htm[/code:1:7de5c0c4fb]

如下列表為世界各大搜尋引擎和其對應的User-Agent，供大家參考。
搜尋引擎 User-Agent
AltaVista Scooter
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
Looksmart Web Pages Slurp

小心Slurp，如果您不想讓其檢索一個頁面，這會使多個其他搜尋引擎也不檢索該頁面。通常，用Slurp的搜尋引擎規則差不多。
一般，根目錄下的頁面排名要高於次目錄下頁面的排名，這是因為，搜尋引擎有時會認為次目錄下的URL可能沒有自己獨立網域名稱或與他人共享主機。
如果多個遞交頁面內容豐富，相互不非常類似，或在原有頁面基礎上進行優化，您不必擔心會遭搜尋引擎懲罰，不必建立robots.txt文件。
如果您使用一個非常有用的頁面但針對許多不同搜尋引擎，您「克隆」出許多類似的頁面，那您就必須考量robots.txt。

robots.txt也可用在某一目錄中。
若欲瞭解有關robots.txt詳細情況，可訪問 http://www.marketposition.com
要檢查您建立的robots.txt的正確性，可訪問 http://tardis.ed.ac.uk/~sxw/robots/check/