robots.txt在線生成

什么是robots.txt文件

• robots.txt（統一小寫）是一種存放于網站根目錄下的文本文件，它通常告訴網絡搜索引擎的漫游器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎蜘蛛獲取的，哪些是可以被（蜘蛛）獲取的。
• 因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。robots.txt應放置于網站的根目錄下。
• 如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，或者使用robots元數據。
• robots.txt協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“／”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
• Robots協議是國際互聯網界通行的道德規范，基于以下原則建立：1、搜索技術應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權；2、網站有義務保護其使用者的個人信息和隱私不被侵犯。

robots.txt文件內容

• 搜索引擎蜘蛛的是否可訪問性或者說可爬行性。
• 搜索引擎蜘蛛針對目錄或者文件的可訪問性。
• 網站站點地圖sitemap路徑定義。
• 搜索引擎蜘蛛爬行的時間間隔限制。

關于robots.txt文件生成器

• 通過web界面設置好要配置的數據， 點擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
• 現在，你創建一個空白的文本文件，命名為：“robots.txt”，然后把上面的內容，復制并粘貼到“robots.txt”中去。
• 把“robots.txt”放在你網站的根目錄，訪問robots.txt，確保他能讓訪問者（如搜索引擎）訪問到。