<progress id="pvgq3"><div id="pvgq3"></div></progress>
    1. <option id="pvgq3"></option>

        <track id="pvgq3"></track>

        robots.txt在線生成

        默認 - 所有機器人是:
        檢索間隔:
        Sitemap: (留空為無)
        普通搜索機器人: Google
        googlebot
        Baidu
        baiduspider
        MSN Search
        msnbot
        Yahoo
        yahoo-slurp
        Ask/Teoma
        teoma
        Cuil
        twiceler
        GigaBlast
        gigabot
        Scrub The Web
        scrubby
        DMOZ Checker
        robozilla
        Nutch
        nutch
        Alexa/Wayback
        ia_archiver
        Naver
        naverbot, yeti
        特殊搜索機器人: Google Image
        googlebot-image
        Google Mobile
        googlebot-mobile
        Yahoo MM
        yahoo-mmcrawler
        MSN PicSearch
        psbot
        SingingFish
        asterias
        Yahoo Blogs
        yahoo-blogs/v3.9
        限制目錄: 路徑是相對的,但每個路徑之前都要包含:"/"

        什么是robots.txt文件

        • robots.txt(統一小寫)是一種存放于網站根目錄下的文本文件,它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不應被搜索引擎蜘蛛獲取的,哪些是可以被(蜘蛛)獲取的。
        • 因為一些系統中的URL是大小寫敏感的,所以robots.txt的文件名應統一為小寫。robots.txt應放置于網站的根目錄下。
        • 如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為,那么可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據。
        • robots.txt協議并不是一個規范,而只是約定俗成的,所以并不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL,所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符。
        • Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:1、搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;2、網站有義務保護其使用者的個人信息和隱私不被侵犯。

        robots.txt文件內容

        • 搜索引擎蜘蛛的是否可訪問性或者說可爬行性。
        • 搜索引擎蜘蛛針對目錄或者文件的可訪問性。
        • 網站站點地圖sitemap路徑定義。
        • 搜索引擎蜘蛛爬行的時間間隔限制。

        關于robots.txt文件生成器

        • 通過web界面設置好要配置的數據, 點擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
        • 現在,你創建一個空白的文本文件,命名為:“robots.txt”,然后把上面的內容,復制并粘貼到“robots.txt”中去。
        • 把“robots.txt”放在你網站的根目錄,訪問robots.txt,確保他能讓訪問者(如搜索引擎)訪問到。

        您最近使用了:

        收藏 菜單 QQ
        欧美人与动人物牲交,国产情侣露脸高潮在线,精品国产自在现线免费观看