網站建設
                                                       
                                                          收藏本站 
                                                      用戶ID/郵箱: 密 碼:
                                                      客戶中心 Customer service 您目前的位置:首 頁 > 客戶中心 > 網站優化 



                                                      網站優化,網站建設網站優化:robots.txt文件用法舉例

                                                      robots.txt文件用法舉例

                                                        1、禁止所有搜索引擎訪問網站的任何部分

                                                        User-agent: *

                                                        Disallow: /

                                                        2、允許所有的robot訪問(或者也可以建一個空文件 "/robots.txt")

                                                        第1種寫法

                                                        User-agent: *

                                                        Allow: /

                                                        第2種寫法

                                                        User-agent: *

                                                        Allow:

                                                        第3種寫法

                                                        User-agent: *

                                                        Disallow:

                                                        3、僅禁止Baiduspider訪問您的網站

                                                        User-agent: Baiduspider

                                                        Disallow: /

                                                        4、僅允許Baiduspider訪問您的網站

                                                        User-agent: Baiduspider

                                                        Allow: /

                                                        5、禁止spider訪問特定目錄

                                                        在這個例子中,該網站有三個目錄對搜索引擎的訪問做了限制,即robot不會訪問這三個目錄。

                                                        需要注意的是對每一個目錄必須分開聲明,而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

                                                        User-agent: *

                                                        Disallow: /cgi-bin/

                                                        Disallow: /tmp/

                                                        Disallow: /~joe/

                                                        6、允許訪問特定目錄中的部分url

                                                        User-agent: *

                                                        Allow: /cgi-bin/see

                                                        Allow: /tmp/hi

                                                        Allow: /~joe/look

                                                        7、使用"*"限制訪問url

                                                        禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)

                                                        User-agent: *

                                                        Disallow: /cgi-bin/*.htm

                                                        8、使用"$"限制訪問url

                                                        僅允許訪問以".htm"為后綴的URL。

                                                        User-agent: *

                                                        Allow: / .htm$

                                                        9、禁止訪問網站中所有的動態頁面

                                                        User-agent: *

                                                        Disallow: /*?*

                                                        10、禁止Baiduspider抓取網站上所有圖片,僅允許抓取網頁,禁止抓取任何圖片。

                                                        User-agent: Baiduspider

                                                        Disallow: /*.jpg$

                                                        Disallow: /* .jpeg$

                                                        Disallow: /* .gif$

                                                        Disallow: /* .png$

                                                        Disallow: /*.bmp$

                                                        11、僅允許Baiduspider抓取網頁和。gif格式圖片允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片

                                                        User-agent: Baiduspider

                                                        Allow: .gif$

                                                        Disallow: /.jpg$

                                                        Disallow: / .jpeg$

                                                        Disallow: / .png$

                                                        Disallow: /.bmp$

                                                        12、僅禁止Baiduspider抓取,jpg格式圖片。

                                                        User-agent: /Baiduspider

                                                        Disallow: /.jpg$

                                                        附件:百度各個產品使用不同的user-agent

                                                        無線搜索 Baiduspider-mobile

                                                        圖片搜索 Baiduspider-image

                                                        視頻搜索 Baiduspider-video

                                                        新聞搜索 Baiduspider-news

                                                        百度搜藏 Baiduspider-favo

                                                        百度聯盟 Baiduspider-cpro

                                                        商務搜索 Baiduspider-ads

                                                        網頁以及其他搜索 Baiduspider


                                                      上一條: 谷歌瀏覽器默認樣式的修改
                                                      下一條: 如何更好的做好網站URL的優化?
                                                      相關文章
                                                      URL怎么優化
                                                      URL優化方法
                                                      網站進入沙盒期的處理方法
                                                      推廣經驗分享
                                                      其它
                                                      網站建設資源
                                                      常見問題
                                                      網站知識
                                                      首頁關于我們業務范圍新聞資訊成功案例客服中心聯系我們深圳網站建設網站優化付款帳戶
                                                      COPYRIGHT(C) 2005-2019 亞網互聯·中國 版權所有 ALL RIGHTS RESERVED (粵ICP備15005241號)
                                                      深圳網站建設公司地址:深圳市寶安區龍華民治大道東明大廈15樓 1529-1531 室   E-Mail:[email protected]  
                                                      公司電話:0755-89812581(8線)  
                                                      深圳市亞網科技有限公司 深圳網站建設常年法律顧問:朱運德律師
                                                      四川金7乐18061809期

                                                                                                                                                              广州36选7开奖号码 澳洲幸运开奖直播 山东11选5免费软件 内蒙新时时彩开奖结果 重庆时时彩新版走势图 五分赛app 浙江体彩20选5走势 今天新疆时时选胆图 北京赛pk10历史 5分pk10在线计划 新疆时时每天开奖号 破解时时彩 内蒙古时时历史 华东东方六加一走势图 血战到底麻将最大胡 一分彩