丹若你來,我必用心!
7年來專業從事網站seo優化、關鍵詞排名、網站建設!

什么是robots文件?robots如何寫?

發表時間:2021-02-08 12:17作者:丹若云網址:http://www.petetmoi.com/

我們在百度上搜索的時候,有時候會在搜索結果中有些鏈接下面會有該頁面無法提供該頁面的內容描述的提示(如下圖),那這個是什么原因導致的呢?這就是我們今天要分享的seo優化中一個比較重要的元素:robots.txt。

robots.png

今天我們依舊會從四個問題進行分享:什么是robots文件?robots的作用?robots的寫法?robots的注意事項?


一、什么是robots文件?

用百度百科的定義:robots是網站跟爬蟲間的協議,用簡單直接的txt格式文本方式告訴對應的爬蟲被允許的權限,也就是說robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

robots文件是什么.jpg

二、robots文件的作用?

SEO的角度,robots.txt文件是一定要設置的,原因:

1、網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。

2、網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。

3、屏蔽網站內的死鏈接。

4、屏蔽搜索引擎蜘蛛抓取站點bai內重復內容和頁面。

5、阻止搜索引擎索引網站隱私性的內容。


robots要怎么寫.jpg

三、robots的寫法:

1、允許所有的搜索引擎訪問網站的所有部分或者建立一個空白的文本文檔,命名為robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

2、禁止所有搜索引擎訪問網站的所有部分。

User-agent:*Disallow:/

3、禁止百度抓取你的網站。

User-agent:BaiduspiderDisallow:/

4、禁止Google索引你的網站。

User-agent:GooglebotDisallow:/

5、禁止除百度以外的一切搜索引擎索引你的網站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

6、禁止百度蜘蛛抓取特定目錄

User-agent:*

Disallow:/目錄名稱/

7、禁止和允許搜索引擎訪問某個目錄,如:禁止訪問admin目錄;允許訪問images目錄。

User-agent:*Disallow:/admin/Allow:/images/

8、禁止和允許搜索引擎訪問某個后綴,如:禁止訪問admin目錄下所有php文件;允許訪問asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

9、禁止索引網站中所有的動態頁面(這里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*Disallow:/*?*

四、robots.txt的注意事項:

1、如果你的站點對所有搜索引擎公開,則不用做這個文件或者robots.txt為空就行。

2、必須命名為:robots.txt,都是小寫,robot后面加"s"。

3、robots.txt必須放置在一個站點的根目錄下,如放在子目錄下搜索引擎不能爬取到,所以不會起任何作用。如:通過http://www.hzseoyouhua.com/robots.txt 可以成功訪問到,則說明本站的放置正確。

4、一般情況下,robots.txt里只寫著兩個函數:User-agent和 Disallow。

5、有幾個禁止,就得有幾個Disallow函數,并分行描述。

6、至少要有一個Disallow函數,如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: /   (注:只是差一個斜桿)。

以上就robots文件相關的而一些內容了,關于robots的寫法還有很多,詳細的可以網上再做查詢,本文僅做參考。


最新發布seo文章
2021-07-14
2021-06-11
2021-06-08
2021-05-08
2021-04-29
2021-04-28
2021-04-22
2021-04-14
2021-04-07
2021-03-18
推薦seo文章
2021-02-03
2021-02-01
2021-01-28
2021-01-27
2021-01-26
2021-01-26
2021-01-25
2021-01-22
合作伙伴
提供各行各業網站解決方案
聯系電話:0571-88152330            地址:浙江省杭州市西湖區三墩鎮金蓬街321號2號樓A座313室           郵箱:kefu@zjdanruo.com
杭州丹若云為您提供整站seo優化、關鍵詞百度排名、網站建設等互聯網推廣解決方案,有需要的朋友請與我們聯系。