日本中文字幕高清视频_美乳在线观看_香蕉青柠影院_亚洲欧美日韩精品一区二区国产欧美在线观看不卡-亚洲乱码一区av春药高潮-00粉嫩高中生洗

與時(shí)俱進(jìn)

一起見證互聯(lián)網(wǎng)的未來(lái)

行業(yè)資訊
News

網(wǎng)站優(yōu)化為什么要添加robots.txt文件

作者編輯: | 日期:2019/4/22 10:12:13 | 信息來(lái)源:

很多建站系統(tǒng),在建成網(wǎng)站后,都會(huì)在網(wǎng)站根目錄,默認(rèn)有robots.txt協(xié)議文件。那這個(gè)文件由什么用么?下面由無(wú)錫百度優(yōu)化的客服人員給大家說(shuō)下吧。

一、robots.txt協(xié)議文件有什么用?

搜索引擎訪問一個(gè)網(wǎng)站的時(shí)候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網(wǎng)站頁(yè)面可以被抓取,哪些禁止抓取。表面來(lái)看,這個(gè)功能作用有限。從搜索引擎優(yōu)化的角度來(lái)看,可以通過屏蔽頁(yè)面,達(dá)到集中權(quán)重的作用,這,也是優(yōu)化人員最為看重的地方。

二、網(wǎng)站設(shè)置robots.txt的幾個(gè)原因。

1:設(shè)置訪問權(quán)限保護(hù)網(wǎng)站安全。

2:禁止搜索引擎爬取無(wú)效頁(yè)面,集中權(quán)值到主要頁(yè)面。

三、怎么用標(biāo)準(zhǔn)寫法書寫協(xié)議?

有幾個(gè)概念需掌握。

User-agent表示定義哪個(gè)搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。

Disallow表示禁止訪問。

Allow表示運(yùn)行訪問。

通過以上三個(gè)命令,可以組合多種寫法,允許哪個(gè)搜索引擎訪問或禁止哪個(gè)頁(yè)面。

四、robots.txt文件放在那里?

此文件需放置在網(wǎng)站的根目錄,且對(duì)字母大小有限制,文件名必須為小寫字母。所有的命令第一個(gè)字母需大寫,其余的小寫。且命令之后要有一個(gè)英文字符空格。

五、哪些時(shí)候需要使用該協(xié)議。

1:無(wú)用頁(yè)面,很多網(wǎng)站都有聯(lián)系我們,用戶協(xié)議等頁(yè)面,這些頁(yè)面相對(duì)于搜索引擎優(yōu)化來(lái)講,作用不大,此時(shí)需要使用Disallow命令禁止這些頁(yè)面被搜索引擎抓取。

2:動(dòng)態(tài)頁(yè)面,企業(yè)類型站點(diǎn)屏蔽動(dòng)態(tài)頁(yè)面,有利于網(wǎng)站安全。且多個(gè)網(wǎng)址訪問同一頁(yè)面,會(huì)造成權(quán)重分散。因此,一般情況下,屏蔽動(dòng)態(tài)頁(yè)面,保留靜態(tài)或偽靜態(tài)頁(yè)面。

3:網(wǎng)站后臺(tái)頁(yè)面,網(wǎng)站后臺(tái)也可以歸類于無(wú)用頁(yè)面,禁止收錄有百益而無(wú)一害。

以上內(nèi)容就是由無(wú)錫百度優(yōu)化的客服人員為大家整理的,希望對(duì)大家有所幫助。了解更多相關(guān)知識(shí),大家可以關(guān)注我們的網(wǎng)站。

無(wú)錫百度優(yōu)化


Top