鄭州網站建設：Robots在優化中(zhōng)的作用是什麽？ 　　

     百度，360，搜狗等搜索引擎在訪問一(yī)個網站的時候，開(kāi)始做的動作是檢查該網站的根域名下(xià)是否有一(yī)個叫robots.txt的純文本文件，該文件用于指定搜索引擎蜘蛛在網站上的抓取範圍。由于很多網站的一(yī)些頁面存在隐私或者是敏感内容，因此需要告訴搜索引擎蜘蛛網站中(zhōng)的哪些頁面是不允許抓取的，這就是Robots文件的作用。

　　一(yī)、Robot指令：

　　1，User-agent: 該指令定義了此指令下(xià)面的内容對哪些蜘蛛有效。默認所有蜘蛛都允許抓取，如果此指令指定了特定的蜘蛛，那麽此指令下(xià)跟的内容就對特定蜘蛛有效。

　　2，Disallow: 該指令定義了禁止蜘蛛抓取哪些頁面，有些人可能認爲，做網站當然都希望被抓取了。但是如果是後台或是隐私文件，相信誰都不願意被抓取的。

　　3，Allow: 該指令定義了允許蜘蛛抓些哪些内容，如果是某些内容允許，其它全部拒絕，則可以用這個指令，大(dà)多數網站隻用到禁止指令。

　　4，Sitemap：就是我(wǒ)(wǒ)們常說的網站地圖了，把站點地圖放(fàng)在Robots下(xià)面，可以方便蜘蛛直接在訪問Robots時就訪問到你的地圖位置。

　　二、robots的作用：

　　1、屏蔽死鏈接。由于改版等原因，我(wǒ)(wǒ)們網站會産生(shēng)死鏈接，那麽這個時候我(wǒ)(wǒ)們就需要通過robots來屏蔽這些死鏈接。我(wǒ)(wǒ)們可以通過下(xià)載網站日志(zhì)來查看我(wǒ)(wǒ)們的404頁面，用txt打開(kāi)網站日志(zhì)，通過搜索“404”，如果你網站有404頁面，并且被訪問到了，那麽這個時候就會被網站日志(zhì)給記錄。

　　2、把沒有價值的頁面屏蔽掉。很多網站都有一(yī)些沒有價值的頁面，比如說指導中(zhōng)心的用戶個人中(zhōng)心頁面，這個個人中(zhōng)心頁面不會對網站産生(shēng)價值，在百度上面的展現也不會給網站帶來權重。因此我(wǒ)(wǒ)們需要利用robots來屏蔽這樣的頁面。又(yòu)比如說：一(yī)個企業網站的聯系我(wǒ)(wǒ)們頁面，這種頁面不會給網站帶來權重，用戶也不會去(qù)搜索“聯系我(wǒ)(wǒ)們”來找他想要的産品。因此我(wǒ)(wǒ)們需要把這種頁面同時屏蔽。

　　3、把重複路徑屏蔽掉。當你網站出現重複路徑的時候，百度将會對我(wǒ)(wǒ)們的網站進行直接降分(fēn)，比如說：一(yī)個網站做了僞靜态，同時他的動态頁面也可以訪問，這個時候就會出現重複路徑。因此我(wǒ)(wǒ)們需要通過robots屏蔽這些重複路徑。

　　鄭州網站建設公司河南(nán)雲狐是一(yī)家專業的互聯網整合營銷公司，專業從事網站建設、網絡推廣、微信開(kāi)發與代運營、微信小(xiǎo)程序代理/開(kāi)發、聯通400電(diàn)話(huà)、APP開(kāi)發、EC營客通銷售管理軟件、教育培訓、廣告制作、朋友圈廣告等諸多服務，歡迎大(dà)家來河南(nán)雲狐參觀咨詢了解。