360的robots協議支持

一點優化 2019年3月20日23:28:02 評論 492

傳說360的前身是一個很霸道的搜索引擎,好像是數字域名,無視robots協議公約,直接抓爬;也聽說當時收到了一定懲罰,當然,一點優化站長也不是很清楚是怎么回事,也是以前聽人說的,站長本人也忘記什么時候的事了;不過現在的360搜索做的還是很規范的,在360原文中說:為了實現對網站更好的收錄,360搜索引擎公布360搜索對Robots協議的支持和擴展說明,以便站長們了解,實現對網站內容更高效、智能的收錄。下面讓我們來看看官方內容吧。


360的robots協議支持

360的robots協議支持

360搜索對Robots協議的支持文章目錄

 

360搜索引擎支持的robots主要命令

360搜索對Robots協議的擴展

對Robots協議的善意使用


360搜索支持Robots協議的主要命令,以下為具體說明:

1. user-agent

360搜索各產品的爬蟲user-agent為:

- 網頁搜索 360Spider

- 圖片搜索 360Spider-Image

- 視頻搜索 360Spider-Video

2. Allow

站長可通過Allow命令指定建議收錄的文件、目錄 。

3. Disallow

站長可通過Disallow命令指定不建議收錄的文件、目錄。


360搜索對Robots協議的擴展

360搜索根據站長們的反饋,會陸續推出擴展的Robots協議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率,減少站長們維護Robots協議文件的技術成本。

360搜索首個擴展命令是:indexpage,站長們可以使用此命令告知360搜索哪些網頁經常更新。360搜索會根據站長的指示以及自己的算法,智能調整爬蟲抓取頻率,實現對您網站新內容的更高頻率抓取。

在命令中可以使用*、$等通配符。

示例:

使用通配符的

Indexpage: http://bbs.360safe.com/forum-*-1.html$

Indexpage: http://ent.sina.com.cn/*/roll.html

不用通配符的:

Indexpage: http://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: http://roll.tech.sina.com.cn/it/index.shtml

Indexpage: http://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: http://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: http://roll.tech.sina.com.cn/elec/index.shtml


對Robots協議的善意使用

Robots協議是一個搜索引擎和網站之間的善意協議,我們鼓勵站長們也以善意的方式使用這一協議,盡量提供準確的信息,除非有充足理由,不使用Robots協議屏蔽某些特定搜索引擎爬蟲。

360搜索愿和站長們一起,共建一個更健康、公平、透明的搜索引擎生態系統。

一點優化

發表評論

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: