一個關(guān)于robots的問題：我們有個站點的目錄結(jié)構(gòu)使用的是中文，這樣式兒的：www.a.com/冒險島/123.html，那在制作robots文件和sitemap文件的時候，可以直接使用中文嗎?百度能獲取到嗎?在實際操作中我們發(fā)現(xiàn)，sitemap中有文件是可以生效的，但robots封禁貌似沒有反應(yīng)，所以想確認一下：robots文件是否支持中文?
工程師解答：Baiduspider目前(2016年10月)在robots里是不支持中文的。
同學(xué)追問：那我們進行UrlEncode編碼會不會支持呢?比如這種：
工程師解答：robots文件支持這種寫法。但是否生效，還要取決于當(dāng)時BaiduSpider抓取的是哪種形式結(jié)構(gòu)的鏈接，如果是UrlEncode編碼就可以生效，如果是中文就非常不幸了。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
robots協(xié)議也叫robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。
今天大概總結(jié)一下：首先說明一點：每天百度派出的蜘蛛是有限的，robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄！
當(dāng)我們的網(wǎng)站上線之后，一定會有一些不想讓百度抓取的頁面、文件，針對這種問題，我們就要使用協(xié)議去屏蔽。那么這個協(xié)議是什么？究竟怎么寫這個協(xié)議呢？
曾慶平SEO在前面的文章中講過robots.txt概念的時候，留下一個問題：為什么曾慶平SEO的robots.txt寫得那么復(fù)雜?曾慶平SEO的robots.txt：http://www.xxx.com/robots.txt這樣做的目的是，讓搜索引擎看來網(wǎng)站更規(guī)范和權(quán)威。
如果以上都沒有錯誤，那么你就要檢查你的CDN了，很可能是因為CDN緩存而造成的，或者是你配置了https，而站長平臺卻綁定的http，無法訪問，這兩點自己排查，如果以上都做到，那么是不會提示這類錯誤的，當(dāng)然也不排查百度站長平臺本身的問題，不過這種機率性很小。
