Robots.txt文件务必放到网址的网站根目录。

放到根目录的 Robots.txt 文档百度搜索引擎不可以抓取到,因此不容易起一切功效。

例如:

http://网站域名/robots.txt    合理

http://网站域名/bbs/robots.txt     失效

假如你不可以操纵网站根目录的 robots.txt,则你能根据在根目录网页页面中应用标识阻拦网页页面被百度收录。

评论(0条)

刀客源码 游客评论