励志成功搜索引擎的Robots协议 robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。ro... seosee 12年前 (2012-09-18) 5350℃ 0评论 0喜欢
