遇到一个网站客户，如同其他网站客户的要求一样：我的网站要在百度上输入“XXX”的时候可以打开访问，并与此作为余款结算的依据。
不过，他的“以此作为余款结算的依据”还真的头一次遇到。
做网站的人都清楚一点就是“搜索引擎服务不是我的，我不知道它什么时候来收录”！所以，往往我们不敢给客户打包票：肯定什么时
遇到一个网站客户，如同其他网站客户的要求一样：我的网站要在百度上输入“XXX”的时候可以打开访问，并与此作为余款结算的依据。
不过，他的“以此作为余款结算的依据”还真的头一次遇到。
做网站的人都清楚一点就是“搜索引擎服务不是我的，我不知道它什么时候来收录”！所以，往往我们不敢给客户打包票：肯定什么时
众所周知放置在根目录下的robots.txt是搜索引擎访问网站的时候第一个要查看的文件，以期知道网站哪些内容可以被抓取，哪些是被禁止抓取的。
早上登录Google中文网站管理员博客浏览一篇《优化网站的抓取与收录》的文章，里面提到“利用robots.txt阻止Google爬虫抓取他们不能处理的页面”时