如果网站没有 robots.txt 文件，谷歌搜索会直接清除网站的所有搜索结果。这是个反直觉的情况，站长 Adam 分享的谷歌支持文件显示，谷歌爬虫首先会检查网站是否有 robots.txt 文件，如果检测不到则默认当作网站不允许抓取任何内容，所以已经收录的内容也会被删除。查看全文：