在这种情况下，URL 被抓取的原因是 robots.txt 文件中的命令不正确。单独来看，这些命令是正确的，。 谷歌在他们的指南中明确说明了这一点，但我必须说实话，我以前没有真正遇到过这个问题，所以这有点令人惊讶。 如何解决： 小心使用机器人的命令，如果您对 Googlebot 有单独的命令，请确保您还告诉 Googlebot 要执行哪些其他命令 – 即使它们在包罗万象的命令中提到。
使用 Google 网站管理员工
具中的测试功能，您可以测试 Google 对您的 robots.txt 文件的反应。 8. robots.txt中的不 whatsapp 号码数据 可见字符 我最近对我的一个客户进行了技术审核，并在 Google 网站管理员工具中看到一条警告，其中一行显示“语法不理解”。
当我看到该文件并对其进
行测试时，一切看起来都很好。我向汤姆·安东尼展示了这个问题，他通过命令行获取了文件美国移动购物的障碍 ，他诊断出了问题：一个不可见的字符以某种方式进入了文件。 此时我重新打开文件并找到它，看起来很傻！ 如何解决： 修复方法非常简单。只需重写robots.txt文件并通过命令行再次运行即可再次检查。
如果您不熟悉命令行
请查看 Craig Bradford 在 Distilled 上发表的这篇文章。 9. Google抓取base64 URL 消費者數據 这个问题是我们最近看到的一个非常有趣的问题，也是汤姆看到的另一个问题。我们的一位客户注意到网站站长工具中报告的 404 错误数量大幅增加。
我们进去一看，发现
几乎所有的错误都是由这种格式的URL产生的： 网站站长工具会告诉您这些 404 链接在哪里，因此我们进入该页面以了解该 URL 是如何生成的。