Kondo 方法用于 SEO 的 KonMari 到来

Hasna268

但是，应该记住，Robots.txt 文件应该始终简短、精确且非常清晰。 3.最严重的错误：阻塞有用的资源 从这些前提我们还可以理解错误使用robots.txt文件的最坏后果，即阻止抓取网站的有用资源和页面，而这些资源和页面应该完全被Googlebot和其他抓取工具完全访问以用于项目的业务。这似乎是一个微不足道的错误，但实际上经常会发生潜在竞争性 URL 被阻止的情况，要么是无意中，要么是由于对该工具的了解不足。 了解如何使用 robots.txt 文件 正如我们所说，该文件可以成为任何SEO 武器库中的强大工具，因为它是一种有效的方法，可以控制并可能限制搜索引擎爬虫和机器人访问网站的某些区域或用户发现的不提供价值的内容。搜索。 但是，您需要确保了解robots.txt 文件的工作原理，以避免意外阻止 Googlebot 或任何其他机器人抓取整个网站，从而在搜索结果中找不到它。 4.利用文件隐藏机密信息 robots.txt 文件是公开的，一般专家用户都可以查看：考虑使用该系统隐藏机密页面或包含用户数据的页面是一个概念错误，也是一个耸人听闻的错误。

为了实现这一目标，必须使用其他系统，首先是使用凭据的保护方法。 5. 尝试阻止页面被索引 我们还在另一篇文章中讨论过： robots.txt 文件的有用性和功能经常被误解，并且人们认为禁止 URL 可以阻止资源出 WhatsApp 号码数据 现在搜索结果中。相反，阻止 txt 页面不会阻止 Google 将其编入索引，也不会从索引或搜索结果中删除该资源，特别是当这些 URL 是从“开放”页面链接时。 这种类型的误解会导致 URL 出现在 SERP 中的“禁止”中，但没有正确的标题和正确的元描述（出现错误消息的字段）。 6. 在没有索引标签的页面上使用disallow 类似的误解也与您想要阻止的资源有关，涉及在已经具有 noindex 元标记设置的页面上使用Robots.txt 中的 disallow 命令：在这种情况下，结果与所需的结果完全相反！ 事实上，机器人无法正确读取阻止页面索引的命令，因此可能会生成一个矛盾的情况：带有 noindex 元标记的 URL 可以在 SERP 中索引和定位，因为 robots.txt 中不允许。 txt 文件使其他指示无效。防止页面出现在搜索结果中的正确方法是设置 noindex 元标记并允许机器人定期访问该资源。



7. 屏蔽带有其他标签的页面 仍然存在这种类型的错误，我们还提到限制对具有rel=canonical或nofollow元标记的页面的访问：如上所述，阻止 URL 可以防止爬虫读取页面的内容以及命令集，包括刚刚的重要命令引用。 因此，为了让Googlebot等能够准确读取和考虑URL的状态码或元标记，有必要避免在Robots.txt中屏蔽这些资源。 8. 不检查状态码 继续讨论与此工具相关的一些技术方面，有一个元素需要注意，即页面的状态代码。正如Google 开发者指南中所报道的，可以通过扫描生成各种 HTTP 结果代码，准确地说： 代码2xx，成功 在这种情况下，您会收到“有条件允许”扫描指令。 3xx（重定向） 通常，Google 会遵循重定向，直到找到有效结果或识别出循环。然而，根据所传达的信息，重定向尝试存在最大次数（例如，HTTP/1.0 的 RFC 1945 文档允许最多5 次重定向），超过该次数，进程将停止并返回 404 错误。