Shopify SEO基础技术：抓取、索引和排名（下）

今天，我们将向你展示如何利用内部链接、robots.txt 文件和 XML 站点地图来帮助 Google 更快、更有效地抓取你的 Shopify 商店并为其编制索引。

Shopify 和 robots.txt：你需要知道的一切

简单地说，robots.txt 是一个简单的文本文件，它告诉 Google 你网站的哪些页面要抓取，哪些不要抓取。

一般来说，SEO 不需要 robots.txt 文件。但是，拥有 robots.txt 有几个不容忽视的好处：

• 它可以防止 Googlebot（和其他搜索引擎抓取工具）抓取和索引包含敏感信息的页面（例如，登录/注册页面、帐户页面等）。
• 它可以防止 Googlebot 抓取和索引没有 SEO 权重的页面和资源（例如，“谢谢”页面、预览页面、pdf 文件（例如，产品手册）等）。
• 它可以防止 Googlebot 抓取薄内容页面或包含重复内容的页面。
• 它可以帮助搜索引擎更轻松地找到你的站点地图（robots.txt 文件包含指向站点地图的链接）。
• 它可以帮助 Google 更快、更有效地抓取你的网站并将其编入索引。
• 它可以优化你的抓取预算（通过确保 Google 不会抓取不应抓取和编入索引的网页）。

你需要了解的有关 Shopify 和 robots.txt 的信息：

在我们进一步讨论之前，让我们解释一下每个指令（即 robots.txt 文件中的每一行）的含义：

• “User-agent”指令指定指令适用于哪个爬虫。换句话说，如果在“User-agent”指令（例如“User-agent：Googlebot”）中指定了用户代理，则该用户代理（例如“Googlebot”）应遵循说明，但不同的代理（例如，“Bingbot” - Bing 的爬虫）应该继续寻找更具体的指令。如果未指定用户代理（如上述情况），则所有搜索引擎机器人（或爬虫程序）都应遵循这些说明。
• “允许”指令仅适用于 Googlebot。它告诉 Googlebot 它可以访问特定网页或子文件夹，即使其父页面或子文件夹可能被禁止。
• “禁止”指令告诉搜索引擎机器人不要抓取和索引哪些页面。
• “站点地图”指令将搜索引擎机器人指向你的 XML 站点地图的位置。
• “Host”指令包含你主页的 URL（即你的主域名）。

现在你对 robots.txt 的工作原理有了更好的了解，以下是你需要了解的有关 robots.txt 文件和 Shopify 的信息：

• Shopify 会自动生成你的 robots.txt 文件。
• 你的 robots.txt 文件位于你网站主域名的根目录中。要访问它，只需在主页的 URL 中添加“/robots.txt”，例如“https://www.yourshopifystore.com/robots.txt”
• 你的 robots.txt 文件由 Shopify 维护。这意味着你无法编辑其内容。但是，如果你不希望 Google 访问你的 robots.txt 文件中未禁止的特定页面，你可以使用“noindex”元标记隐藏它们 - 一行代码告诉搜索引擎不要索引特定的页。实现“noindex”元标记需要技术知识，因为你需要自定义 theme.liquid 布局文件。

如果你不精通技术并且不熟悉 Shopify Liquid，最好联系Shopify 专家并请求帮助。

此外，你可以使用像Smart SEO这样的 Shopify SEO 应用程序——Smart SEO只需单击一下按钮即可将“noindex”标签添加到页面。

• 你可以通过注册一个免费的Google Search Console帐户来监控你的 robots.txt 文件阻止了哪些页面。

如果你注意到你的结账页面已被你的 robots.txt 文件阻止，不必担心 - 它不需要为 SEO 排名。此外，通过不抓取你的结帐页面，搜索引擎机器人有更多时间抓取你网站上更重要的页面（例如，你的主页、类别页面、产品页面、博客和文章页面等）。

但是，如果你的 robots.txt 文件阻止了直接影响你的底线的页面（即类别页面、产品页面等），你应该担心。通常，发生这种情况的几率几乎为 0%（因为 Shopify 会自动创建和管理你的 robots.txt 文件）。如果是这样，请立即联系 Shopify 支持团队。

Shopify 和 sitemap.xml：你需要知道的一切

你的 XML 站点地图为 Googlebot（和其他搜索引擎机器人）提供有关你 Shopify 商店中的网页和资源（例如媒体文件、pdf 等）的信息。基本上，它是你网站上最重要的页面和资源的综合列表。你的站点地图还包含有关你的网页的重要信息（例如，它们上次修改的时间、包含的图像数量、它们与其他页面或资源的关系等）。

站点地图的目的是帮助 Google 更快、更有效地抓取你的网站。

与 robots.txt 文件类似，拥有站点地图并不是绝对必要的 - Google 将能够在没有其帮助的情况下抓取你的网站（尤其是在你制定了强大的内部链接策略的情况下）。但是，拥有站点地图肯定会让你受益。特别是在以下情况下：

• 如果你有一个大型目录商店。想象一下，必须互连 1000 多个（甚至 100 个）产品页面……不可能，对吧？
• 如果你的 Shopify 商店是新的，并且它的反向链接和互连仍然很少。
• 如果你的 Shopify 商店包含大量媒体文件，例如视频和图像。
• 如果你上传了大量 pdf 文件（例如，产品手册或说明）。
• 如果你发了很多文章。
• 此外，拥有站点地图意味着 Googlebot（和其他搜索引擎抓取工具）会更频繁地抓取你的网站。

你需要了解的有关 Shopify 和 XML 站点地图的信息：