SEO资讯 - 华球通

第四章：如何使用关键字

现在，您已经分析了关键字，您可以开始考虑如何在内容中使用它们许多关键词研究指南到此为止。您已找到关键字。您选择了具有最佳指标的指标。问题是：下一步做什么？在本章中，我们将介绍一些有关如何正确使用关键字的有用原理和技巧。它们与页面优化和内容策略紧密相关，但也与关键字研究非常相关。将关键字视为主题（主题集群模型）主题群代表您网站内容的基本结构。不要将文章归类为人为的类别，甚至更糟的是根本没有结构，而是按主题组织它们。这是典型的主题群集模型的方案：集群模型中有两种主要的内容类型：支柱内容-涵盖该主题的主要文章或页面- 定位更广泛的关键字集群内容–支持博客文章，详细解释子主题– 针对更具体的关键字支柱内容和支持集群的文章以上述方案中描述的方式相互链接。主题聚类模型方法增强了文章之间的语义关系。因此，它可以帮助搜索引擎更好地评估帖子的主题相关性。您可以使用该模型将关键字组织到关键字列表中，其中1个列表= 1个主题簇。这就是理论，让我们看一个具体的例子：如果您的咖啡博客上的主题集群之一专注于咖啡类型，则关键字和内容标题可能如下所示：重点关键字和支柱文章标题：咖啡类型（不同类型咖啡的终极指南）重点关键词和可能的集群文章标题：纯白拿铁（新手入门指南）如何制作浓缩咖啡（如何制作完美的浓缩咖啡）拿铁咖啡和摩卡咖啡之间的区别（拿铁咖啡和摩卡咖啡之间有什么区别？）特浓咖啡的最佳咖啡豆（市场上最好的特浓咖啡（专家点评））如果将关键字作为单独的内容主题，则会使您考虑它们之间的自然关系。您将了解，关键字研究不仅涉及搜索量和难度。首先，它应该可以帮助您了解人们在互联网上进行搜索和思考的方式。这可以帮助您创建内容全面涵盖该主题并满足用户需求的内容。选择焦点关键字选择一个代表主题的焦点关键字。不要过度使用关键字。最佳做法是在以下位置使用完全匹配关键字：标题（H1和标题标签）元描述案文第一段之一至少一个子标题在文本中几次（自然）而已。每个人都知道关键字填充是一种过时的技术。不要尝试将完全匹配的关键字填充到帖子中以满足特定的关键字密度（没有理想的数字，而且从来没有。）提示：一些SEO插件（例如Yoast SEO）建议最佳的关键字密度。以此为线索，但不要忘记用户体验。如果您的焦点关键字是“代理商的社交媒体安排”，那么在1000字的文章中使用5次会显得很不自然。还要始终考虑关键字的长度。代替关键字填充，您可以专注于所谓的LSI关键字。使用各种LSI关键字潜在语义索引是指一种特定的数学方法的术语。搜索引擎使用它来识别哪些关键字在语义上相关。 LSI关键字是与您的主要关键字紧密相关的关键字。它们通常与您的主要关键字一起出现。主题集群模型方案中使用的LSI关键字的示例主要目标不是对您使用的所有LSI关键字进行排名，而是让Google知道您涵盖某个主题的程度。这将有助于改善本文的主题相关性。根据Ahrefs的这项研究，平均排名第一的页面还将为大约1000个其他相关关键字排名：专家提示：一段时间后，请使用Search Console技术查找开始为其排名的长尾关键字。考虑如何调整内容以提高排名。同样，添加LSI关键字时要小心，仅当其自然适合文本时才使用它们。尝试针对关键字的每个变体或同义词进行优化可能与关键字填充一样有害。有一个古老的SEO笑话是这样的：尽管夸大其词是为了说明这一点，但它表明人为地使用LSI关键字并不是正确的方法。它很容易识别，并且损害了可读性。 Google算法在理解内容和了解页面内容方面变得越来越出色。您不需要使用每个关键字。撰写长篇内容 […]

第三章：如何分析关键字

现在您有了数十个关键字提示，您的主要任务是选择那些能够为您带来最大价值的关键字提示。您不想针对数百个关键字进行优化，对吗要考虑三个关键方面– 关键字的受欢迎程度，难度和相关性。我喜欢将这3个方面视为三脚架的3条腿，因此我将其称为“关键字研究的三脚架规则”（我应该注册商标：D）为什么是三脚架？因为只有在所有三个腿都具有良好的地面时，它才能保持稳定。同样适用于任何关键字：如果关键字搜索量大，难度低但与您的内容无关，则Google不会在该页面上显示该关键字。如果难度较低且关键字相关但搜索量不大，那么您将不会获得流量。如果搜索量和相关性都可以，但是难度太高，将很难超越竞争对手。 …我们都知道如果您用一只脚踩三脚架会发生什么。让我们仔细看一下这3条腿： 1.关键字的受欢迎程度关键字的普及通常意味着该搜索量 -有多少人搜索给定的短语。通常以过去12个月的月平均值计算。关键字研究工具使用两种基本的搜索量数据来源： Google数据 –来自Google关键字规划师数据库的搜索量数据点击流数据 –基于互联网用户行为的搜索量数据（从浏览器扩展，插件等收集）各种关键字工具使用不同的来源和不同的数据后处理方式。结果，搜索量值可能会有所不同。两种来源都有其优缺点，而且都不是100％准确的。注意：不要忘记，撰写良好的内容很可能会为许多其他关键字排名，并且总搜索量会更高。不要成为搜索量的奴隶，以它们为线索。您还应该通过检查关键字的长期兴趣趋势，从更长的角度来看关键字的受欢迎程度。 Google Trends是帮助您解决此问题的绝佳工具。您只需输入特定的关键字或主题，该工具就会随时间显示从1到100的兴趣。查看以下四个非常不同的趋势图示例：关键字3D电视的每月搜索量可能很高（实际上，全球每月搜索量约为2400次）。但是，如果您观察长期趋势，就会发现最近几年的兴趣正在下降。 Google趋势还可以帮助您发现关键字的季节性。季节性关键字是与一年中特定时间（夏季/冬季，假期，年度事件）绑定的关键字。在上面的屏幕截图中查看关键字花园池。夏季有自然的峰值，而冬季则兴趣较低。创建内容计划时，应考虑这一点。 KWFinder中的季节性关键字趋势图的另一个示例。最后但并非最不重要的一点是，您应考虑点击率（CTR）。点击率在很大程度上取决于您网站的位置。还有其他一些因素会影响它，尤其是丰富的摘要。这些包括： Google Ads 精选片段答案盒地图包许多其他片段这是代表有或没有Google广告的结果页中自然点击率的图表。如您所见，如果存在广告，则自然搜索结果的点击率要低得多。有一些工具可以计算丰富的摘要对自然搜索结果的影响。在估算您从关键字获得的访问次数时，可以考虑到这一点。 SERP功能对SERPChecker中计算的参与度的影响。让我们来看看三脚架的第二个腿。非常重要的一个。 2.关键字难度关键字难度是一种指标，用于估计特定关键字的排名难度。关键字难度越高，则在网站上对该关键字进行排名的难度就越大。关键字工具中使用的难度指标考虑了在第一SERP中排名的网站的权威性。 SERP中的每个网站都有一定的权限，可以通过多种方式进行计算。如果在第一个SERP中有许多低权限网站，则很有可能对该关键字进行排名。网站的权限如何计算？在大多数情况下，计算需要考虑以下两点：反向链接数 –链接到给定网站的页面数反向链接的质量 –取决于链接页面的权限和相关性有各种公认的权限指标。最受欢迎的是Moz的Domain Authority和Page Authority，以及Majestic的Citation Flow和Trust Flow。这些指标试图将网页的权威性捕获为一个数字，范围从1到100。如果您考虑所有在第一SERP中对关键字进行排名的网站的权威性，则可以估算其排名的难度该关键字。基于第一SERP中网站权限的关键字难度指标。 […]

第二章：如何寻找关键字

我的第一个关键词研究建议是：了解您的利基！关键字研究可让您更深入地了解细分市场中的子主题和重复出现的主题。在本章中，我将介绍可以在其中找到关键字的以下工具和平台： Google关键字规划师 | 关键字工具 | Google建议 | AnswerThePublic | YouTube | Google Search Console | Reddit | Quora | 论坛 | 亚马逊 | 饲料（单击以跳到特定部分）假设您有一个关于远足的博客。您不必天才，就可以知道要排名的关键字之一是“远足”或“远足径”。这些关键字（有时叫短尾关键字，尽管名称实际上并没有意义）的问题在于它们自然具有很高的竞争性。但是，如果您更深入地研究利基市场，您会发现对远足感兴趣的人可能还会使用以下关键字： “ 带心率监测器的GPS手表” “ 最佳的地理缓存Android应用程序” “走阿巴拉契亚小径需要多长时间” “徒步旅行燃烧多少卡路里” 所有这些都是所谓的长尾关键字。典型的长尾关键字具有以下属性：包含3个或更多的单词搜索量较低，但竞争通常也较低更具体=具有更高的参与度和转化率正如您在图片中看到的那样，通过长尾关键字访问的访客可能会占您获得的所有自然流量的很大一部分。互联网是一个提供信息，回答问题和解决问题的地方。您的内容策略应着眼于回答有关利基市场的所有问题。长尾关键词是找到它们的好方法。专家提示：长尾关键字代表您细分市场中的特定子主题。这并不意味着您的内容应始终遵循模式1 long-tail关键字= 1个博客文章。一个主题几乎有无数种可能的长尾组合。不可能为他们每个人创建一个帖子。取而代之的是，您可以创建一个涵盖整个主题的长格式内容，并自然地为长尾关键字排名。您将在第4章中找到有关正确使用关键字的更多信息。让我们看一下可以帮助您找到人们在讨论相关主题时自然使用的关键字的几个地方。 Google关键字规划师长期以来，Google关键字规划师一直是许多人免费使用的关键字工具。随着时间的流逝，关键字研究变得越来越复杂。如今，大多数SEO都用更高级的工具代替了GKP。要使用该工具，您需要创建一个Google Ads帐号（如果您已经拥有一个Google帐号，这将需要几秒钟的时间）。注册后，转到“ 工具-关键字规划师”。选择查找新关键字，然后输入种子关键字以获取建议。之后，您将看到一个关键字列表，该列表按与seed关键字的相关性排序。 Google关键字规划师是一款出色的工具，可为PPC广告系列提供许多有价值的数据（您可以在SEOpedia中查看我们的入门指南）。对于SEO，它提供了数百个关键字提示，但并未完全取代关键字工具。只要您记住两件事，它仍然是一个有用的工具：搜索量通常是根据近似变体关键字进行分组的。另外，除非您在Google Ads上花了足够的钱，否则您只会看到搜索量范围（例如1K – 10K）。 Google关键字规划师是Google Ads（以前称为Google AdWords）的一部分。它的竞争专栏并不反映组织上的困难，而仅反映了PPC运动中的竞争。进一步阅读 Google的新关键字规划师：SEO和PPC有什么用？关键字研究工具寻找大量关键字机会的最常见方法是使用关键字研究工具。市场上有很多工具– KWFinder，KeywordTool，Long Tail Pro等，仅举几例…… 您可能会问– 我应该为关键字研究工具付费吗？当然，答案取决于很多事情，但是我的建议是： […]

关键字研究基础

什么是关键字研究？关键字研究是SEO的一种实践，用于查找，分析和使用人们用来在互联网上搜索信息的短语。换句话说，这是要了解潜在访问者的语言，并使用这些知识来优化您的内容。为什么要进行关键字研究？因为这是最重要的SEO任务之一，也是用您的内容吸引更多人的好方法。如何进行关键字研究？好吧，本指南将为您提供帮助。您不必担心，关键字研究不是火箭科学。一旦了解了基础知识并学习了一些行之有效的策略（以及一些有用的技巧），您就可以开始了！😉 何时进行关键字研究？关键字研究通常是任何网站的搜索引擎优化的第一步。通常，在以下情况下需要它：寻找一个新的利基寻找新的内容创意优化现有内容世卫组织应该进行关键词研究吗？任何网站所有者，博客，在线营销商或SEO专家。关键字研究的简要历史人们进行关键字研究的方式已经随着时间而发展。在2000年代，关键字研究通常被简化为访问Google关键字规划师，查找搜索量最高的关键字，然后将其填充到网站文本中。什么是关键字？关键字是用户输入到搜索引擎中以在互联网上查找某些信息的任何单词或短语。由于许多人滥用它，多年来Google对其算法进行了多次更新。这些更新的目的是了解用户的需求，并为他们提供最佳的结果。影响我们进行关键字研究的方式的最重要的算法更新是： Google Panda –惩罚了较薄的低质量内容和重复文本 Google企鹅 –惩罚了关键字的不自然使用 Google Hummingbird –改进了语义搜索，并专注于搜索意图如今，关键字研究已不仅仅是找到“正确”的关键字并将其放入“正确”的位置。 Google越来越了解人们的需求。其主要目标是提供最能满足他们需求的内容。 Google RankBrain RankBrain是Google基于人工智能的算法的组成部分。它已经存在了几年，但是花了一些时间才得以完全实施。2015年，Google宣布RankBrain是第三重要的排名信号。多亏了RankBrain，Google可以了解2件事：用户如何与自然搜索结果互动查询背后的搜索意图是什么换句话说，关键词研究正变得越来越热门。不再是寻找一个理想的关键字。它是关于了解受众并以复杂的方式涵盖主题。简而言之-如果主题覆盖面广，您可以为甚至没有在文本中使用的关键字排名！你不相信我吗？找出你自己！这并不意味着关键字研究不再重要-恰恰相反。它看起来与过去有些不同。关键字研究的阶段出于本指南的目的，我将整个过程分为三个主要步骤：查找关键字分析关键字使用关键字让我们深入研究每个步骤的细节。

SEO在网站运营中的位置

谈了这么多SEO，有可能让人误解搜索引擎优化在网站运营中占很大一部分，其实搜索引擎优化只是网站运营食物链中比较低层的一个位置。我觉得从总体上来说，网站运营和SEO是这样层层包括的关系：网站运营－网络营销－网站推广－SEM－SEO 网站运营是一个总体概念，包括了设计，编程，客户服务，公司管理等。网络营销是网站运营的一部分。网络营销又包含很多内容，并不局限于网站本身的推广。网络营销还包含比如blog营销，市场定位，价格策略，销售流程的设计和优化，产品策略，电子邮件营销等。网站推广是网络营销的一部分，网站推广又包括很多方法，比如联署计划，论坛的参与，免费礼物以吸引用户，发布新闻稿等。SEM（搜索引擎营销）是网站推广的其中一种手段。 SEM主要包括SEO（搜索引擎优化）和PPC竞价广告。 SEO只是网站推广和网络营销的一小部分内容。当然，我个人觉得SEO是网站推广最有效的手法。专门招聘SEO人员的公司和网站似乎不是很多，所以做SEO的人应该把自己的知识往食物链的上层扩展，多了解网站推广和网络营销的总体知识，对职业的发展有好处，而且对SEO本身的深度和广度也有很大好处。有很多SEO技巧不能只从技术层面看，而要考虑到这些技术对网站整体营销的影响。

网站设计完再来优化?

绝大部分SEO服务客户第一次找我时都会说，我的域名是什么什么，可不可以帮我们看一下，为什么在搜索引擎里都找不到我们的网站？如果你帮我们优化需要多长时间？费用大概是多少？我想其他很多做SEO的人，遇到的客户也都是这样开始的吧。非常遗憾的是，对这些客户我首先要说的是，不用看你的网站，我就知道你已经犯了一个很大的错误，那就是你们怎么这个时候才来找我给你们优化网站呢？你们应该在还没有设计网站之前就找SEO人员呀！这是一件没办法的事，99％的人都在网站运行一段时间后，流量却没什么大的进步时，才想起是不是需要推广，才考虑搜索引擎优化或其他网站推广手段。很少有人在设计网站之前，就把搜索引擎优化及网络营销作为网站整个规划的有机组成部分。实际上如果能在网站还没设计，内容还没开始写的时候，就找SEO专业人员参与，那么整个搜索引擎优化所要花的时间，精力，金钱都能节省很多。举几个例子。我经常看到客户的电子商务网站，是用很流行的购物车shopping cart系统建成的。而大部分这些现成的电子商务系统都不太考虑搜索引擎友好问题，网址里面会夹杂着大量的问号，参数，Session ID等。虽然搜索引擎爬行能力在不断提高中，对这类URL也可以抓取不少，但毕竟效果不如静态URL好。而且如果网站PR值低的话，很可能这些产品网页都不能被收录。如果在网站筹划阶段就有搜索引擎优化专业人员参与的话，这个问题并不难解决，而且是每个搜索引擎优化人员都肯定会提醒设计和编程人员的。如果网站已经建好再来优化，可能要重写程序或修改程序，而且可能会造成复制网页。再比如，一个合格的搜索引擎优化专业人员必然会对网络营销有整体的把握。客户在规划网站的时候，如果能有SEO人员参与，那么对网站的盈利模式确认，网站销售流程的优化，网站内容的写作，搜索引擎优化人员都会提出非常有价值的建议。

网站排名第一不总是好事

所有的网站管理员都希望自己的网站在搜索目标关键词时排在搜索结果的第一名，或至少前几名。但不知道有多少人想过，网站排名第一所带来的坏处。首先，看到这个问题可能大部分人会想到的是枪打出头鸟。你的网站排到第一，就会有更多的人抄袭你的内容就会有竞争对手试图用各种方法陷害你就会引来搜索引擎的注意，没准就会人工封掉你的网站就会有人研究你的优化SEO技术，然后模仿你，干掉你等等等等这些情况每天都实实在在的发生着。不过我所说的网站排名第一的坏处倒不是指这些，因为这些在很大程度上是可以预防和克服的，只要你不使用黑帽优化手段。这里想提醒大家的是，网站排名第一所要承担的巨大风险，那就是不定哪一天你的网站可能会消失的无影无踪。所有的搜索引擎都在不停的改进它们的排名算法，这种改进一方面是提高搜索质量，另一方面其实也是为了对付搜索引擎优化。我们都知道Google以前会每个月进行一次算法更新，近两年来，算法更新变得没有规律，但是每次更新幅度都很大。成千上万的网站从第一名掉到第十名，第五十名，甚至完全找不到。其他搜索引擎也同样，他们随时有可能会改变排名算法，加入某个反垃圾技术等等。不可避免的有些网站排名就会掉下去，有些网站会取而代之。如果你的网站是原本排名第一，然后消失的无影无踪的话，你做好准备了吗？我看过太多网站经营者因为搜索排名下降，而不得不裁员，减薪，甚至倒闭。尤其是连续两年在圣诞节前，Google都会进行一次大的算法更新，导致大量网站失去排名。很多电子商务网站经营者会依据他们从搜索引擎(以Google为主)所得到的流量，来安排计划他们的库存，人员，现金周转，产品研发等等运作环节。一旦搜索排名下降，对这些企业所造成的打击是灾难性的。这种搜索排名下降带来的风险，在下面两种情况下就显得更为突出。 1）整个电子商务模式依靠来自搜索引擎的流量，而没有完整的网络营销规划。 2）网站在最主要的目标关键词下排名第一，却缺少大量的次要甚至微不足道的关键词排名(所谓”长尾效应”，Long Tail)，而这正是很多网站的运行模式。一旦你的最重要的关键词排名下降，你将怎么处理？这是必须未雨绸缪的事情。或者换另一个角度来说，你的搜索引擎优化规划中，是否包含了怎样预防这种现象的出现。

优化网站销售流程

在什么是真正的SEO一文里，我提到SEO工作者应该帮助客户优化网站的销售流程。有读者问具体指的是什么意思，在这里解释一下。首先，任何一个网站都肯定有它的目标。网站设计者和推广者在开始工作之前，都必须要非常清楚这个目标是什么。无论是商业网站还是个人网站或是什么其他网站，都有它的目标。比如对一个商业网站来说，它的目标可能是提高在线销售量。有的以内容为主的网站，它的盈利模式就是靠卖广告，那么它的目标就是提高网页浏览量。有的网站目标是让来访者留下email地址。有的时候网站的目标对用户不一定很明显，但是对设计者和推广者来说，这个目标却必须要非常清楚。在明确了网站的目标之后，对网站所进行的所有工作，都是想让用户做某些行为来达到你的网站目标。我把这个你最希望用户所做的行为称作目标行为。比如对一个直接在线销售商品的网站，你希望用户所做的行为就是把商品放入购物车，然后付款。有很多网站的目标行为不一定和直接销售有关，比如很多网站是通过吸引用户订阅它的电子杂志或邮件列表，然后再通过连续的邮件来说服他们去买一些东西，那么这个目标行为就是说服用户把他的名字和电子邮件交给你。如果你的网站卖的东西是必须要见面沟通的服务，那么目标行为有可能是让客户拿起电话，直接和你联系。如果你的网站主要是靠卖广告赚钱，那么你的目标行为可能就是让读者点击下一篇文章，以达到更多的浏览量。不管你的目标行为是什么，你在网站上所做的工作是不是都在把用户导向这一目标行为？这就是优化网站的销售流程。当然这种导向不能是生硬的，而必须是自然而然的，不能让用户反感。比如说，如果你卖的是某种服务，目标行为是让客户给你打电话。那么在你的网站上，你的电话号码好不好找？在你的每一篇文章或每一个网页里面，是不是或多或少的提醒客户，他们可以打电话联系你？再比如，如果你的网站是直接在线销售商品，当用户对某一个产品满意的时候，放入购物车按钮是不是很明显的在网页上？是不是在客户需要的时候，就能找到它？你的付款程序是不是简捷，清楚，安全？对一个真正的搜索引擎优化工作者来说，如果他发现客户的网站在把用户导向目标行为，以达到网站目标的过程中有重要问题，就有责任向客户提出来，并想办法解决这个问题。

怎样减少无效URL的爬行和索引 – 无完美解

简单说，帖子指出一个严重而且现实的SEO问题：很多网站，尤其是B2C，产品条件过滤系统（如选择产品的品牌、价格、尺寸、性能、参数等）会产生大量无效URL，之所以称为无效只是从SEO角度看的，这些URL并不能产生SEO作用，反倒有负面作用，所以这些URL不收录为好，原因包括：大量过滤条件页面内容重复或极为类似（大量复制内容将使网站整体质量下降）大量过滤条件页面没有对应产品，页面无内容（如选择“100元以下42寸LED电视”之类的）绝大部分过滤条件页面没有排名能力（排名能力比分类页面低得多）却浪费一定权重这些过滤条件页面也不是产品页面收录的必要通道（产品页面应该有其它内链帮助爬行和收录）爬行大量过滤条件页面极大浪费蜘蛛爬行时间，造成有用页面收录机会下降（过滤条件页面组合起来是巨量的）那么怎样尽量使这些URL不被爬行和索引、收录呢？前几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题，这种过滤页面就是想隐藏的内容种类之一。不过可惜，我目前想不出完美的解决方法。云晨守望提出两个方法，我觉得都无法完美解决。一是将不想收录的URL保持为动态URL，甚至故意越动态越好，以阻止被爬行和收录。但是，搜索引擎现在都能爬行、收录动态URL，而且技术上越来越不是问题。虽然参数多到一定程度确实不利于收录，但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录，所以不能当作一个可靠的方法。而且这些URL接收内链，又没有什么排名能力，还是会浪费一定权重。第二个方法，robots禁止收录。同样，URL接收了内链也就接收了权重，robots文件禁止爬行这些URL，所以接收的权重不能传递出去（搜索引擎不爬行就不知道有什么导出链接），页面成为权重只进不出的黑洞。连向这些URL的链接配合nofollow也不完美，和robots禁止类似，nofollow在Google的效果是这些URL没有接收权重，权重却也没有被分配到其它链接上，所以权重同样浪费了。百度据称支持nofollow，但权重怎么处理未知。将这些URL链接放在Flash、JS里也没有用，搜索引擎已经可以爬行Flash、JS里的链接，而且估计以后越来越擅长爬。很多SEO忽略了的一点是，JS中的链接不仅能被爬，也能传递权重，和正常连接一样。也可以将过滤条件链接做成AJAX形式，用户点击后不会访问一个新的URL，还是在原来URL上，URL后面加了#，不会被当成不同URL。和JS问题一样，搜索引擎正在积极尝试爬行、抓取AJAX里的内容，这个方法也不保险。还一个方法是在页面head部分加noindex+follow标签，意即本页面不要索引，但跟踪页面上的链接。这样可以解决复制内容问题，也解决了权重黑洞问题（权重是可以随着导出链接传到其它页面的），不能解决的是浪费蜘蛛爬行时间问题，这些页面还是要被蜘蛛爬行抓取的（然后才能看到页面html里的noindex+follow标签），对某些网站来说，过滤页面数量巨大，爬行了这些页面，蜘蛛就没足够时间爬有用页面了。再一个可以考虑的方法是隐藏页面（cloaking），也就是用程序检测访问者，是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接，是用户的话才返回正常的有过滤条件的页面。这是一个比较理想的解决方法，唯一的问题是，可能被当作作弊。搜索引擎常跟SEO讲的判断是否作弊的最高原则是：如果没有搜索引擎，你会不会这么做？或者说，某种方法是否只是为了搜索引擎而采用？显然，用cloaking隐藏不想被爬行的URL是为搜索引擎做的，不是为用户做的。虽然这种情况下的cloaking目的是美好的，没有恶意的，但风险是存在的，胆大的可试用。还一个方法是使用canonical标签，最大问题是百度是否支持未知，而且canonical标签是对搜索引擎的建议，不是指令，也就是说这个标签搜索引擎可能不遵守，等于没用。另外，canonical标签的本意是指定规范化网址，过滤条件页面是否适用有些存疑，毕竟，这些页面上的内容经常是不同的。目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe，等于调用其它文件内容，对搜索引擎来说，这部分内容不属于当前页面，也即隐藏了内容。但不属于当前页面不等于不存在，搜索引擎是可以发现iframe中的内容和链接的，还是可能爬行这些URL，所以加robots禁止爬行。iframe中的内容还是会有一些权重流失，但因为iframe里的链接不是从当前页面分流权重，而只是从调用的那个文件分流，所以权重流失是比较少的。除了排版、浏览器兼容性之类的头疼问题，iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊，很多广告就是放在iframe中，但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊的总原则上，很难说这不是专门为搜索引擎做的。记得Matt Cutts说过，Google以后可能改变处理iframe的方式，他们还是希望在同一个页面上看到普通用户能看到的所有内容。总之，对这个现实、严重的问题，我目前没有自己觉得完美的答案。当然，不能完美解决不是就不能活了，不同网站SEO重点不同，具体问题具体分析，采用上述方法中的一种或几种应该可以解决主要问题。而最最最大的问题还不是上述这些，而是有时候你想让这些过滤页面被爬行和收录，这才是杯具的开始。以后再讨论。

爬行、抓取、索引、收录，指的都是什么？

看SEO有关博客和论坛时能感觉到，很多SEO并没有理解爬行、抓取、索引、收录这些概念到底指的是什么，区别在哪，noindex、nofollow、robots文件的功能又是什么。对这些概念没有精准理解，处理大型网站结构，决定什么页面需要被抓取，什么需要被索引，哪些页面需要禁止抓取、索引等等情况时，就很难明白该怎么做。甚至就像抓取配额那篇帖子的很多留言说的，提到这些情况的处理时，根本看不懂在说什么。这么基本、重要，又比较容易混淆的SEO概念，我以为以前在博客里写过了，看了留言，翻翻以前帖子才知道，原来以前没写过。SEO实战密码书里是有写的，但SEO每天一贴里并没有写过。今天补上。爬行是什么？爬行指的是搜索引擎蜘蛛从已知页面上解析出链接指向的URL，然后沿着链接发现新页面（也就是链接指向的URL）的过程。当然，蜘蛛并不是发现新URL马上就爬过去抓取新页面，而是把发现的URL存放到待抓地址库中，蜘蛛按照一定顺序从地址库中提取要抓取的URL。抓取是什么？抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL，访问这个URL，把读取的HTML代码存入数据库。蜘蛛的抓取就是像浏览器一样打开这个页面，和用户浏览器访问一样，也会在服务器原始日志中留下记录。索引是什么？索引指的是将一个URL的信息进行整理，存入数据库，也就是索引库，用户搜索时，搜索引擎从索引库中提取URL信息并排序展现出来。索引的英文是index。索引库是用于搜索的，所以被索引的URL是可以被用户搜索到的，没有被索引的URL用户在搜索结果中是看不到的。要注意的是，所谓“一个URL的信息“，并不限于蜘蛛从URL上抓取来的内容，还有来自其它来源的信息，如外部链接、链接的锚文字等。有的时候，索引库中关于这个URL的的信息，根本没有从这个URL抓取来的内容，但搜索引擎知道这个URL的存在，并且有一些其它信息。抓取和索引不是一回事。收录是什么？我个人觉得收录和索引没有区别。只不过收录是从搜索用户角度看的，搜索时能找到这个URL，就是这个URL被收录了。从搜索引擎角度看，URL被收录了，也就是这个URL的信息在索引库中存在。英文并没有收录这个词，和索引用的是同一个词index。 noindex的作用是什么？页面头信息中放上meta noindex标签是告诉搜索引擎不要索引这个URL，也就是用户搜索时找不到这个URL的信息，这个URL不会返回在搜索结果列表中。 noindex不是告诉搜索引擎不要抓取这个URL，实际上，noindex要起作用，这个URL是必须先被抓取的，不然搜索引擎怎么看到页面HTML代码中有noindex标签呢？ robots文件的作用是什么？ robots文件是告诉搜索引擎，某些URL不要抓取。注意，这里说的是不要抓取，没说不要索引。和noindex是正相反的。 nofollow的作用是什么？给链接加上nofollow属性是告诉搜索引擎，不要沿着这个链接爬行，就当这个链接不存在。注意，nofollow只是告诉蜘蛛不要爬这个链接，没有说不要抓取链接指向的URL，也没有说不要索引链接指向的URL，nofollow既没禁止抓取，也没禁止索引。概念说过后，指出几个SEO们经常弄不明白的情况：没有被抓取的页面是可以被索引的也就是说，蜘蛛没有访问和抓取这个页面（比如被robots文件禁止抓取），这个页面却有信息存在索引库中，用户搜索时还能看到。比如，淘宝整个网站用robots文件禁止百度蜘蛛抓取，但没有用noindex禁止索引（如上面说的，禁止抓取后，就没办法禁止索引了，不抓取，就看不到noindex标签了），所以即使百度没有访问和抓取淘宝页面，但淘宝很多页面是被百度索引的，用户可以搜到的：百度从网上那么多链接知道淘宝首页的存在，通过链接的锚文字也知道这个页面标题大概是淘宝之类的，当然更知道百度口碑里的评价数。所以即使百度蜘蛛没有抓取淘宝首页，用户还是能搜到，并且显示一些百度知道的信息。要想百度不能返回淘宝首页该怎么办呢？取消robots文件的禁止抓取，页面上用noindex禁止索引。被抓取的页面是可以不被索引的最常见的就是上面说过的，页面头信息使用noindex禁止索引，页面被抓取，读到noindex后，不被索引，不会在搜索结果中返回。老页面新加noindex也不是马上删除索引，还会保留索引一段时间，但不会返回在搜索结果中。加了noindex的页面上的链接是可以被跟踪一段时间的，但时间长了，有noindex的页面搜索引擎可能就不再抓取和索引了，上面的链接也就无效了。还有可能是因为页面内容是抄袭、转载、低质量的，搜索引擎虽然抓取了页面，索引过程中检测出这些内容问题，被丢弃，没有被索引。所以页面没有被收录，通常要先检查原始日志，看看是否被抓取过，如果被抓取过，可能是内容质量问题，如果根本没被抓取，建议先看看网站结构是否有问题。加了nofollow的链接目标页面可以被抓取和索引前面说了，nofollow既不禁止抓取，也不禁止索引。nofollow的作用是告诉蜘蛛不要跟着这个链接爬，就当这个链接不存在，但nofollow只对这个链接起作用，对别的链接没作用，这个链接加了nofollow，不意味着别的地方就没有正常的指向这个URL的链接，只要别的地方出现了没加nofollow的链接，目标URL还是会被发现、抓取（假设没被robotx文件禁止）、索引（假设没加noindex )。上面这些概念和应用在SEO中是很重要的，如果还没看懂，我也不知道该怎么再解释了，只能建议再多读几遍。

技术部门SEO规范

为客户提供SEO 为客户提供顾问服务的时候，经常遇到一些作为外部顾问不方便全程参与的情况。比如有的公司要新建网站，或者现有网站推到重来，问我能否从一开始就参与，提供SEO建议。网站规划设计阶段就考虑SEO当然是好事，但作为一个远在异国的顾问，参与到这种需要大量深度讨论、沟通、协调的过程中，实在是不好操作，内部SEO人员更适合这种工作。有的客户公司规模比较大，技术开发、内容、SEO等各部门是分开的，SEO部门的很多需求是要提交给技术、运营等部门实施的。反过来，其它部门的需求也由技术部门实施，但可就不一定经过SEO部门同意了。这个过程中就可能产生对SEO的不良影响。也有的公司人员流动频繁，即使原先的开发人员都经过SEO培训，也还是会有完全不了解SEO的新人加入团队。这些情况都需要有一个技术部门必须遵守的SEO规范，开发网站或修改网站时，即使不与SEO部门协同，也至少不能违反SEO规范，以防产生灾难性的后果。以前为客户写过一些技术部门SEO规范，现在简单整理更新一下，分享给大家，希望对其它公司也有帮助。技术部门SEO规范注：本SEO规范适用于公司所有新建网站及对现有网站的更新、改版。本SEO规范不是建议，是强制性规定。编程、前端、运维等技术相关部门务必遵守。对本SEO规范中的内容有疑义时，请与SEO部门沟通，不可自行解释有疑义部分。域名及服务器相关只解析公司因业务需要决定开通的子域名。未开通子域名一律不解析。不要使用泛解析（以通配符*代替子域名）。不能有两个或两个以上域名显示同样网站内容（无论以哪种方式实现，如解析至相同根目录、上传同样文件和数据库）。用于测试的子域名使用robots文件禁止搜索引擎抓取。未完成内容的网站、栏目不得上线。不存在页面必须返回404代码。每个月使用线上工具确认不存在页面服务器头信息。服务器开启gzip压缩。 4XX、5XX类服务器头信息不正常增多，及时通知SEO部门进行进一步检查。新站一律使用https。开通子域名，需与SEO部门提前沟通并获得同意。网站结构和URL URL一经确定上线，不得在没有得到SEO部门同意和提供对应机制的情况下，对URL做任何改动。除了已规划禁止搜索引擎抓取和收录的内容外，网站所有URL一律静态化。站内搜索结果页面使用robots文件禁止搜索引擎抓取。网站栏目与URL目录需一一对应，一级分类对应一级目录，二级分类对应二级目录。最多分级至二级目录，如果产品/页面数需要三级以上分类，请先与SEO部门沟通导航和内部链接解决方案。栏目/目录URL以斜线结尾，后面不要加index.php之类文件名。栏目名、文件名等URL中的字母一律小写。 URL中不要出现除了短横线之外的其它任何特殊字符。除栏目需要，URL中不得添加其它多余目录层次。无论中英文网站，URL目录名使用相应英文单词，长度以3个英文单词为限。不使用中文或拼音。也可以考虑使用数字/字母编号。英文网站，产品/文章页面文件名使用产品名称/文章标题，去掉虚词。中文网站，产品/文章页面文件名使用数字/字母编号。同一个产品不要放置于多个分类之下，只置于一个分类。所有页面加canonical标签。如果不确认canonical标签列出的规范化URL应该是哪个，请与SEO部门咨询。所有页面加面包屑导航。页面元素页面Title标签、Description标签、H1文字按格式自动生成缺省版本，但系统需要给SEO部门预留人工填写功能。一个页面只使用一次H1。栏目页面Title缺省格式：二级栏目名称 – 一级栏目名称 – 网站名称栏目页面翻页Title缺省格式：二级栏目名称 – 一级栏目名称 – 网站名称 – 第X页产品页面Title缺省格式：产品名称 – 网站名称 […]

关于SEO技术规范的一些说明

通常博客帖子的留言比较泛泛而谈，没那么具体，也比较少需要回复。上星期的帖子《技术部门SEO规范》则有不少对其中一些技术点很具体的疑问，所以写个帖子回复一下。作为SEO技术规范，只是列出了应该做什么和不应该做什么，没有解释原因，所以确实会使有些读者不明所以。有的地方是个人偏好，或者有不同解决方法，只是选择其一，不一定要按我写的规范这样处理。重要的是，选择一种处理方法，就要保持一致性，各个地方都要遵循同样原则，所有技术人员都要用同样方法，不要各行其是，结果出现矛盾的处理方法。静静的民心河问： Zac老师做了这么详细的规范，这些一般都适用于大公司的大型网站吧？一些小公司的感觉很多都实现不了呀！小公司的网站，有什么更好的规范建议吗？答：和网站大小没关系，规范是一样的。其中并没有什么小公司不能实现的，实际上，小公司没那么多层级、条条框框，更容易实现。技术上，真没有什么什么能称得上是技术的东西，都是最基本的。乐梵问：栏目页面翻页Title缺省格式：二级栏目名称 – 一级栏目名称 – 网站名称 – 第X页不应该为栏目页面翻页Title缺省格式：二级栏目名称 – 第X页 – 一级栏目名称 – 网站名称么？答：都行。title太长的话，去掉一级栏目名称也可。重要的是带上页码，使标题有所区别，让用户和搜索引擎都知道自己在哪。 Betty问：「站内搜索结果页面使用robots文件禁止搜索引擎抓取。」请教这是为什么呢？是防止重复内容吗？那种文章列表翻页页面好像差不多呀，为什么就可以呢我自己上网时候经常会搜到这种结果页面，感觉还蛮能带来流量的答：搜索引擎并不喜欢收录站内搜索结果页面。原因很多，比如你说的重复内容问题。还有用户体验问题，搜索引擎希望把用户直接带到最终回答查询的页面，而不是另一个搜索引擎页面。还有内容质量问题，一些搜索结果页面根本就是空的，没有符合条件的搜索结果。另外，如另一位读者sindy回答的，有时候搜索结果页面会被黑帽利用，搜索一些敏感关键词，让搜索引擎收录结果页面，或者做自己的广告，或者陷害竞争对手等等。具体例子可以看以前的百度处理垃圾外链问题帖子。文章列表是网站必须的内部结构，没有列表，用户和搜索引擎都无法访问最终页面。形式差不多，实质是不同的。你在网上搜到的这种结果页面，通常是以聚合或tag页面显示展现的，实质确实就是搜索结果页面。但这种页面的使用首先要有海量内容为基础，词库的选择、搜索结果质量的控制等都是要谨慎计划、监控和调整的。所以，不是不能用，是技术部门不能没有和SEO部门商议就随意使用，或者说，缺省设置是，先别用，和SEO部门商议出好的方案，再用。 Cici问：栏目页面翻页Title缺省格式：二级栏目名称 – 一级栏目名称 – 网站名称 – 第X页翻页格式不太了解是什么意思呢？其次，关于页面title是否要与这个产品页面的名称一致问过几个老师，有的说最好不一致，有的说一定要一致。我看到Zac说产品页面title就是产品名称 – 网站名称，是否意味着，页面title也要与产品名称保持一致？答：翻页指的是，每个栏目，比如显示20篇文章，栏目下多于20篇，页面下边肯定要有下一页、第二页、第三页之类的链接，那些页面就是翻页。从第二页开始，翻页页面的标题要带上页码。不一定一致。所以系统要有人工改写title的功能。但缺省的设置通常是title就是产品名称，这个最容易实现，后期再挑重要页面人工改写。梦站博客问： URL结尾以html结尾和非html结尾有什么区别么？搜索引擎对结尾有什么要求么？答：没区别，搜索引擎也没有要求或偏好。之所以建议目录以斜杠 / 结尾，产品、文章以html结尾（或者php结尾，或者htm，都一样），只是让自己和用户一看URL就知道这是个目录还是产品页面。有的网站和CMS系统产品/文章页面也是以斜杠结尾的，对搜索引擎没什么区别。 robin.wong问： “中文网站，产品/文章页面文件名使用数字/字母编号” 比较疑惑：您自己的此页面的url命名没用数字或者字母啊？答： […]