如何从 Google 的搜索索引中批量删除 URL?谷歌的索引庞大而庞大,有时他们需要一点帮助来跟上它。如果您想从索引中删除 URL 列表,有几种方法可以解决,但它们都以 Google Remove URLs Tool 为中心。
删除 URL 的选项
当您想从 Google 的索引中删除内容时,您需要探索几个不同的选项。让我们来探索一下。
首先是你必须回答的两个问题。
- 您是否拥有要删除的内容?
- 您希望将内容从搜索索引中删除,还是完全从网络中删除?
这些问题的答案将指导您必须遵循的过程。我将在各自的部分中探讨每一个。
您拥有内容并希望将其从索引中删除
如果您拥有或控制要删除的内容,并且希望将其从 Google 搜索索引中删除,则可以使用官方的 Google URL 删除工具。但是,为了从索引中删除内容,您需要先将其从您的网站中删除。
有几种方法可以做到这一点。第一种是填写删除请求,而不是将其从您的网站上永久删除。我们在这里更详细地介绍了影响和过程,但有一些怪癖。
对于临时删除,您可以改用此工具。另一个工具用于永久移除。临时删除会持续大约 90 天,之后如果内容仍以可见形式存在于网络上,则会重新编入索引。一旦页面被删除,您可以通过提交重新包含请求来撤消删除。
Google 有一些使用该工具的指南。
- 切勿使用它来清理损坏的页面、过时的 URL 或系统页面。Google 足够聪明,可以在再次抓取它们时从其索引中删除它们,尤其是在您实施了正确的 HTTP 代码的情况下。
- 切勿使用它来清理对您网站不利的页面。那些页面仍然存在,所以惩罚仍然存在。
- 切勿使用它来尝试废弃您的网站并重新开始。如果您的网站完全改变,Google 会自行从头开始重新编制索引。如果您要购买和清理网站,请实施您的更改,然后提交重新审核请求。
- 切勿在被黑客入侵后使用它来隐藏您的网站。有更合适的方法来处理受感染的站点。
- 切勿使用它来“制作”您网站的理想版本。规范化是合适的工具。
如果您希望永久删除该内容,则需要将其从您的网站中删除或限制 Google 对其的访问。把它放在登录屏幕后面,使用元指令来实现 NoIndex,或者删除页面将完成这个任务。
请注意,使用 NoIndex 并不能保证将内容从索引中隐藏。Google 不会将您自己网站上的内容编入索引,但如果另一个网站链接到具有足够描述性文本以创建搜索结果的未编入索引的页面,他们仍可能会创建搜索结果。因此,您通常希望完全隐藏内容。
您拥有内容并希望将其从网络中删除
如果您希望从网络上完全删除内容,以便即使他们拥有 URL,也没有人可以访问它,无论它是否来自 Google,您都可以这样做。由于您可以控制页面,因此这在您的权力范围内。您有多种选择。
- 将内容放在受密码保护的登录屏幕后面。如果用户和 Google 无法登录查看它,它实际上已经消失了。
- 从您的站点中删除内容。这最终会将其从索引中删除,并立即从网络中删除,但 Google 索引或 Web Archive 等网站上的缓存版本除外。您需要联系 Web Archive 或任何其他托管缓存版本的站点以要求删除。谷歌会在一段时间后自行将其从缓存中删除,或者您可以使用选中“从缓存中删除”的 URL 删除请求。
如果您控制该信息页但不拥有该信息页(例如您的内容出现在 Google+ 或 Google 购物中),您仍然可以删除该信息页或将其从该 Google 资产中移除。每个 Google 资产都有自己的流程,您需要查找最相关的流程。
您不拥有内容并希望将其从索引中删除
如果您不拥有要从搜索索引中删除的内容,您可能无法将其删除。Google URL Removal 工具仅在您是该网站的所有者时才有效,因此您将无法使用它。您的选择是有限的。
如果该内容在网络上不存在,但仍存在于搜索索引或缓存索引中,您可以使用删除过期内容工具提交删除。这基本上只是帮助谷歌抓取,通知他们某个页面已经消失,应该从搜索结果中删除。
如果内容仍然存在并且您希望将其删除,则您可能无法这样做。如果您不拥有内容,Google 不会应您的要求删除内容,除非您是内容的实际所有者并且未经您的许可托管。
- 如果内容违反了 Google 政策,您可以通过提交政策删除请求将其删除。这适用于非法内容或整体上违反其网站政策的内容。
- 如果内容是非法托管的,您可以通过合法请求要求 Google 将其删除。发生这种情况的原因有很多,包括正在进行的法律诉讼或侵犯版权。
- 如果您没有正在进行的法律纠纷但您拥有内容,则可以提交DMCA 删除请求。这可以从索引中删除内容,但不能从违规页面中删除。
另一方面,如果你只是反对内容,你就没有理由站住脚。没有被安全搜索过滤器正确过滤的成人内容可以被报告和隐藏,但不会被删除,只会被重新分类。例如,以宗教为由反对内容不会将其删除,因为这会侵犯他人的权利。唯一可能发生这种情况的情况是在伊朗或中国等受到严格监管的国家/地区,即便如此,过滤内容的通常也是该国自己的防火墙,而不是 Google。
您不拥有内容并希望将其从网络中删除
如果您不拥有或控制要删除的内容,但仍希望将其从网络上删除,Google 将不会为您提供帮助。谷歌不拥有网络,他们只是索引它,无论他们有多强大。
如果内容只是让您反感,那么您可能不走运。有时您可以联系网站所有者并删除内容,但通常他们只会笑。“这冒犯了我,删除它!” 不是有效的投诉。
如果您以某种方式拥有该内容,例如该站点批量抓取您的博客文章、窃取您的受版权保护的图像或创建网络钓鱼站点,您可以联系站点所有者并告知他们使用您的内容是非法的。这是侵犯版权的行为,这意味着您可以使用 Google 提交 DMCA 并将其从其索引中删除,并威胁对托管内容的任何人采取法律行动。
如果网站所有者没有回应您的威胁或删除内容的请求,您可以继续使用其他途径。如果您拥有删除内容的合法权利(例如版权声明),您可以与托管该网站的网络主机联系。他们通常会删除侵犯版权的内容。从那里,您可以使用上面链接的谷歌“删除过时内容”工具将其从索引和缓存中删除。
如果网络主机也没有回应,或者如果他们对您作出裁决,您将需要咨询律师。我真的没有什么能为你做的了,而且谷歌同样不拥有网络。
批量使用删除工具
当然,这篇文章的前提是关于从索引中批量删除 URL。前面的所有内容只是为了帮助您确定您是否真的希望从索引而不是网络中删除内容,以及您可以使用什么过程。
如果您控制内容并希望将其从索引中批量删除,您几乎有两种选择。
第一个选项是简单地从您的网站中删除内容并让 Google 重新抓取它。您可以使用上面列出的已删除内容工具来加快该过程,或者只需提交一个全新的站点地图即可让 Google 更快地重新抓取内容。
如果您使用 301 重定向、410 消失或其他 HTTP 状态代码正确删除了内容,Google 会迅速将其从索引中删除。如果您有 404,Google 将至少保留缓存,直到确定内容永久消失,然后将其清除。
如果出于某种原因,您想从索引中批量删除网址而不删除内容,请首先了解这将是临时删除。谷歌将把它从索引中删除大约 90 天,之后将取消对它进行索引的“禁令”,并在下一次网站抓取时返回索引。您必须定期重新提交您的清单。
如果您确定批量临时删除 - 或批量永久删除提交连同从您的网站本身删除 - 是您想要的,那么您可以使用此工具。
我刚刚链接的工具是由 Lih Chen 创建的 Chrome 扩展程序,又名 noitcudni 在 GitHub 上。只需下载扩展程序并解压缩即可。转到 Chrome 并启用开发人员模式(在 chrome://extensions/ 中)。单击以加载解压缩的扩展程序并从您将其留在计算机上的任何位置加载解压缩的扩展程序。
要使用该工具,您需要创建要删除的 URL 列表。每个 URL 都需要用 \n 分隔。
转到 Google 的搜索控制台/网站管理员工具并登录到相应的属性。单击优化 - 删除 URL。该工具现在将有一个用于“选择文件”的新按钮,它允许您上传您的 URL 列表。上传它,脚本将执行,根据您的设置将每个 URL 作为删除请求提交。
请注意,如果您尝试一次删除过多的 URL,则可能必须分批执行此操作。Google 对多种表单设置了速率限制,以防止机器人提交,这个也不例外。只需注意它并根据需要分解您的文件。
----- end -----