情况说明
最近刚做了一个新的外贸企业站,基础的seo内容设置好就提交了,隔天就收到了反馈邮件:新原因导致网站 https://某某某.com/ 上的网页无法被编入索引。

什么是noindex
noindex
是一个包含 <meta>
标记或 HTTP 响应标头的规则集,用于防止支持 noindex
规则的搜索引擎(例如 Google)将内容编入索引。当 Googlebot 抓取该网页并发现该标记或标头时,Google 就会完全阻止该网页出现在 Google 搜索结果中,不论是否有其他网站链接到该网页。
被“noindex”标记排除了,直白来讲就是网页禁止被索引了,警告搜索引擎不要收录我,不要让我出现在你的搜索结果中!
为什么出现
这个问题很简单,就是忘掉了一件事。
程序是WordPress的,做的时候有个选项勾选提示:建议搜索引擎不索引本站点,正常来讲没有完全做好的网站是不适合搜索引擎索引收录的,常规操作当然是Yes,但是网站整体完善之后提交Google Search Console之后忘记了这一点,提交是想要被收录,网站的设置是禁止收录,所以noindex情况就自然而然出现了。
如果程序不是WordPress,可以检查以下两项:
- 检查网站的
robots.txt
文件是否有阻止爬虫收录。 - 检查
html
文件中是否带有noindex、nofollow 标记:<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
解决方案
当然,知道了原因,解决也很简单。
首先把设置-阅读那里之前勾选的 Discourage search engines from indexing this site也就是建议搜索引擎不索引本站点取消掉提交保存。


最后打开Google Search Console,提交验证更改情况,等待索引更新即可,一般一天左右时间生效。

无法被编入索引情况还有多种
未找到 (404)

备用网页(有适当的规范标记)

服务器错误

等等。