使用 CloudFlare 后百度蜘蛛抓取错误，不收录问题

2022-10-10，时隔两个月后更新：因为CF被太多人用来翻墙，国内的搜索引擎查到网站在CF的IP下就不会继续抓取新内容了。

--------

🧒‏👙📀🤮✌

好久没有注意到网站的收录情况了，最近几天发现百度最新收录的帖子是5月份的，在这之后就没有收录了。看到这个我的心突然就凉了半截.......



一、排查问题
👏🗺🥣❌🐻‍
这段时间网站也没改版，没有出现大范围的网络故障，之前好好的怎么就不收录了呢？用 site 命令查询发现网站还在，排除掉 K 站了，然后去百度站长社区溜达溜达看看其他人有没有和我一样的，其他人都是正常的。（后面两天站长社区维护关闭了，想问点问题都不行）

然后想是不是百度不能抓取到网站的内容，所以不收录新内容，旧内容正常。用自带的抓取模拟工具抓取一下：

🖕🛩®🦬‍


偶尔有抓取成功的，大部分是抓取失败（我一开始怀疑百度在抽风）。又去让其他站长试试抓取工具正常吗，他们也是正常的。

💪🌕🍓©🦠‌我又看了看谷歌和 bing 的收录，这两个是正常的，搜狗和360基本没了。

二、发现问题

一般来说 socket 读写错误 就是百度访问不了抓取的页面，不会有错的。

🖐🌧🍏❌🪰‌

如果自己能正常浏览网站，百度提示这个错误，可能是系统防火墙或者其他 WAF拦截掉了。

三、解决问题

✋🚤🍽⁉🦦‌我在服务器上是没有针对百度做拦截的，那么问题应该就在 WAF 上了！

在 cloudflare 上查找和爬虫相关的 WAF 规则，发现了这个：合法机器人爬虫

👩‏🦺📐🤔👄

那么创建一条规则：



创建完成后，等个10分钟看看再去抓取诊断，果然都抓取成功了！👨‍🎨‎🩲🪗👻👀



四、后续

🤳⛴🦞🔞🐒‏为什么谷歌和 bing 都正常，国内的几个搜索引擎都不能抓取呢？

现在正常抓取后懒得去想了

为了预防以后再出现问题，我把百度蜘蛛的 ip 段加入了 cloudflare 的允许访问的规则：🧑‍🚀‍🩲⌨🤡🧠