微软发布了 Bingbot IP 地址列表

了解哪个机器人真正来自 Microsoft Bing,哪个不是,可以帮助您决定从您的站点阻止哪些流氓机器人,这个和百度的蜘蛛ip差不多。

Microsoft 已发布其 IP 地址列表,Bingbot(Microsoft Bing 爬虫)用户在爬取您的网站时使用。来自微软的 Fabrice Canel说: “为了帮助所有网站管理员,我们还发布了 Bingbot IP 范围。”

验证 Bingbot。您可以使用列出的 IP 地址验证 Bingbot 。微软解释说,您也可以使用此检查 IP 地址是否属于 Bingbot。这有助于仔细检查服务器中使用“Bingbot”或“MSNBOT”用户代理字符串请求的流量是否实际上是真正的 Bingbot IP 地址,并且发出请求的服务器并没有简单地隐藏其真实身份。该工具可在 2 个地方使用:在诊断和工具下的 Bing 网站管理员工具帐户中。 如果您认为有人正在爬取您的网站,并伪装成 Bingbot,并且您想验证阻止这个虚假的 Bingbot 爬网程序并不是真正的 Microsoft Bing。

Google 也不甘示弱。就在上周,Google 发布了Googlebot IP 地址列表。通常,由于虚假机器人在网站上爬行和抓取,网站可能会变慢,甚至可能会离线。您很少希望阻止 Microsoft Bing 对您的站点进行爬网,因为这可能会导致Microsoft Bing 搜索中出现索引和排名问题。因此,了解哪个机器人是真正的Microsoft Bing,哪个不是,可以帮助您决定从您的站点阻止哪些流氓机器人。

还有第三方服务,例如 Cloudflare 和其他可以帮助您管理的服务。

0

评论0