华为自研搜索引擎:PetalBot 这个蜘蛛就是花瓣蜘蛛

搬瓦工机场JMS

查看日志发现很多带这个 字段的 UA compatible; PetalBot;+https://aspiegel.com/petalbot,然后打开那个URL发现,是华为的logo,然后回想起看到有说华为在搞搜索引擎的新闻,那看来这个玩意已经确实存在,不然我小网站也不能来这么多,跟今日头条爬虫一样,现在是它饥饿的时候疯狂爬数据,不知道这个只是针对海外被谷歌封锁的措施还是将来也会在国内再杀出一个搜索引擎。拭目以待吧。

未经允许不得转载:Just My Socks中文教程网 » 华为自研搜索引擎:PetalBot 这个蜘蛛就是花瓣蜘蛛

赞 (0) 打赏
Just My Socks搬瓦工机场JMS

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏