2017.8.2号蜘蛛抓取网站日志分析

  • A+
所属分类:案例分析

近期小编的网站上线已经有一段时间,期间一直在做网站的优化和网站内容的更新,但是目前为止网站还是只收录了首页,虽说现在百度对于新站点的考察期延长很多,但是如果说搜索引擎不给于网站收录和排名的话,可以说现在所做的一切都是无用功。

网站日志分析的作用用于指导网站优化的工作,今天就记录一下网站8月2号的蜘蛛对网站的抓取情况分析一下。

爱站工具包网站日志分析:

网站日志分析

从上面的网站日志分析工具中可以看出显示的百度蜘蛛抓取数量非常的多,我们不要被表面的现象所欺骗,这里面是有家的百度蜘蛛存在的,那么怎么检查是否为百度蜘蛛呢?(此方法仅限于网站蜘蛛抓取量较小的站点使用,如数量较大的网站是不适合)

怎么检查是否为百度蜘蛛呢?

  1. nslookup指令

nslookup是一个监测网络中DNS服务器是否能正确实现域名解析的命令行工具。打开windows里的”开始-运行输入cmd“,输入“nslookup+ip”。

如上中出现红框中的可以说明这个ip是来自百度的蜘蛛,反之则是假的百度蜘蛛。

220.181.108段百度蜘蛛ip如下:

220.181.108.157

220.181.108.96

220.181.108.121

220.181.108.109

220.181.108.147

目前蜘蛛抓取量量还是集中在220.181.108***段蜘蛛ip,后续会持续观察蜘蛛ip段,继续原创文章。期待页面收录被放出来的那一天。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: