张磊的blog

Google爬虫将支持JS？

最近频繁在流量统计里看到来自美国Google的IP，窃喜，难道有Google的人关注我blog？可是今天一下子就看到4个Google的IP，不会吧，我在Google有这么多Fans？后来想到这个可能性，Google的爬虫开始支持JS了。

我在流量统计的后台看到这几个访问者的客户端信息是：Windows XP, MSIE 6.0, 800×600, 224 色, 未安装 Alexa 工具条。若这些是真的，Google的人用的电脑也太差了吧，或者人家在手机上装了XP？怎么显示器才800*600。想想都不现实。很有可能这些信息都是51啦的默认信息，而使用默认信息的原因是51啦没有获得相应的信息——为什么得不到这些信息呢？因为这几个访问者都是Googlebot。

前些日子看了这篇文章，谈到Google百度对于JS的处理是直接跳过的，现在看来不然。Tiny早先的一篇文章说，Google Adsense的爬虫是支持部分js的。而后来的某篇文章（实在搜不出来了）说，Googlebot将和Google Adsense爬虫在抓取时共享一些数据（应该是应用了缓存一样的东西）。把后面两件事联系起来，完全有理由相信，Googlebot现在支持部分js了。

于是我去查阅了本站的Apache日志，发现了相匹配IP访问，只是头信息没有显示为Googlebot——也许是Google正在实验呢？然后我就打开了51啦统计代码，发现最后提交统计信息的一句是用document.write()输出到浏览器然后由浏览器提交到51啦的。document.write()应该是最容易被支持的了，而获得系统分辨率啥的都比较麻烦，对爬虫也没意义，估计Google就没支持。

其实爬虫支持js本来就不是啥技术问题，只是考虑到性能所以大多SE都不支持。从这个意义上说，性能也算是技术问题~

不知道我猜得对不对，不过通过js生成的链接啥的，肯定对SEO没啥作用。