摘要：
本人最近在研究爬虫。作为一个新手。研究了些爬虫框架，发现所有开源的爬虫框架很多，功能也很齐全，但唯独遗憾的是，目前还没有发现那个爬虫对js完美的解释并执行。看了浅谈网络爬虫爬js动态加载网页（二）之后很有感慨，首先对博主的钻研精神季度敬佩。虽然该文中第二和第三种方案不怎么靠谱，但能想到这些方案，说明博主的思维发散性很强，不会局限于单方向钻牛角尖式的思考。不过很遗憾，因为我就是这样的人。我始终觉得博主对于HtmlUnit的了解不够深入（也可能是我的误解）。于是就开始钻牛角尖了。看了HtmlUnit的简介之后，我有一种预感，认为HtmlUnit没理由不能支持Js的自动解释于执行，事实证明了我的想法 阅读全文