Java如何抓取ajax生成的页面

Question

如题，最近在做一个从网上抓内容的工具，发现需要的内容刚好是ajax动态加载的，不知道有什么办法可以搞定这个问题？

有什么推荐使用的Java库么？我找了找，发现有人说htmlunit好像可以，还在琢磨。

谢谢了！

Answer 1

如果说是要抓js生成的页面，貌似没有这方面的类库（本人去年在用程序模拟新浪微博登录的时候找过，没找到。。。）
不过有可以解析javascript语句的java类库

你可以先对页面进行分析，然后确定哪些数据是必须的，即使是ajax动态加载的，数据也是可以获取到的，只是展现形式不同罢了