如何用curl去抓取一个带有ajax获取信息的页面

那个页面通过浏览器打开，可以看到页面加载后的所有内容，包括在页面上通过AJAX来获取并显示到页面的信息。

而curl却不能获取到那些通过ajax加载的东西，只能获取到相当于“查看源代码”的内容？？？

怎么抓取ajax生成的数据呢？？？

5 个解决方案

#1

抓取页面后，分析出ajax的目标url和动态参数的构成
逐一模拟ajax请求过程，注意取回的不一定是最终效果

curl 不能执行 js 代码，所以组装页面的工作只能由你完成

#2

你直接抓ajax路径的东西不就行了，

#3

有些ajax的路径能找到，有些找不到，有什么好的方法抓到ajax路径，模拟ajax请求过程是怎么模拟的呢。

#4

浏览器能找到的，你也一定能找到
所以我说要“分析出ajax的目标url和动态参数的构成”

#5

手动方法，上面说了

自动方法，自己弄个javascript引擎去执行ajax
javascript引擎，mozilla和GG好像都有公开的代码，不过我是没空去研究这咚咚