js执行完后获取网页源码

我现在要获取一个网页的数据，但是这些数据是用js生成的，打开网页后需要等待1秒的时间，数据才会显示。我现在用的WebClient，但是获取的网页是js加载完成之前的。如何获取到js加载完后的网页内容呢？

7 个解决方案

#1

好吧，你可以模拟浏览器的工作环境，把页面重新生成一遍。。。。。。虽然这个技术难度极高。。。。。。
但我想不出很好的办法。。。。

不过如果有兴趣的话，可以去研究下google的爬虫，是如何理解网页上脚本行为的吧，也许能对你有所启发......

又或者，干脆放弃你最初的想法，不要想着用WebClient抓取js生成的内容了。。。

#2

我要获取的内容全都是js生成的。

#3

真正商业化的搜索引擎不执行js。

如果你要执行js，考虑使用WebBrowser等控件，或者其它模拟整个浏览器（例如webkit.net）的组件。

#4

可不可以在js执行完成之后生成静态页获取所有内容那？

#5

该回复于2014-03-01 17:00:13被管理员删除

#6

用这个WebBrowser试下

#7

试下这个： http://phantomjs.org/
看这个例子: http://phantomjs.org/page-automation.html