python - scrapy 如何抓js渲染出来的内容？

Question

最近在写一个项目，要放到服务器上每天定时自己爬数据，然后放到数据库。在用scrapy抓的时候，发现js解析不了，查了文档，发现scrapy本身不能解析js。
然后查了一些模块，资料不多，也是一直半解。
现在需要解决以下几个问题：

1.可以在linux服务器上运行，不要再装个浏览器，然后通过打开浏览器解析。
2.如果能解决爬取时候阻塞问题更好。

另外相关的模块也查到了几个，但是搞不清用哪个能解决上面两个问题，麻烦各位求解。

Answer 1

使用phantomjs。安装selenium模块，然后

from selenium import webdriver
driver = webdriver.PhantomJS() 
driver.get(url)