如何使用 Node.js 抓取动态网页内容？

使用 Node.js 抓取包含动态内容的页面

对于网络抓取工具来说，动态内容可能会带来挑战。一个这样的示例是在初始页面加载之后创建页面的元素。在这种情况下，标准的抓取方法可能不够。

在 Node.js 中使用 Cheerio 时请考虑这个问题。以下代码尝试从页面中抓取元素，但当发生 Cheerio 加载时，动态元素不存在：

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

此代码通常返回空响应，因为元素尚未存在于页面中Cheerio 加载时的 HTML。那么，我们如何使用 Node.js 检索这些元素？

解决方案：利用 PhantomJS

为了处理动态内容，我们可以使用 PhantomJS，一个无头 Web 浏览器，可以执行JavaScript。 PhantomJS 允许我们模拟浏览器与页面交互并在元素可用时检索它们。下面是一个使用 PhantomJS 的示例：

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});

在此代码中，我们首先使用 PhantomJS 将 jQuery 包含到页面中，从而允许我们动态地与元素交互。然后，我们评估将元素的 href 属性记录到控制台的 JavaScript 代码。

以上是如何使用 Node.js 抓取动态网页内容？的详细内容。更多信息请关注PHP中文网其他相关文章！