Node.js Request模块爬取网页乱码问题及解决方法

使用Node.js的request模块进行网页爬取时，经常会遇到HTML文本乱码的情况。本文将分析问题原因并提供有效的解决方法。

问题描述

代码示例：

立即学习“前端免费学习笔记（深入）”；

const request = require('request');

function getGoods() {
    request('https://www.58moto.com/used-car/1470264', (err, res, body) => {
        console.log(body);
    });
}

getGoods();

预期结果：获取网页HTML源码。

实际结果：输出乱码文本，例如：

AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序，基于浩创云、ThinkPHP（PHP）开发，支持微信服务号与 H5 端，适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载

�z<[��zml�1;��g���j��4�~b��j��6^m=i���f}�\�e�ž�������������e�lc�1Ӟ��m�ή�ׅfm:�=^㱩zkg��l/l�t⏃���ͱ&�=,0���sc��������b}do�՘�Ņfs�ze�9^i<�����涽 �/4��,�:�=�n��w�/����{���#�og�'?�f�tn��9{��ql�i5�481�4f�믬�hno7
...

问题根源分析

request模块默认使用iconv-lite库自动检测和解码HTML字符集。然而，iconv-lite在某些情况下无法准确识别字符集，导致解码失败，出现乱码。

解决方案

推荐使用axios库替代request，因为它提供更灵活的编码配置选项。

改进后的代码：

const axios = require('axios');

async function getGoods() {
    try {
        const response = await axios.get('https://www.58moto.com/used-car/1470264', {
            responseType: 'document'
        });
        console.log(response.data);
    } catch (error) {
        console.error('Error fetching data:', error);
    }
}

getGoods();

使用responseType: 'document'选项，axios会自动根据HTML文档中声明的字符集进行解码，有效避免乱码问题。 async/await语法使得代码更易读。 此外，添加了try...catch块来处理潜在的网络错误。

通过以上方法，可以有效解决Node.js爬虫中使用request模块获取HTML文本乱码的问题，确保爬取数据的正确性和完整性。