java - 我正在写一个爬虫，怎么通过网页内容误别出是否为中文网页？-PHP中文网问答

微信公众号讲师中心

首页

文章

后端开发 web前端数据库开发工具 php框架常见问题科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程自媒体新闻

专题

后端开发 web前端数据库开发工具 php框架科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程新闻

AI工具

AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令

学习

大前端后端开发数据库移动端运维开发计算机基础

编程手册

大前端后端开发数据库移动端运维开发计算机基础

下载

js特效网站源码工具下载类库下载网站素材学习资源插件扩展手机/移动开发手机游戏

搜索

后端开发 web前端数据库开发工具 php框架常见问题科技 Java 系统教程电脑教程硬件教程手机教程软件教程游戏教程

java - 我正在写一个爬虫，怎么通过网页内容误别出是否为中文网页？

PHP中文网 2017-04-17 12:58:30

[Python讨论组]

795

因定制内容较多，暂时无发现现有爬虫框架满足要求，所以需要自己写（用redis做队列）。
我的问题是在爬虫得到一个网页之后，怎么识别出这个网页是否为中文网页？

PHP中文网

认证高级PHP讲师

全部回复(6)

PHP中文网2017-04-17 13:00:30 6楼

用 Google Chrome 的识别算法吧，支持 HTML，有 Python 绑定。

赞 +0

添加回复

巴扎黑2017-04-17 13:00:30 5楼

过了N久，今天总算有时间实验一下了。下面是我综合@依云和@Syeerzy 的解决方案，谢谢大家的回答。

#! /usr/bin/env python
# -*- encoding: utf-8 -*-
import requests
import cld2

class Detector(object):
    zh_cn_encodes = ('gbk', 'gb2312', 'gb18030')
    def __init__(self, context):
        self.context = context

    def is_zh_cn_encoding(self, ctype):
        ctype = ctype.lower()
        for ec in self.zh_cn_encodes:
            if ec in ctype:
                return True
        return False

    def detect(self):
        assert type(self.context) == type(u''), 'detect unicode string only'
        ret = cld2.detect(self.context.encode('utf-8'))
        return ret[2][0][1] == 'zh'

    def url_detect(self):
        r = requests.get(self.context)
        assert r.status_code == 200, 'http code 200 is required'
        ctype = r.encoding
        if ctype and self.is_zh_cn_encoding(ctype):
            return True
        else:
            self.context = r.text
            return self.detect()

if __name__ == '__main__':
    print Detector(u'短中文有bug').detect()
    print Detector(u'网页文件一般没问题').detect()
    print Detector(u'これは日本で').detect()
    url = 'http://segmentfault.com/q/1010000000432652'
    print Detector(url).url_detect()
    url = 'https://code.google.com/p/chromium-compact-language-detector/source/browse/README'
    print Detector(url).url_detect()

输出是

False
True
False
True
False

赞 +0

添加回复

PHPz2017-04-17 13:00:30 4楼

首先取响应头里的编码,
如果是几种中文编码之一,则认为中文网页,
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则再在<head>标签里找 charset ,
如果有并且为几种中文编码之一, 则是中文
如果不是中文编码, 也不是几种unicode方案之一, 则不是中文.
否则对body的内容(如果考虑性能问题,可以不对整个body,只对前N个字节)用正则洗标签
过滤所有ASCII码字符, 剩余部分按字取内码,
如果考虑性能问题其实取第一个字符就可以了,
如果性能不重要,可以多采样几个(防止一个页面有中文日文等各种文字混合)
判断采到的字符的内码是否位于中文unicode区域.

(PS: 如果性能非常不重要, 只是要代码简单, 那么做法可以: 正则 [^\x00-\xff] 这样可以取到第一个不是ASCII的字符, 判断这个字符是否是中文字符就可以了)

赞 +0

添加回复

巴扎黑2017-04-17 13:00:30 3楼

检查网页编码，看看有没有对应编码的中文字符。

赞 +0

添加回复

高洛峰2017-04-17 13:00:30 2楼

正则取出中文字符，看看在整个页面上的占比

赞 +0

添加回复

天蓬老师2017-04-17 13:00:30 1楼

我想我的博客是一个会让大多数检测“失效”的站点：http://tangzx.qiniudn.com/

因为我的 html 里完全没有中文字符，html 全是 ascii 字符，ascii 字符外的内容，都用 html 的 entity（&#entity_number; 或者 &#xentity_number_hex）表示了。比如源码里的“Koans | 呓语”其实就是“Koans | 呓语”。

我这么做的好处是不用再指定语言，全部 utf-8 解决。只要对方装了相应的字体，就能显示出来。

赞 +0

添加回复

专题推荐

更多>

热门话题

热门教程

更多>