Glin Profanity — 内容审核库

一款用于检测不当用语的库，可识别各类规避手段，例如 leetspeak（如 f4ck、sh1t）、Unicode 技巧（如西里尔字母形近字）以及混淆文本。

安装

# JavaScript/TypeScript
npm install glin-profanity

# Python
pip install glin-profanity

快速上手

JavaScript/TypeScript

import { checkProfanity, Filter } from 'glin-profanity';

// 简单检测
const result = checkProfanity("您的文本内容", {
  detectLeetspeak: true,
  normalizeUnicode: true,
  languages: ['english']
});

result.containsProfanity  // boolean
result.profaneWords       // 检测到的违禁词数组
result.processedText      // 已屏蔽处理后的文本

// 使用 Filter 实例
const filter = new Filter({
  replaceWith: '***',
  detectLeetspeak: true,
  normalizeUnicode: true
});

filter.isProfane("text")           // boolean
filter.checkProfanity("text")      // 完整结果对象

Python

from glin_profanity import Filter

filter = Filter({
    "languages": ["english"],
    "replace_with": "***",
    "detect_leetspeak": True
})

filter.is_profane("text")           # True/False
filter.check_profanity("text")      # 完整结果字典

React Hook

import { useProfanityChecker } from 'glin-profanity';

function ChatInput() {
  const { result, checkText } = useProfanityChecker({
    detectLeetspeak: true
  });

  return (
     checkText(e.target.value)} />
  );
}

核心特性

配置选项

const filter = new Filter({
  languages: ['english', 'spanish'],     // 待检测的语言列表
  detectLeetspeak: true,                 // 启用 leetspeak 检测（如 f4ck、sh1t）
  leetspeakLevel: 'moderate',            // 可选值：basic | moderate | aggressive
  normalizeUnicode: true,                // 启用 Unicode 标准化以识别 Unicode 规避手段
  replaceWith: '*',                      // 屏蔽替换字符
  preserveFirstLetter: false,            // 是否保留首字母（f*** vs ****）
  customWords: ['badword'],              // 自定义违禁词列表
  ignoreWords: ['hell'],                 // 白名单词汇（不视为违禁词）
  cacheSize: 1000                        // LRU 缓存条目数
});

上下文感知分析

import { analyzeContext } from 'glin-profanity';

const result = analyzeContext("该患者患有乳腺肿瘤", {
  domain: 'medical',        // 可选值：medical | gaming | technical | educational
  contextWindow: 3,         // 匹配项前后纳入分析的词数
  confidenceThreshold: 0.7  // 触发标记所需的最低置信度
});

批量处理

import { batchCheck } from 'glin-profanity';

const results = batchCheck([
  "评论 1",
  "评论 2",
  "评论 3"
], { returnOnlyFlagged: true });

机器学习驱动检测（可选）

import { loadToxicityModel, checkToxicity } from 'glin-profanity/ml';

await loadToxicityModel({ threshold: 0.9 });

const result = await checkToxicity("你是最差劲的");
// { toxic: true, categories: { toxicity: 0.92, insult: 0.87 } }

常见使用场景

聊天/评论审核

const filter = new Filter({
  detectLeetspeak: true,
  normalizeUnicode: true,
  languages: ['english']
});

bot.on('message', (msg) => {
  if (filter.isProfane(msg.text)) {
    deleteMessage(msg);
    warnUser(msg.author);
  }
});

发布前内容校验

const result = filter.checkProfanity(userContent);

if (result.containsProfanity) {
  return {
    valid: false,
    issues: result.profaneWords,
    suggestion: result.processedText  // 已屏蔽版本
  };
}

资源链接

• 文档：https://www.typeweaver.com/docs/glin-profanity
• 在线演示：https://www.glincker.com/tools/glin-profanity
• GitHub：https://github.com/GLINCKER/glin-profanity
• npm：https://www.npmjs.com/package/glin-profanity
• PyPI：https://pypi.org/project/glin-profanity/