讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

JS如何实现关键字过滤

浅墨大大_5480

浅墨大大_5480

发布时间:2025-08-21 13:21:01

|

1002人浏览过

|

来源于php中文网

原创

js实现关键字过滤的核心方法有四种:1. 循环替换,简单但性能差;2. 正则表达式一次性替换,效率较高但正则过长会影响性能;3. trie树,适合大词库,查找高效但实现复杂;4. aho-corasick算法,性能最优但实现最复杂;动态更新词库可通过ajax定时拉取或websocket实时推送,需注意数据一致性与错误处理;复杂策略包括模糊匹配、语义分析、拼写纠错和繁简转换,可提升精度但增加成本;前端过滤应结合延迟执行、分批处理、web worker、缓存和用户反馈,在保证性能的同时提升用户体验,避免过度过滤。

JS如何实现关键字过滤

JS实现关键字过滤,核心在于构建一个敏感词库,然后高效地检测并替换文本中的敏感词。方法有很多,效率和精度各有差异。

解决方案

  1. 简单粗暴的循环替换: 这是最直接的方法,但效率也最低。将敏感词库存储为一个数组,然后遍历数组,对文本进行逐个替换。

    function filterKeywords(text, keywords) {
      let filteredText = text;
      for (const keyword of keywords) {
        const regex = new RegExp(keyword, 'gi'); // 'gi' 标志表示全局匹配和忽略大小写
        filteredText = filteredText.replace(regex, '***'); // 替换为星号
      }
      return filteredText;
    }
    
    const keywords = ['敏感词1', '敏感词2', '敏感词3'];
    const text = '这是一段包含敏感词1和敏感词2的文本。';
    const filteredText = filterKeywords(text, keywords);
    console.log(filteredText); // 输出: 这是一段包含***和***的文本。

    这种方法简单易懂,但当敏感词库很大或者文本很长时,性能会急剧下降。

    RegExp
    对象的创建和
    replace
    操作都是比较耗时的。

  2. 使用正则表达式一次性替换: 将所有敏感词用

    |
    连接起来,构建一个大的正则表达式,然后一次性替换。

    function filterKeywordsRegex(text, keywords) {
      const regex = new RegExp(keywords.join('|'), 'gi');
      return text.replace(regex, '***');
    }
    
    const keywords = ['敏感词1', '敏感词2', '敏感词3'];
    const text = '这是一段包含敏感词1和敏感词2的文本。';
    const filteredText = filterKeywordsRegex(text, keywords);
    console.log(filteredText); // 输出: 这是一段包含***和***的文本。

    这种方法相比第一种,效率有所提升,因为减少了

    RegExp
    对象的创建次数。但是,如果敏感词库非常大,构建超长的正则表达式可能会导致性能问题,甚至超出正则表达式引擎的限制。

  3. 使用Trie树(前缀树): Trie树是一种专门用于处理字符串匹配的数据结构。它可以高效地查找文本中是否包含敏感词。

    class TrieNode {
      constructor() {
        this.children = {};
        this.isEndOfWord = false;
      }
    }
    
    class Trie {
      constructor() {
        this.root = new TrieNode();
      }
    
      insert(word) {
        let node = this.root;
        for (const char of word) {
          if (!node.children[char]) {
            node.children[char] = new TrieNode();
          }
          node = node.children[char];
        }
        node.isEndOfWord = true;
      }
    
      search(text) {
        let filteredText = '';
        for (let i = 0; i < text.length; i++) {
          let node = this.root;
          let j = i;
          let found = false;
          while (j < text.length && node.children[text[j]]) {
            node = node.children[text[j]];
            if (node.isEndOfWord) {
              found = true;
              break;
            }
            j++;
          }
    
          if (found) {
            filteredText += '***';
            i = j - 1; // 跳过已匹配的敏感词
          } else {
            filteredText += text[i];
          }
        }
        return filteredText;
      }
    }
    
    const trie = new Trie();
    const keywords = ['敏感词1', '敏感词2', '敏感词3'];
    for (const keyword of keywords) {
      trie.insert(keyword);
    }
    
    const text = '这是一段包含敏感词1和敏感词2的文本。';
    const filteredText = trie.search(text);
    console.log(filteredText); // 输出: 这是一段包含***和***的文本。

    Trie树的优点是查找效率高,尤其是在敏感词库很大的情况下。它的缺点是实现起来相对复杂,并且需要额外的空间来存储树结构。

  4. Aho-Corasick算法: Aho-Corasick算法是基于Trie树的多模式匹配算法。它在Trie树的基础上增加了失败指针,可以进一步提高匹配效率。 实现起来比较复杂,但性能优秀,适合对性能要求很高的场景。

如何选择合适的关键字过滤方法?

选择哪种方法取决于具体的应用场景。

  • 如果敏感词库很小,文本也很短,那么简单粗暴的循环替换或者正则表达式一次性替换就足够了。
  • 如果敏感词库很大,或者文本很长,那么Trie树或者Aho-Corasick算法是更好的选择。
  • 如果对性能要求很高,那么Aho-Corasick算法是最佳选择。

副标题1

如何动态更新JS中的敏感词库,而无需重新加载页面?

动态更新敏感词库是一个常见的需求,尤其是在内容审核等场景下。 最简单的方法是使用 AJAX 定期从服务器拉取最新的敏感词列表。

function updateKeywords() {
  fetch('/api/keywords') // 假设服务器提供一个API接口返回敏感词列表
    .then(response => response.json())
    .then(data => {
      keywords = data; // 更新全局的敏感词库
      console.log('敏感词库已更新:', keywords);
    })
    .catch(error => {
      console.error('更新敏感词库失败:', error);
    });
}

// 定期更新敏感词库,例如每隔10分钟
setInterval(updateKeywords, 600000);

// 初始加载时更新一次
updateKeywords();

另一种方法是使用 WebSocket,服务器主动推送更新后的敏感词列表。 这种方法可以实现实时更新,但需要服务器端的支持。

无论使用哪种方法,都需要注意以下几点:

  • 线程安全: 如果有多个线程同时访问敏感词库,需要采取线程安全措施,例如使用锁。 但JS是单线程的,所以通常不需要考虑线程安全问题。
  • 数据一致性: 确保在更新敏感词库时,不会出现数据不一致的情况。 例如,可以先创建一个新的敏感词库,然后将旧的敏感词库替换为新的敏感词库。
  • 错误处理: 处理更新敏感词库失败的情况,例如记录日志、重试等。

副标题2

除了简单的替换,如何实现更复杂的关键字过滤策略,例如模糊匹配或语义分析?

除了简单的替换,还可以使用一些更复杂的关键字过滤策略,例如:

  • 模糊匹配: 使用正则表达式进行模糊匹配。 例如,可以使用

    [\s\S]*
    匹配任意字符,可以使用
    ?
    匹配零个或一个字符。

    const keywords = ['敏感词[\s\S]*1', '敏感词?2'];
    const text = '这是一段包含敏感词中间有很多字符1和敏感词2的文本。';
    const regex = new RegExp(keywords.join('|'), 'gi');
    const filteredText = text.replace(regex, '***');
    console.log(filteredText); // 输出: 这是一段包含***和***的文本。
  • 语义分析: 使用自然语言处理(NLP)技术进行语义分析。 例如,可以使用词向量来计算文本与敏感词之间的相似度。 如果相似度超过某个阈值,则认为文本包含敏感词。 这需要引入额外的NLP库,例如

    natural
    或者使用在线的NLP API。

  • 拼写纠错: 对文本进行拼写纠错,然后再进行关键字过滤。 这可以防止用户通过拼写错误来绕过关键字过滤。 可以使用现成的拼写纠错库,例如

    spellchecker-js
    。

  • 繁简体转换: 将文本转换为简体或繁体,然后再进行关键字过滤。 这可以防止用户通过使用繁体字或简体字来绕过关键字过滤。 可以使用现成的繁简体转换库,例如

    opencc
    。

这些更复杂的策略可以提高关键字过滤的精度,但也会增加实现的复杂度和计算成本。

副标题3

如何在前端进行关键字过滤的同时,兼顾性能和用户体验?

在前端进行关键字过滤,需要特别注意性能和用户体验。 以下是一些建议:

  • 延迟执行: 不要在用户每次输入时都进行关键字过滤。 可以设置一个延迟时间(例如 300 毫秒),在用户停止输入一段时间后才进行关键字过滤。 可以使用

    setTimeout
    函数来实现延迟执行。

  • 分批处理: 如果文本很长,可以将其分成多个小块,然后分批进行关键字过滤。 可以使用

    requestAnimationFrame
    函数来避免阻塞UI线程。

  • Web Worker: 将关键字过滤放在 Web Worker 中执行,避免阻塞UI线程。 Web Worker 是一个独立的线程,可以执行 JavaScript 代码,而不会影响UI线程的响应。

  • 缓存结果: 如果文本没有发生变化,可以直接使用缓存的结果,而无需重新进行关键字过滤。

  • 优化算法: 选择合适的关键字过滤算法,例如 Trie树或Aho-Corasick算法。

  • 用户反馈: 在进行关键字过滤时,给用户提供明确的反馈。 例如,可以高亮显示敏感词,或者提示用户修改文本。 避免直接阻止用户提交,应该引导用户修改内容。

  • 避免过度过滤: 不要过度过滤,以免误伤正常内容。 可以设置一个阈值,只有当文本中包含的敏感词数量超过阈值时,才进行过滤。

总而言之,前端关键字过滤需要在性能、精度和用户体验之间进行权衡。 没有银弹,需要根据具体的应用场景选择合适的策略。 重要的是要进行充分的测试,并根据测试结果进行优化。

热门AI工具

更多
SoundView
SoundView Hot

SoundView是一款面向跨境电商的视频翻译、配音和本地化 AI 创作平台。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
ajax教程
ajax教程

php中文网为大家带来ajax教程合集,Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容,供大家免费下载使用。

3600

2023.06.14

ajax中文乱码解决方法
ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容,供大家免费下载体验。

360

2023.08.31

ajax传递中文乱码怎么办
ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法:1、设置统一的编码方式;2、服务器端编码;3、客户端解码;4、设置HTTP响应头;5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3413

2023.11.15

ajax网站有哪些
ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1181

2024.09.24

js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

5136

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

3561

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

9982

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

832

2023.08.11

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
誉天教育RHCE视频教程
誉天教育RHCE视频教程

共9课时 | 1.8万人学习

尚观Linux RHCE视频教程(二)
尚观Linux RHCE视频教程(二)

共34课时 | 7万人学习

尚观RHCE视频教程(一)
尚观RHCE视频教程(一)

共28课时 | 6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn