敏感词过滤：从“卡成狗”到百万并发的技术逆袭

你是否曾遭遇这样的窘境：平台用户量暴涨，敏感词过滤系统却频频崩溃？用户抱怨发送消息要等好几秒，体验直线下降？更可怕的是，由于漏掉几个敏感词，平台差点被约谈？

这不仅是技术问题，更是业务生存问题。从日活百万到千万，敏感词过滤系统需要经历一场技术蜕变，才能从“不堪一击”到“稳如老狗”。

敏感词过滤系统为何频频崩溃？

性能、准确率、更新速度构成了难以突破的“不可能三角”。

许多平台初期采用简单的字符串匹配方法：用户发送文字，系统逐个比对所有敏感词。这种方法代码简单，但效率极低。

public boolean containsSensitiveWord(String text) {
    for (String word : sensitiveWordList) {
        if (text.contains(word)) {
            return true;
        }
    }
    return false;
}

当用户量从100万增长到300万时，接口响应时间可能从50毫秒飙升到500毫秒以上，用户体验直线下降。更严重的是，随着敏感词库扩大，检测速度会进一步恶化。

记住：简单暴力匹配在高并发场景下等同于技术自杀。

AC自动机：工业级解决方案的核心利器

面对性能瓶颈，AC自动机（Aho-Corasick算法） 成为了工业级敏感词过滤的首选方案。这一算法能在只扫描一遍文本的情况下，找出所有敏感词，时间复杂度为O(n)，其中n为文本长度。

理解AC自动机的工作原理

AC自动机可以理解为Trie树（字典树）的增强版。它在Trie树的基础上，增加了类似KMP算法的失败指针，使得匹配失败时不需要回溯，直接跳转到下一个可能匹配的位置。

假设有敏感词“苹果”、“香蕉”、“樱桃”，Trie树会将这些词组织成树状结构，一样的前缀共享同一条分支。而AC自动机通过失败指针，将这种结构变成了一个高效的字符串匹配网络。

失败指针：AC自动机的“智能导航”

失败指针的作用可以比作迷宫中的“秘密通道”——当你在迷宫中走到死胡同时，不是返回起点，而是通过秘密通道直接跳转到下一个可能路径。

具体来说，失败指针指向的是当前字符串的最长可匹配后缀。例如，字符串“abc”的后缀有“c”和“bc”，如果“bc”正好是另一个敏感词的前缀，那么“abc”的失败指针会指向“bc”的最后一个字符。

记住：失败指针是AC自动机高效的关键，它让匹配过程“永不回头”。

AC自动机的匹配过程

当文本“苹果梨”进入AC自动机时，会先匹配到“苹果”，然后遇到“梨”字。传统Trie树需要从头开始重新匹配，而AC自动机通过失败指针跳转到可能的位置继续匹配，大大减少了匹配次数。

这种机制最大限度地利用了已匹配的字符，避免重复劳动，是AC自动机高效的核心缘由。

️ 构建百万QPS的敏感词过滤系统

仅有高效算法不足以保证系统稳定，需要架构级优化才能支撑百万级QPS（每秒查询率）。

本地缓存层：承接90%的压力

敏感词库可能很大，但热点词有限。使用本地内存缓存存储高频敏感词，并设置LRU（最近最少使用）淘汰策略，可以使90%的请求在本地完成匹配，极大减轻核心检测压力。

分布式缓存层：应对冷门词查询

对于本地缓存未命中的情况，使用Redis集群存储全量敏感词库，支持模糊查询和正则匹配。Redis的高性能保证了即使查询冷门词，响应速度也能得到保障。

异步更新层：保证实时性与稳定性

敏感词需要动态更新，但不能因此导致服务停机。一种成熟解决方案是：

• 管理员在后台更新敏感词，先写入数据库
• 通过消息队列通知各服务节点更新本地缓存
• 最后更新Redis缓存

这样既保证实时性，又避免更新对服务的影响，敏感词更新延迟可控制在1分钟以内。

记住：分层架构是高性能系统的基石，没有一刀切的解决方案。

应对变体词的高级策略

仅有AC自动机不足应对现代网络环境中的变体词，如谐音字（“你郝”取代“你好”）、拆字（“氵查”取代“渣”）等。这就需要规则引擎与AI辅助相结合的混合方案。

规则预处理：文本归一化

在文本进入AC自动机前，先进行归一化处理：

• 字符替换：如“郝”替换为“好”
• 特殊符号过滤：移除“*、#、@”等无意义符号
• 拼音转换：将文本和敏感词都转为拼音进行比较

AI二次校验：语义理解

对规则无法覆盖的变体词（如语义敏感内容），使用轻量级NLP模型（如BERT-tiny）进行二次校验。流程是：AC自动机与规则快速过滤 → 对低置信度结果启动AI语义分析 → 做出最终判决。

这种方案平衡了效率与准确率，既能实时过滤，又能应对复杂变体词。

五条宝贵的避坑指南

从实战中总结的经验教训最为珍贵：

1. 避免简单字符串匹配：性能极差，无法应对高并发场景
2. 根据场景选择算法：一般场景用Trie树，复杂场景用AC自动机
3. 缓存是关键：本地缓存+分布式缓存，缺一不可
4. 异步更新词库：避免直接影响线上服务
5. 建立监控告警体系：对响应时间、误判率、漏判率设置阈值

记住：技术选型取决于业务场景，没有最好的算法，只有最合适的方案。

敏感词过滤的技术升华

经过系统优化，敏感词过滤系统的误判率可以从5%降至0.1%以下，轻松应对百万级并发。但敏感词过滤不仅仅是技术问题，更是平衡用户体验与内容安全的社会课题。

优秀的敏感词过滤系统需要像智慧的法官，既严格执法，又不误伤无辜。它背后体现的是平台对内容生态的责任与担当。

正如专家所言：“设计敏感词过滤系统，核心不是用多复杂的算法，而是理解业务需求，选择合适的技术方案，分层次解决问题。”

希望我们的经验能帮你少走弯路，如果你有更好的解决方案，欢迎在评论区分享！

最后留个思考题：在你的项目中，敏感词过滤最大的挑战是什么？是性能、准确率，还是可维护性？欢迎分享你的经历