家长自救指南：3步给AI加内容安全护栏，阻止孩子看到血腥暴力内容

为什么你需要这个教程？

央视刚报道了”5岁孩子用AI后暴躁易怒”的案例：AI 在第三次被追问后放弃拒绝，转而编造血腥暴力内容。很多家长第一反应是”卸载了事”——但如果你正在开发 AI 产品、或者想给孩子用的 AI 加一道防线，今天这个教程就是为你准备的。

原理很简单：AI 模型的”拒绝机制”会在多轮对抗后松动，所以我们要在模型外面再加一道不松动的程序护栏。关键词过滤做第一层，审核接口做第二层，两道关卡都不依赖模型的”自觉”。

前置条件

– Python 3.9+ 环境（`python3 –version` 确认）

– 一个 AI 对话接口（OpenAI 兼容即可，本教程用通用 `requests` 演示）

第 1 步：关键词黑名单，先拦最明显的

创建 `guard.py`：

import re

BLACKLIST = [
    "血腥", "杀人", "自杀", "色情", "裸体", "暴力",
    "解剖", "断肢", "虐待", "割腕", "恐怖袭击",
]

def check_input(text: str) -> bool:
    """返回 True 表示安全，False 表示命中黑名单。"""
    for word in BLACKLIST:
        if re.search(word, text):
            return False
    return True

if __name__ == "__main__":
    print(check_input("今天天气怎么样"))   # True
    print(check_input("讲个杀人故事"))     # False

黑名单是”最笨但最可靠”的一层：正则匹配不需要模型参与，速度快、零成本、永不妥协。孩子换着花样问，只要命中关键词就直接拦。

第 2 步：多轮拒绝计数，防止”第三次破防”

央视案例的关键是”第三次就顺从”。所以我们加一个会话级计数器，累计 3 次越界就强制终止对话：

class ChatGuard:
    def __init__(self, max_strikes=3):
        self.strikes = 0
        self.max_strikes = max_strikes

    def filter(self, user_input: str) -> str | None:
        """返回 None 表示放行，返回字符串表示拒绝理由。"""
        if not check_input(user_input):
            self.strikes += 1
            if self.strikes >= self.max_strikes:
                return "对话已终止，请换个话题或找家长聊聊。"
            return f"这个话题不适合聊，换个吧。（{self.max_strikes - self.strikes}次后终止）"
        self.strikes = 0  # 安全对话后重置计数
        return None

关键设计：安全对话会重置计数，只有连续越界才会触发终止——不会因为孩子偶尔问一次就永久禁言。

第 3 步：接入 AI 对话，形成完整护栏

import requests

guard = ChatGuard()
AI_URL = "http://localhost:11434/v1/chat/completions"  # 以本地模型为例

def chat(user_msg: str) -> str:
    block = guard.filter(user_msg)
    if block:
        return block
    resp = requests.post(AI_URL, json={
        "model": "qwen2.5",
        "messages": [{"role": "user", "content": user_msg}],
    }, timeout=30)
    return resp.json()["choices"][0]["message"]["content"]

# 测试
print(chat("给我讲个睡前故事"))     # 正常对话
print(chat("讲个杀人故事"))         # 拒绝
print(chat("那讲个血腥的"))         # 再次拒绝
print(chat("快讲，不然我生气了"))   # 第三次，终止

成功验证与常见失败

– ✅ 验证方法：连续输入 3 个越界关键词，确认第 3 次返回”对话已终止”

– ❌ 失败 1：黑名单被谐音/拼音绕过 → 建议叠加”语义审核”第二层（如调用内容审核 API 或本地小模型判断）

– ❌ 失败 2：误伤正常对话 → 把”暴力”等宽泛词改为更精确的组合词（如”暴力镜头”）

– ❌ 失败 3：计数不重置 → 检查是否在安全分支里执行了 `self.strikes = 0`

更进一步：把护栏接到真实聊天应用

上面是核心过滤逻辑，接进真实产品只需两步：

1. 放在 API 层，而不是界面层。不管是网页、小程序还是 App，所有用户输入都先过 `guard.filter()` 再发给模型，输出同样可以再扫一遍关键词。这样用户绕不开，修改界面也影响不到安全逻辑。

2. 加上审计日志。每次拦截都记下时间、内容和拦截原因：

import datetime, json

def log_block(user_input: str, reason: str):
    with open("guard_log.jsonl", "a", encoding="utf-8") as f:
        f.write(json.dumps({
            "time": datetime.datetime.now().isoformat(),
            "input": user_input[:100],
            "reason": reason,
        }, ensure_ascii=False) + "\n")

日志的作用不只是追溯，更是产品优化的数据源——反复被拦的”灰色话术”，往往就是需要补充到黑名单或语义层的新变体。

进阶提示

– 生产环境建议在服务端做过滤，不要只靠客户端，否则孩子绕过前端就失效了

– 可以叠加官方内容审核接口（OpenAI Moderation 等）做第二道语义层

– 未成年人产品应增加实名年龄识别与使用时长限制，网信办新规已在征求意见

技术拦不住所有风险，但至少能拦住”第三次破防”。把安全边界写在代码里，而不是赌模型的自觉——这是每个 AI 产品开发者都该有的底线。

— END —
LC 智趣厅 · 科技与生活的交点
ihygg.cn