• 后端
• 前端
• 人工智能
• 大模型
• 模型推理服务
• 微调
• 计算机视觉
• 音视频

EasyAIoT 是一个云边端一体化的智能算法应用平台，它在视频告警链路上内置了LLM 告警二次研判能力：当传统视觉算法（YOLO 等）产生一条告警后，由多模态大模型对告警图片或视频片段做二次确认，自动滤掉光照变化、遮挡、雨雾、动物等干扰带来的误报，让推送给你的每一条告警都更可信。

为什么监控告警需要"二次研判"？

做过视频 AI 的人都熟悉这种痛苦：摄像头半夜对着树叶，一阵风吹过，告警短信就来了。传统检测算法只能回答"检测到了"，回答不了"真的成立吗"。

常见的误报来源：

• 🌿 动物、树叶晃动、光影变化触发的区域入侵
• 🌧️ 雨雾、逆光、镜头污渍造成的人形误检
• 👷 远处行人、海报、雕塑被识别为"未戴安全帽"
• 📷 抓拍场景下画面模糊、目标只露出局部

告警越多，值班人员越麻木，真正的事件反而被淹没。EasyAIoT 的思路是：在算法告警和人工通知之间加一道"大模型复核"，用多模态 LLM 看图、看视频，输出"成立/不成立 + 置信度 + 理由"，再决定告警如何处置。

LLM 研判链路是怎么运转的

整条链路横跨 VIDEO、iot-sink、AI 三个模块，核心设计原则是：慢链路不阻塞快链路——大模型调用动辄几秒到十几秒，绝不能卡住告警落库和通知主流程。

1. 告警主链路：命中规则后异步投递

告警产生时，LlmJudgeEnricherImpl 在内存中匹配该任务的研判规则（规则带 60 秒缓存），命中后只做一件事：把研判请求投递到独立 Kafka 队列iot-alert-llm-judge然后"发射后不管"。即使投递失败也只记日志，绝不影响告警本身。

2. 独立队列消费：幂等执行 + 自动重试

AlertLlmJudgeConsumer 是专用消费者，与告警消费线程完全隔离。LlmJudgeServiceImpl 的执行顺序保证了幂等与可恢复：

1. 先按correlation_id落一条pending研判记录，重复消息直接跳过，避免重复调用大模型产生费用
2. 调用 AI 模块内部研判接口（超时默认 120 秒）
3. 成功则更新研判结果，并回写alert.llm_judge_status/llm_judge_detail/information.llm
4. 失败则不 ack，由 Kafka 重新投递，仍失败走死信队列人工处理

3. AI 模块：看图、看视频，输出结构化结论

AI 服务的内部接口实现在 AI/app/blueprints/llm_internal.py，流程是：取研判智能体（RAG 专家）→ 按关联知识库检索 Top-K 参考知识 → 下载告警图片转 base64 调用视觉模型，或用 ffmpeg 切出事件前后的视频片段调用视频模型 → 严格解析 JSON 输出（解析失败还会自动再调一次纯文本对话纠错）。

最终统一归一化为四个字段：confirm（是否成立）、confidence（0~1 置信度）、reason（简短理由）、attributes（可选补充属性）。视频窗口切片逻辑在 AI/app/services/llm_video_clip_service.py：默认取事件片段末尾pre + post秒（例如前 5 秒 + 后 10 秒），并受max_seconds上限保护。

研判规则：一条规则绑定一个"专家"

规则管理入口与逻辑在 VIDEO/app/services/algorithm_task_llm_rule_service.py（接口定义见 VIDEO/app/blueprints/algorithm_task_llm_rule.py）。在算法任务页的"大模型（LLM）后处理"区块中配置，每条规则的核心参数如下：

一个典型配置组合：安全帽检测用视频门控（前 5 秒 + 后 10 秒片段、fail_policy=reject，确认才发通知、失败抑制），区域入侵用图片回写（只增强展示不拦截），再配一条兜底图片研判规则（60 秒节流）覆盖其余事件。任务级总开关llm_post_process_enabled会随首条规则自动开启，删光规则后自动关闭。

门控模式：只让"可信"告警打扰人

secondary_judge=true是这套能力最有价值的用法——研判门控：

• 命中门控规则的告警，通知先被"按住"不发
• 大模型判定confirm=true→ 补发通知，告警状态confirmed
• 判定confirm=false→ 抑制通知，告警状态rejected，并留下驳回理由（比如"人员位于警戒线外侧的公共通道，未进入禁入区域"）
• 研判失败 → 按fail_policy决定放行或抑制

在告警详情页的"大模型研判"区块可以看到每条告警的五种展示形态：confirmed（事件成立）、rejected（误报驳回）、error（研判失败）、pending（已投递待执行）、not_sampled（未命中规则未采样）。同时任务级统计接口 get_llm_stats 给出覆盖率、确认/驳回分布、平均研判耗时，方便你量化评估"滤掉多少误报、花了多少时间"。

快速体验：一条命令造出完整演示数据

仓库自带幂等造数脚本 AI/scripts/llm_judge_demo/llm_judge_demo_seed.py，它会创建两个演示算法任务（实时研判 / 抓拍研判）、4 条覆盖"视频门控 / 图片回写 / 兜底 / 抓拍门控"的规则，以及 6 条覆盖五种研判状态的告警：

python3 llm_judge_demo/llm_judge_demo_seed.py

之后在算法任务页打开对应任务，进入"大模型（LLM）后处理"区块查看研判规则，再到告警页点开详情即可看到大模型给出的结论与理由。

小结

EasyAIoT 的 LLM 告警二次研判，本质上是在"算法检测"和"人工响应"之间插入一层多模态大模型质检员：独立队列保证不拖慢主链路，采样率与节流控制调用成本，门控模式确保通知只推送可信事件，而完整的confirm / confidence / reason审计记录让每一次"滤掉误报"都有据可查。对值班人员来说，这意味着告警箱里的每一条都更值得点开。

• 后端
• 前端
• 人工智能
• 大模型
• 模型推理服务
• 微调
• 计算机视觉
• 音视频