这个东西，说难也难，说简单也简单。我刚接手这套智能垃圾分类识别系统的时候，第一反应其实是抗拒，因为过去两三年看过太多类似的方案：一个摄像头加一个目标检测模型，再配一个分类网络，就能贴在宣传栏上叫“AI智能分类垃圾房”。真到现场一测，厨余桶里混了半个塑料瓶，模型直接装死；换个小区，连垃圾桶盖都认不准。后来我把整条链路的核心裁决位换成大模型来兜底，识别准确率才真正有了肉眼可见的提升。这篇就把我在“大模型赋能智能垃圾分类”这个方向上的完整思路、架构设计和细节实现梳理一遍，给正在同类项目里折腾的朋友一个参考。

1. 先别谈大模型：传统方案到底死在哪

1.1 垃圾分类场景的四个硬核难点

做垃圾分类识别，绝不是“给一张图，说这是什么垃圾”那么简单。真正到投放点一看，全是传统视觉模型的噩梦。

第一个难点是目标尺度极端不均匀。一袋子生活垃圾里既有整瓶的可乐瓶，也有两根牙签、一颗烟头、一个瓶盖，甚至是一张被揉成指甲盖大小的快递单。检测模型的目标框要在这些极小目标上框准，本身就很难，而后续分类模型的输入往往是检测框裁剪出来的小图，信息量更小，错误就顺理成章往下传。

第二个难点是类间相似和状态污染。再生塑料瓶和塑料外卖盒，材质接近、形态各异，但回收路径完全不一样。一个沾满油污的外卖盒，在传统模型眼里可能仍然是个干净的塑料盒，但业务上它已经属于“受污染的可回收物”，很可能只能当其他垃圾处理。更不用说玻璃瓶和陶瓷碗、纸杯和塑料杯，人眼都容易打眼，更别说让一个纯视觉分类网络去学。

第三个难点是遮挡和混合投放。绝大多数居民投放垃圾，不是整齐地把单件物品放到镜头下，而是把一整个垃圾袋直接扔进桶里。摄像头拍到的是袋口里伸出一半的易拉罐、被菜叶盖住的牛奶盒、三个物品叠在一起的画面。目标检测要在这种情况下输出各自的精确框，几乎不可能。

第四个难点是现场环境太复杂。夏天的傍晚，投放点灯光昏暗，反光严重；冬天的早晨，垃圾桶盖蒙了一层雾气；下雨天，摄像头玻璃上全是水珠。模型训练时用的那些“干净图片”在真实环境里根本不顶用。

1.2 传统视觉方案的困局

传统方案的标准组合拳，基本就是一条链路：先用目标检测模型（比如YOLO系列）在画面里找到垃圾物体的位置，再对每一个检测框做分类，分类网络通常是ResNet这类卷积模型，最后把输出概率和预设阈值比对，决定垃圾该进哪个桶。

这个组合在工业质检、安防领域确实成熟，但放到垃圾分类上，有一个致命前提撑不住：数据闭环无法收敛。

垃圾分类的类目不是固定的。某个街道的管理方可能要求分出“玻璃”“金属”“塑料”“纸类”，另一个街道可能要求“纸盒”和“纸箱”分开算，到了下游再生资源厂，他们的收购清单又是另一套口径。每次换一套类目，传统方案的代价就是重新采集数据、重新标注、重新训练模型。就算类目固定，也要面对数据长尾问题——有大量冷门物品出现的频率极低，比如体温计碎壳、口红管、打火机，样本数几十张，网络根本学不稳。我见过一个训练集里“铅蓄电池”只有五十多张图的模型，评测时自信心爆棚，现场测试连方向都认不清，这就是典型的样本偏差背锅。

再者，场景迁移能力太差。同一个模型，在这个小区调好了参数，换到隔壁街道的垃圾房，因为光照角度、摄像头安装高度、垃圾桶颜色全变了，准确率直接掉五六个点。运维人员只能回到现场重新采集数据补训。

最折磨人的是置信度不可用。模型经常给出“0.92”的高置信度，但它的判断理由根本无从解释。它可能只是学了个背景特征——比如垃圾桶是蓝色的，或者投放点台面是瓷砖，跟垃圾本身毫无关系。排查问题只能靠猜，这是所有现场项目经理最崩溃的地方。

1.3 我的思路转折点

真正让我决定转到大模型方向，是一次很具体的现场事故。那天投放点丢进来一个被外卖汤汁泡过的纸袋，里面还卷着几张纸巾、一个小铁勺。传统检测链路的处理结果是：“塑料袋，置信度0.87”，直接导入了其他垃圾——它把湿透的纸袋完全看出了塑料质感。从视觉纹理上说，那团东西确实反光、偏白、皱巴巴的，很像塑料袋。

后来我用一个多模态大模型接同一张图重新跑了一遍，它在推理里明确分出了“纸质材料”“表面湿润”“粘连异物”，最后判断为受污染纸制品，归类到其他垃圾。这个结论不是“概率”给的，而是“证据链”给出来的。那一刻我意识到，大模型真正改变的不只是识别率这个数字，而是把一条从感知到业务的完整推理链带进了系统。

2. 技术选型和整体链路设计

2.1 三层识别架构：想让大模型省钱，必须分层

把大模型接到垃圾分类里，第一个想法往往是把所有投放图片全部传给大模型，让它输出垃圾类别。技术上可行，但运营上不可行，一张图请求一次大模型，高峰期投放点一秒内可能进多个物品，全都异步排队，体验必然崩。更别提推理成本，对着几百个投放点长期全线调用，费用一点都不低。

所以我做的第一件事，不是选模型，而是设计分层架构。整个识别链路分三层，每一层各干各的：

思路其实很朴素：把系统里改变成本最大的计算资源，留给最值得的样本。每天投放到点上的垃圾，大量是外卖盒、饮料瓶、快递纸箱，这些类目在长期积累的样本上，边缘小模型已经能达到很高的置信度，没必要再发一次云端。真正需要大模型出手的，是那些边缘模型都拿不准的“歪瓜裂枣”，比如沾满沙土的拖鞋、烧了一半的塑料桶、被压扁的易拉罐和玻璃瓶叠在一起。做来做去，系统终于像一个老员工：熟活儿快手快脚，难题交给专家。

2.2 为什么是“先检后识”，不是一张图直接丢给大模型

有人会问：大模型视觉能力那么强，为什么还要保留目标检测器，不直接把整张监控画面丢给它？

原因有三个。

其一，垃圾分类的监控画面背景干扰太强了。投放点经常有桶盖、扶手、宣传海报、地面瓷砖，甚至捡垃圾的师傅弯腰的身影。全图直接进大模型，它的注意力会被无关信息分散。把目标框裁出来，相当于主动帮它做一次注意力聚焦，识别准确率立刻上一个台阶。

其二，整图直接进大模型，输入分辨率不够。API服务通常会对图片长边缩放，监控画面里一个瓶盖只有十几个像素，缩放之后基本就是一团色块。检测器先在原图上把瓶盖找出来，再对这个小区域做放大裁剪，大模型看到的才是有效细节。

其三，合规和隐私。监控画面会拍到人脸、车牌，甚至快递面单上的电话。直接在边缘侧把非目标区域裁掉再上云，好过整图上传再让云端去“忽略”。这个后面单独展开。

整个链路的伪代码逻辑是这样的：

def recognize(monitor_frame): # 第一步：目标检测，找出潜在垃圾对象框 boxes = detector(monitor_frame) # 返回 [x1,y1,x2,y2,cls,score] boxes = filter_by_area(boxes) # 过滤过小、过大、静止背景框 boxes = sort_by_area_desc(boxes) # 多目标按面积从大到小排序 result_items = [] for box in boxes: roi = crop_and_upscale(monitor_frame, box) # 裁剪并缩放ROI roi = face_blur(roi) # 本地脱敏：人脸/二维码打码 # 第二步：先让轻量模型试试 pre_cls, pre_score = light_classifier(roi) if pre_score >= CONFIDENT_THRESHOLD and pre_cls not in AMBIGUOUS_SET: result_items.append(pre_cls) continue # 第三步：低置信度交给大模型 llm_result = multimodal_llm(roi, prompt_template) result_items.append(parse_llm_json(llm_result)) return result_items

2.3 类别体系：决定整个数据体系的“地基”

在这一类项目做起来的团队，最容易犯的一个错误就是：模型还没选，先把类目列了一大堆，什么“可回收物-塑料类-PET塑料瓶-透明色”，然后对着几百个细分品类去标数据。做了两个月发现，每个类目只有几十张样本，模型完全没法训练。

我的看法是，类目体系必须配置成三层：大类-细分类目-属性描述。识别模型只输出细分类目，但提示词要求大模型同时填充几个关键属性字段。

举个实际例子：

为什么要这么做？因为业务决策不只看“它是什么”，还要看“它现在的状态”。同一个PET塑料瓶，瓶内没清洗干净、带油污，在多数下游回收体系里按“低值可回收物”对待；一个碎了的玻璃酒瓶，如果是用户直接丢进可回收物桶，清运工人可能会拒收，因为会划伤人。

所以我在提示词里专门要求大模型输出“污染状态”“完整性”这类业务字段，而不是简简单单一个“塑料瓶”标签。这也是后面跟环卫清运系统对接时最有价值的信息。

2.4 模型选型：不要只看跑分，要拿脏图实测

选多模态大模型这件事，市面上的方案很多，API类、私有化部署的开源模型都有。我的经验是，不要迷信跑分榜单，也不要用官方Demo里的精美测试图做决定，要拿自己垃圾桶里的实拍脏图去测。我当年做选型对比时，专门准备了一个“地狱测试集”，里面全是逆光、遮挡、湿垃圾粘连、夜间闪光灯等边角料图，很多在Demo里表现很好的模型在这套测试集上直接现原形。

选型上要重点看四个能力：

第一是中文理解能力。垃圾分类的标准名和俗名差别很大，比如“蛇皮袋”就是编织袋，“泡沫箱子”是EPS塑料，“酸奶盖”可能是PP或PE材质，模型得能从俗语推回标准类目。

第二是结构化输出能力。模型能不能稳定地输出JSON格式，而不是夹带解释性文字。这块差距挺大的，不少模型你让它输出JSON，它会在一段散文后给你挤出一个残缺的JSON。

第三是图像分辨率覆盖能力。很多模型对输入分辨率有限制，小图识别能力差。这个问题可以通过我们前面说的“先检后识”环节减轻，但还是要实测。

第四是推理成本和时延。在预算不充裕的情况下，用开源小模型私有化部署省成本，但效果会有折扣；用云端API效果好，但单张图成本高。我们最终选的是混合路线：常规大模型走云端API，关键投放点部署一套开源的轻量多模态模型做断网应急，双保险。

3. 核心模块的实现细节

3.1 提示词工程：把“这是什么垃圾”拆成四步推理

大模型接入识别链路后，最容易被低估的就是提示词设计。很多人第一版提示词就一句话：“请帮我判断图片里的物品属于哪类垃圾。”这个大模型也答，但只能给你一个分类名，没有依据、没有属性、还经常张冠李戴。我尝试过很多版本后，最终固定了一套“四步推理”提示词模板。

核心思路是：不要问模型“这是什么垃圾”，而要引导它先说“我看到了什么材料、什么状态”，再推导“它该进哪个归宿”。

下面是我们线上在用的提示词模板（按功能做了精简）：

系统角色设定： 你是一名社区垃圾分类投放点的智能识别助手，你的任务是分析摄像头拍摄的投放物品图片，输出该物品的归类建议。 请按以下步骤推理，但只输出最终JSON，不要输出中间推理过程： 第一步：材质识别。判断物品的主要构成材质，如PET塑料、HDPE塑料、玻璃、纸类、金属、复合材质等。如果物品表面明显沾有油污、食物残渣、水分，请在“污染状态”中描述。 第二步：形态判断。判断物品当前形态，如完整、挤压、破碎、卷曲、粘附其他物品等。 第三步：归类计算。基于以上信息，按垃圾分类标准判定细分类目和大类。 第四步：置信度输出。评估你判断的置信度，范围为0到1。 要求： 1. 只输出JSON对象，禁止输出任何解释性内容。 2. 如果图片中包含多个物体，请逐一列出。 3. 如果无法判断，输出{"unknown": true}，不要强行猜测。

对应的few-shot示例会在系统里维护十条左右，覆盖难样本类型，比如“沾满油污的外卖盒”“破碎玻璃瓶”“湿纸箱”。示例的意义是把模糊的标准量化。单纯说“要小心污染情况”，模型未必当回事，但给三个污染样本示例后，模型会在输出里乖乖带上这一项。

3.2 结构化输出与置信度校验

提示词要求只输出JSON，但模型不是傻子，有时候真会“自由发挥”。为了在生产环境里不翻车，我做了两件事。

其一，解析侧很严格。任何一条回复，只要JSON解析失败，立即进入重试逻辑，最多重试两次。如果重试仍失败，系统不会继续等，而是走“存疑”通道，把图片推给后台人工审核。不让模型在投放点现场无限拖时间。

其二，置信度不是照单全收。大模型输出的置信度字段，我会让它经过一个业务校准函数，这个函数结合三类信息：当前投放点的历史类别分布、检测框的面积与清晰度、以及相似物品在该时段的误报率。说白了，同样是置信度0.7，一个在“塑料瓶”类目历史上很稳定的点位，我会放行；一个出现过多次“纸盒误判成塑料盒”的点位，我会把它打回大模型重审一次。

校准逻辑不能写得过于复杂，否则就钻到死胡同里去了。我自己的经验是：业务规则永远只处理边界case，主链路要朴实无华，这样才能长期稳定维护。

3.3 数据回流闭环：让边缘模型越用越聪明

前面说过，大模型不能所有图都接，否则成本顶不住。那怎么让边缘轻量模型的准确率随时间上升、大模型的被依赖率随之下呢？答案是搭一条数据回流闭环。

逻辑是这样的：第一层边缘模型输出的低置信度样本，会进入第二层大模型。大模型识别完成后，如果置信度也很高，我会把它当作“伪标签”缓存下来。每天结束后，系统会把当天积累的伪标签按类目分组，做一次抽检，人工复核其中5%~10%。复核通过的数据进入边缘模型的增量训练集，每两到三天触发一次微调训练。边缘模型在增量训练后，对这批“曾经不会做的题”就不再陌生，下一次同样的物品进来，在第一层就能直接给出正确答案。

这个闭环跑了两个月，最直观的数据变化是：第二层大模型的调用占比从初始的接近100%降到了25%左右，而轻量模型本身对高频类目的识别准确率从不足85%拉到了95%以上。代价是Ops同学每周要花两小时做数据抽检，以及增量训练和发布的工作，这个投入很值。

3.4 摄像头局部抠图与脱敏处理

垃圾分类摄像头拍到的画面里，隔三差五就会出现人脸、手部纹路、快递单上的电话、二维码。这类数据直接上传云端，不仅不合规，还会给运维带来麻烦。为了规避风险，我们在边缘侧加了一道处理：先跑一个人脸检测模型，把框内区域的像素做高斯模糊；再用一个二维码/文本检测器，把疑似二维码和一串串数字区域做马赛克处理。最后再通过目标检测把垃圾ROI裁出来，只把裁剪后的局部图上送云端大模型。

一开始团队里也有人嫌麻烦，觉得多一道处理浪费算力。后来有一次一个投放点的摄像头拍到一位居民弯腰丢垃圾，整张图里有清晰人脸，如果这张原图直接出境，后续出了问题根本说不清。加了这个处理流程，至少在隐私边界上站得住脚。

4. 部署方案与实测数据

4.1 要不要私有化部署：把账算清楚

项目推进到部署阶段，首先要回答的问题是：大模型放在哪。三种路线我都盘点过，成本和效果差异非常大。

我们最后选了混合路线。最初两个月用云端API跑通流程、积累数据、验证准确率，同时准备一套轻量开源模型的私有化服务，放在本地机房。等私有化小模型在评测集上达到可接受水平，就把高频类目切到本地，云端大模型只处理低置信度case。这个切换过程大约花了两周，属于平滑过渡，没有出现投放点断档。

4.2 缓存策略：大模型调用成本怎么压下来

老老实实说，纯靠大模型API做识别，重复计算非常严重。同一个投放点，同一个居民，一周内可能丢过三个差不多的饮料瓶，画面内容高度雷同。如果每次都让大模型重新看一遍，钱就白花了。

我在系统里加了一层结果缓存。缓存的key不是原图的哈希，而是“感知哈希+检测结果哈希”的组合：先计算裁剪ROI的感知哈希（pHash），再拼接检测器给出的类别和尺寸信息。这样两张完全相同但分辨率略有不同的图片，也能命中同一个缓存。命中缓存后，直接返回历史结果，时延降至约200毫秒左右。

实测下来，缓存命中率在第一周就达到25%以上，后面随着运行时间增加稳定在40%~50%。对系统整体成本体系来说，这一个策略砍掉了将近一半的大模型请求。

4.3 落地部署中容易让人破防的坑

部署阶段踩过的坑类型比较杂，挑三个印象深的写一下。

第一个是边缘盒子的散热和防尘。垃圾分类投放点通常放在户外，封闭式设备间夏天温度能到50摄氏度，边缘盒子一年内过热重启了七八次。后来我专门在设备箱里加装了散热风扇，并做了温度告警，才算消停。奉劝所有做这类项目的人，别只盯着算法，设备环境是拦路虎。

第二个是断网回退。投放点的网络是运营商专线，但偶尔会抖动掉线。一次断网，云端大模型全部调用失败，第一版系统直接罢工。后来我把本地私有化模型作为断网应急通道，并加了缓冲队列，断网期间识别请求落进队列，网络恢复后按序补处理。用户可能会等几秒，但不会完全黑屏。

第三个是API限流和退避。大模型API有并发限制和每分钟请求数限制，投放点早晚高峰期很容易触顶。我们的对策是两层：调用侧加并发池，池内请求溢出时走本地模型；限流后按指数退避重试，而不是蛮力重试。这块做不好，早晚高峰系统就大面积超时。

4.4 效果指标：别只报一个准确率

项目上线三个月后，我们整理了一组定量指标。必须说明，指标都是“分桶看”的，不能只看一个综合准确率，否则会把问题掩盖掉。

综合识别准确率从传统方案时代的约88%提升到96%以上；在模型参与决策的case里，大模型贡献了超过七成的正确纠偏。第一层轻量模型处理约75%的流量，整体P95时延约1.8秒，P50时延小于700毫秒。单点成本上，平均每张投放图片的大模型费用从初期的几分钱降到了不到一分钱。

但这个结果不是靠单一模型“卷”出来的，是靠“分层+缓存+数据回流”三个模块协同。这也是我认为这套方案可以复用的关键。

5. 问题排查和避坑实录

5.1 典型案例一：大模型把塑料瓶认成了塑料杯

上线第二周，客服反馈某投放点连续三次把“塑料水瓶”识别成“塑料杯”，用户气到跟督导员吵起来。排查时我先重放了原始图，确实是个被压扁的330ml矿泉水瓶，瓶身标签已经磨损，加上光线暗，人眼也容易犹豫。但深层原因还在提示词，系统没有明确要求区分“瓶”和“杯”。我加了两条few-shot样本，一条是矿泉水瓶，一条是奶茶杯，同时在提示词里写明“带瓶口螺纹且曾密封的视为瓶类；杯口敞开无密封设计的视为杯类”。加了之后这类case没再复发。

这个case给我的教训是：提示词的边界要用例子框出来，不是靠抽象描述。

5.2 典型案例二：高峰时段识别太慢，用户干等

第一版是同步逻辑：摄像头拍到投放行为，传图给识别服务，识别完才打开桶盖或亮绿灯。早晚高峰时段，大模型时延一上来，满屏排队，居民站在投放点前等，差评如潮。

改成异步逻辑后，先打开桶盖让用户投递，拍摄的图片在后台异步识别。如果识别出问题，系统通过语音提醒“您刚才投放的物品疑似为厨余垃圾，请注意分类”。这个改动不需要换模型，纯粹是系统设计，实际体验提升非常明显。很多项目优化到一半就停在技术上，忘了用户要的是“别站在垃圾桶前尴尬”。

5.3 典型案例三：混合投放，一张图里有三个物品

厨余桶里一次扔进去一个苹果核、一团纸巾、一个塑料袋。检测器输出三个框，各自裁剪后分别调大模型，其中有纸巾这张图，大模型给了“可回收物-纸巾”的建议，在业务规则里被否决——因为沾了厨余的纸巾应视为其他垃圾。这个否决规则很关键，它当天就拦住了至少三十次错误提示。

跑这个case之后，我给系统加了一条铁律：同一投放时间窗口内，如果同时检出多个物品，优先按“污染协同”规则处理。比如食物残渣与纸类同时出现，默认纸类已受污染，不再单独判“可回收”。这种规则不是模型学会的，是业务方拍板的，写死在规则引擎里最稳。

5.4 典型问题速查表

6. 还能拓展的方向与一点个人建议

6.1 四条值得做的扩展路径

第一个方向是投放行为分析。识别系统每天都在记录“什么时间、什么点位、什么物品被投放”，这些数据可以汇总成居民投放习惯画像。比如某个点位工作日晚八点厨余垃圾占比异常高，就可以调整该点位的清运时间，从一天两运改成一天三运。

第二个方向是违规投放溯源。识别到有害垃圾被误投放后，系统可以结合投放时间窗和摄像头画面，给督导员推送“疑似投放事件”提醒，让溯源时间从视频回放几小时缩到一分钟以内。

第三个方向是语音交互和现场提示。识别结果输出后，在投放点屏幕弹提示语：“玻璃瓶请投放至可回收箱，投放前请倒空残留液体。”这个功能实现成本不高，但对居民的行为纠偏价值很大。

第四个方向是回收积分体系和碳普惠联动。反正已经有了识别结果，顺手把“正确分类一次”记成积分，数据可无缝对接街道已有的积分体系，运营上是个亮点。

6.2 最后说点实际的个人经验

如果你正准备做一个类似的“大模型赋能XX识别”项目，我给你三点建议。

第一，不要再把大模型当玩具跑Demo，要做“脏数据闭环”。从第一天起把线上的失败case积累起来，每一周组织一次“错题重考”，模型提升的速度会快很多。

第二，不要在类目体系上用力过猛。开始阶段只做业务方最关心的十个类目，跑通闭环，比做一百个类目最后全部飘在PPT上更重要。类目体系要设计成可扩展的，先拆好大类，细分类目后补，这样后续加类目不用推翻重来。

第三，也是最核心的一句：方案设计里最值钱的部分，从来不是模型本身，而是“哪些话让模型说，哪些话让规则说”。我在这个项目里最花心思的地方，不是调大模型，而是设计那一道“什么时候该问大模型”的闸门。这个闸门守好了，成本和准确率会同时给你回报。

这套系统到现在还在持续迭代，后续的计划是把缓存策略从“结果缓存”升级成“意图缓存”——同一个投放位、同一个时段、相似画面，直接复用上一轮的整体决策。实测下来还能再砍掉一部分大模型请求。如果到时候有新的数据，我再补一篇续文。