核心要点速览
- 先把「误判」拆成四类:误报(合格判不良)、漏检(不良判合格)、边界样本(判定标准本身就模糊)、模型漂移(换型、换料、光照或相机变化后表现下滑)。四类成因不同,对策也不同。
- 阈值不是越严越好:按业务代价定判定线。漏检流到客户的代价远高于误报多一次人工复核,就应偏向严判并把误报交给复核消化;反之若误报直接卡住产线节拍,则要设置分流而不是一刀切。
- 人工复核不是「多一道人看」,而是把每次判断回流成可训练样本:记录原图、模型结论、人工结论、缺陷类别、原因标签,并设责任岗位确认,样本库才会越用越准。
- 上线后要盯四个指标:误报率、漏检率、复核工作量、分型号分班次的表现差异。只盯一个总体准确率,会掩盖某个型号或夜班光照下的持续劣化。
- 迭代节奏建议每周看复核结论、每月一次小迭代、换型或换料前做一次专项验证;每次模型更新保留版本号与测试集结果,出问题能回退到上一版。
- 投入参考(软件加实施口径,相机与产线改造、年运维另计):复核闭环与阈值调优 1~5 万、含样本回流与持续迭代机制的年度服务费 3~15 万/年;主要成本在复核人力与样本标注,不在重新训练本身。
01先把「误判」拆成四类
现场说「系统不准」,通常混着四件完全不同的事。误报是合格品被判为不良,代价是复核人力与产线节拍;漏检是不良品流到下一工序甚至客户,代价是返工、客诉与信任;两者的优化方向常常相反,混在一起调阈值只会左右挨打。
边界样本是第三类,也是最容易被误当成模型问题的一类:某个划伤算不算不良,判定标准文件写得含糊,两个质检员本来就会给出不同结论。这类分歧的根子在标准没量化(长度、面积、位置、可见度),模型无论怎么训练都会「错」,因为人自己也没有统一答案。解法是先把判定标准写成可测量的口径,再谈模型。
模型漂移是第四类:换新型号、换供应商原料、光源老化、相机位置被碰过、班次间环境光变化,都会让上线时调好的表现慢慢下滑。它的特点是渐进、无告警、总体准确率未必立刻下降——往往先是某一个型号或某一个班次的误报变多,等月度报表发现时已经持续了几周。
诊断顺序建议固定下来:出现误判,先按型号、班次、缺陷类别、置信度区间把最近一批复核记录分组,看异常集中在哪一类;再看是不是边界样本(人工结论是否本身不一致);最后才判断是不是模型需要迭代。跳过前两步直接重训,通常只会把标准分歧继续学进去。
一个务实的前置动作:上线时就给每个判定存下原图、模型结论与置信度、当时的型号与班次、人工复核结论。这份数据不求多完整,但它决定了三个月后还有没有能力定位问题——没有它,所有优化都只能靠回忆和感觉。
02阈值不是越严越好:按业务代价定判定线
视觉质检的判定本质上是在误报与漏检之间选一个平衡点,这个点不该由算法工程师定,而应由业务代价定。问三个问题:漏检流到下游或客户,代价是什么(返工工时、客诉、审厂、召回风险);误报一次,代价是什么(一次人工复核、几分钟节拍);两者发生的频率各是多少。答案清楚了,阈值方向自然就有了。
多数场景下漏检代价显著更高,因此判定线会偏严:宁可多报,再由人工复核把合格品放行。但这里有个前提——误报必须被分流而不是卡住产线。做法是把高置信度不良直接拦截、低置信度与疑似项转入待复核队列,产线继续跑,复核在节拍外完成。如果系统一报警就停机等确认,再合理的阈值也会在两周内被现场关掉。
分品类设阈值往往比全局一个值有效:关键外观面、客户明确要求的缺陷类型从严;非外观面、轻微且不影响功能的缺陷从宽,甚至只记录不拦截。阈值表应由质量责任岗位维护,写进受控文件,变更留版本——它属于质量标准的一部分,不该是后台里一个随手可改的参数。
还要给人工推翻留一条正式通道:复核认为模型判错时,能一键记录「人工结论 + 原因标签」并让该件按人工结论流转。没有这条通道,现场会绕过系统私下放行,数据里只留下「模型判定正确」的假象,复核闭环从根上断掉。
阈值调整的效果要用同一批测试集验证:改一次阈值,把误报数、漏检数、复核工作量的变化记下来,而不是上线后凭感觉调。测试集里应包含足够的边界样本,否则调参只会让好看的样本更好看。
03样本回流:把每次人工复核变成下一轮训练数据
上线后最值钱的资产不是模型,是复核记录。每一次人工推翻或确认,都在告诉系统「真实产线现在长什么样」。要让这份数据可用,回流单至少记五项:原图与采集条件、模型结论与置信度、人工结论、缺陷类别、原因标签(标准不清 / 新缺陷形态 / 光照或遮挡 / 模型置信度低 / 确属误报)。
回流要有确认环节:现场复核结论直接进训练样本听起来高效,但忙时随手点「合格」会把噪声学进模型。通常设一个每周半小时的确认会,由质量或工艺责任岗位抽看本周回流样本,尤其看人工结论不一致的条目——这些恰恰是判定标准需要澄清的地方。
样本库要分版本管理:训练用样本、验证用测试集、上线后回流样本分开存放,测试集不参与训练。每次迭代记录用了哪些样本、训练与测试集上的表现、上线版本号,出问题能回退到上一版。这个纪律不复杂,却是「模型越改越差」最常见的防线。
冷门缺陷与新型缺陷靠回流补:上线时样本少的类别,往往在真实产线上以各种没见过的形态出现。做法是给低置信度样本与人工推翻样本设优先级,先标这些再标随机样本——同样的标注预算,信息量高得多。
还有一层常被忽略:负样本也要回流。只把不良品加进训练库,模型会慢慢变得倾向于判不良,误报率悄悄上升。合格品中被误报的那些图,同样是高价值样本,应与不良样本按实际比例一起进迭代。
04人工复核闭环:谁看、看多久、看了之后记什么
复核岗位与工时要显式设计,不能默认「质检顺手看一下」。建议明确三件事:谁负责(通常质检岗,边界样本升级到工艺或质量工程师)、多久内处理(按产线节拍定,比如当班内清完待复核队列)、积压怎么办(超过阈值触发通知,而不是悄悄堆到月底)。
复核界面要为一线减负:同屏给出原图、模型框出的缺陷位置与类别、置信度、当前判定标准原文,以及「确认 / 推翻 + 原因标签」两个动作。让复核员在别处翻标准文件、或要填五六个字段,队列很快会被用「全部确认」清掉,数据随之失真。
复核工作量本身就是关键指标。上线初期误报偏多是正常的,但如果四周后每日复核件数没有下降趋势,说明阈值或样本没在迭代,或者产线条件发生了变化却没被发现。把复核件数按型号与班次画出来,往往比准确率曲线更早暴露问题。
闭环的最后一环是结论要回到业务:确认为不良的进入返工或判退流程并关联批次,推翻为合格的正常流转,边界样本触发标准澄清并更新判定文件。复核结论若不写回业务单据,追溯链就断在这里——客户问起某批产品的判定依据时,只能给出一张模型截图。
组织上坚持一条:模型输出是建议,判定责任在质检岗位。这既是质量管理的常识,也是让复核数据可信的前提——当复核员知道自己的签署是有责任的,随手点确认的比例会明显下降。
05验收与监控:上线后该看哪些指标
上线验收常被写成「准确率达到某个百分比」,这个口径不够用。建议改成四项基线加监控:误报率(合格被判不良的比例)、漏检率(由下游或抽检发现的不良占比,可用复核与抽检结果估计)、复核工作量(每日待复核件数与平均处理时长)、分组表现差异(按型号、班次、缺陷类别拆开的误报与漏检)。
分组这一项最容易被省,也最值钱。总体准确率 98% 的项目,可能某个夜班因光照变化只有 90%,或某个新型号因样本不足持续误报。只在总体层面看数字,这些问题会一直藏到客诉出现。建议每周按型号与班次出一张小表,异常超过阈值就触发排查。
模型漂移监控不必复杂:盯三个信号即可——低置信度样本占比是否持续上升、人工推翻率是否走高、复核队列是否变长。三者都不需要额外标注成本,却比等月度准确率报表早得多地发现问题。换型、换供应商原料、调整光源或相机后,主动跑一次专项验证,用固定测试集对比新旧表现。
迭代节奏建议:每周看复核结论与分组指标(半小时到一小时的质量例会)、每月一次小迭代(用当月回流样本、同一测试集验证、记录版本)、换型或产线改造前做一次专项验证并保留回退版本。每次迭代的产出是一份简短记录:改了什么、测试集上误报漏检怎么变、上线版本号、回退方式。
验收口径写进合同时,把「上线后」单独列一期:约定试运行期的基线测量方式、复核工作量的上限、迭代频次与响应时限、模型版本与回退机制。多数视觉质检项目的问题不出在交付当天,而出在第三个月无人负责——把持续迭代写进合同,比在上线 demo 上多调两个点更有价值。
06常见坑与投入区间
坑一:误报就停机等确认。再合理的阈值两周内也会被现场关掉。疑似项应转入待复核队列,产线继续跑。
坑二:把标准分歧当模型问题。质检员自己结论都不一致的边界样本,重训多少次也不会准;先把判定标准量化。
坑三:只回流不良样本。被误报的合格品不进样本库,模型会越来越倾向判不良,误报率无声上升。
坑四:复核界面太重。要翻文件、填五个字段,队列就会被「全部确认」清掉,回流数据全失真。
坑五:只看总体准确率。某型号或夜班的持续劣化会被平均值掩盖,直到客诉才暴露。
坑六:没有版本与回退。迭代后变差却回不去上一版,一次坏更新就能让现场彻底停用。
投入参考(软件加实施口径,工业相机、光源与产线改造、年运维另计):上线后的复核闭环与阈值调优 1~5 万(复核界面、原因标签、待办队列与分组报表,2~4 周);含样本回流、月度迭代与模型版本管理的年度服务费 3~15 万/年;多产线多型号含漂移监控与专项验证 15~50 万/年。主要成本在复核人力与样本标注,重新训练本身通常不是大头。均为区间表述,实际以型号数量、缺陷类别数与节拍要求勘察为准。
一句话框架:AI 视觉质检上线后的误判要拆成误报、漏检、边界样本、模型漂移四类分别处理,别混着调阈值。判定线按业务代价定:漏检代价高就从严,但误报必须转入待复核队列而不是卡住产线。每次人工复核都要回流成带原因标签的样本,负样本也要回流,并经责任岗位每周确认。监控盯四项:误报率、漏检率、复核工作量、按型号与班次的分组差异;低置信度占比、人工推翻率、队列长度是漂移的早期信号。节奏是每周看结论、每月一次小迭代、换型前专项验证,每次更新留版本号与回退路径。
常见问题(FAQ)
Q:AI 视觉质检上线后误报很多,怎么调?
先按型号、班次、缺陷类别、置信度区间把复核记录分组,确认异常集中在哪里,再分四类处理:确属误报的合格品图要作为负样本回流;人工结论本身不一致的多为边界样本,根子在判定标准没量化(长度、面积、位置、可见度),应先澄清标准;换型、换料、光源或相机变化导致的是模型漂移,需专项验证。阈值调整按业务代价定方向而非一刀切:漏检代价高就偏严,但把疑似项转入待复核队列让产线继续跑,不要一报警就停机;关键外观面与非外观面可分品类设不同阈值,由质量岗维护受控阈值表。每次调参用同一批测试集记录误报、漏检与复核工作量的变化。
Q:AI 质检的人工复核该怎么做才能越用越准?
关键是把复核变成样本回流闭环,而不是多一道人看。每条回流记录至少包含原图与采集条件、模型结论与置信度、人工结论、缺陷类别、原因标签(标准不清 / 新缺陷形态 / 光照遮挡 / 置信度低 / 确属误报)。设责任岗位每周抽看确认,重点看人工结论不一致的条目;样本库按训练样本、固定测试集、上线后回流样本分版本管理,测试集不参与训练;合格品中被误报的负样本要按实际比例一起进迭代,否则模型会越来越倾向判不良。复核界面同屏给出原图、缺陷框、判定标准原文与「确认/推翻+原因」两个动作,字段一多就会被「全部确认」清掉。
Q:视觉质检模型上线后要监控哪些指标?
四项基线:误报率(合格被判不良)、漏检率(由下游或抽检发现的不良占比)、复核工作量(每日待复核件数与平均处理时长)、按型号/班次/缺陷类别拆开的分组表现。分组最容易被省却最关键——总体准确率 98% 可能掩盖某夜班因光照变化只有 90%。再加三个漂移早期信号:低置信度样本占比是否持续上升、人工推翻率是否走高、复核队列是否变长,三者无需额外标注成本。换型、换供应商原料、调整光源或相机后主动跑一次固定测试集的专项验证。上线四周后复核件数若没有下降趋势,说明阈值或样本没在迭代,或产线条件变了没被发现。
Q:AI 视觉质检上线后的持续迭代大概要花多少钱?
参考区间(软件加实施口径,工业相机、光源、产线改造与年运维另计):复核闭环与阈值调优——复核界面、原因标签、待办队列与分组报表约 1~5 万,周期 2~4 周;含样本回流、月度迭代与模型版本管理的年度服务费约 3~15 万/年;多产线多型号含漂移监控与换型专项验证约 15~50 万/年。主要成本在复核人力与样本标注,重新训练本身通常不是大头。合同里建议把「上线后」单列一期,写清试运行基线测量方式、复核工作量上限、迭代频次与响应时限、模型版本号与回退机制——多数项目的问题不出在交付当天,而出在第三个月无人负责。均为区间表述。