教程 ↗

做一个计算机视觉小项目:用 12 张图检查输入、输出与误判

用 Python 标准库识别原创圆与方块,记录阈值、连通域和真实误判,比较光照、尺寸、遮挡变化,并提供完整复现包。

从原创图像经过阈值分割、特征提取到预期与实际核对的视觉项目流程

一个方块被遮住右上角后,这个视觉程序把它认成了圆。包围盒位置完全正确,类别却错了:程序看到的填充率是 0.759345,完整圆的填充率是 0.755073,仅凭这个数字几乎分不开。

这很适合作为第一个计算机视觉项目。开发者可以把输入、算法、中间数据和标准答案全部握在自己手里,看到成功发生在哪里,也能找到误判的具体原因。本文的任务是识别灰度图中的圆和方块,输出数量、类别与包围盒;用 12 张原创合成图改变亮度、尺寸、遮挡与相接条件,再比较结果。

实验版本为 1.0.0,实际运行环境是 Python 3.9.6,只使用标准库。没有训练模型、下载权重或上传图片。文章中的结果来自实际运行,合成图用来控制变量,真实相机照片的表现还需要另行验证。

先把项目写成可以判对错的任务

“做图像识别”还不够具体。这里给算法的输入是一张 160 × 120 灰度栅格,像素值从 0 到 255。背景较亮,形状较暗;圆和方块保持轴对齐,完整形状留在画面内。算法只接收像素数组,不接收生成器保存的类别或坐标。

输出的每个对象包含四类信息:

{
  "label": "circle",
  "bbox": [54, 34, 53, 53],
  "area": 2121,
  "fill": 0.755073,
  "aspect": 1.0
}

bbox 是 [x, y, width, height],坐标原点在左上角。area 是该连通域的前景像素数,fill 是面积除以包围盒面积,aspect 是包围盒宽高比。程序也允许返回 unknown 或空列表,让无法归类与没有检测结果有各自的表达。

生成器另外保存标准答案,评估时才使用它。遮挡样本的答案仍是原本的完整对象和原始包围盒:本文要求识别“被遮挡的方块”,因此算法只识别可见轮廓时会承担相应的错误。这条定义应在运行之前写清楚。

一张图通过,需要同时满足:检测数量与标准答案一致;每个对象能一对一匹配;匹配对象类别正确;包围盒交并比 IoU 至少为 0.50。空白图只有在没有检测结果时通过。这样的标准能区分“位置对、类别错”和“两个对象合成一个框”。

用原创图让标准答案可追溯

下载完整复现包。解压到一个单独目录后,里面有:

文件用途
experiment.py生成样本、运行两种阈值方法、评估和写出结果
verify.py检查 PNG 字节与分析像素一致、重复运行稳定以及关键误判
viewer.html、viewer-template.html在浏览器中查看保存的输入、包围盒和中间数据
results/inputs/*.png12 张原始输入图
results/report.json、results/results.csv完整数值和便于比较的表格
checksums.json生成产物的 SHA-256 摘要

在已有 Python 3 的环境中运行:

python3 experiment.py
python3 verify.py
python3 -m http.server 4342 --bind 127.0.0.1

打开 http://127.0.0.1:4342/viewer.html,选择样本和阈值方法即可查看结果。查看器展示 Python 已写出的结果,用 Canvas 绘制原图和包围盒;选择菜单不会重新训练或运行识别。修改规则或样本后,先重新运行 experiment.py,再刷新页面。查看结束用 Ctrl+C 停止本地服务。

样本生成不使用随机数。大圆半径为 26 像素,方块边长为 53 像素。圆按像素中心到圆心的距离绘制,所以外接框是 53 × 53,实际前景面积是 2121,填充率约 0.755,并非连续几何中的精确 π/4。

12 张图由完整圆与方块各一张、暗背景圆与方块各一张、低对比圆与方块各一张、小尺寸圆与方块各一张、遮挡圆与方块各一张、相接双圆一张、空白一张组成。相接图有两个标准答案,空白图没有对象,因此总计 12 个对象。

这些 PNG 和算法输入来自同一份原创像素数组。验证脚本再从保存的 PNG 解压读取像素,重新跑检测并比对结果;这能核对读者下载到的图确实对应文章数字。

把数据流拆成四个可查看的阶段

第一步是阈值分割。初版把灰度低于 180 的像素标为前景:

threshold = 180
mask = [pixel < threshold for pixel in pixels]

第二步是四邻域连通域。程序用队列从一个前景像素出发,访问它的左、右、上、下相邻像素,直到这一片前景被走完。对角接触是否合并会受邻域定义影响,这个版本只用四邻域。队列由 Python 的 collections.deque 提供。

第三步是提取与分类。面积小于 64 像素的连通域被过滤。留下的对象先检查宽高比是否在 0.85–1.15:接近方形时,填充率在 0.70–0.88 判为圆,至少 0.90 判为方块;其他情况返回 unknown。

fill = area / (bbox_width * bbox_height)
aspect = bbox_width / bbox_height
label = "unknown"
if 0.85 <= aspect <= 1.15:
    if 0.70 <= fill <= 0.88:
        label = "circle"
    elif fill >= 0.90:
        label = "square"

这组规则是本实验的简单基线,目的在于把错误露出来。它会把相似面积分布的不同轮廓压成同一种特征,遮挡样本马上就能检验这个选择。

第四步是评估。程序计算预测框与答案框的 IoU,即交集面积除以并集面积,再按 IoU 从高到低进行一对一匹配。匹配之后才计类别是否正确。这个小实验采用贪心匹配;复杂拥挤场景可能需要更合适的匹配策略。

本地查看器输出完整圆的检测框,面积为 2121、填充率为 0.755073

完整圆通过了数量、位置和类别检查,查看器同时保留了分类依据。

改变亮度,看看第一步怎样拖累后面

正常样本的背景为 235,形状为 40,固定阈值 180 可以把它们分开。暗背景样本改成背景 100、形状 60,两者都小于 180:整幅图的 19,200 个像素都进入同一个连通域,包围盒变成 [0, 0, 160, 120],类别是 unknown。

暗背景圆使用固定阈值后,整幅画面被检测成一个 unknown 连通域

背景和物体一起进入了前景;这次错误从分割开始。

这给出一个直接的改进:在本组均匀背景图里,左上角一定是背景,取它的灰度减 20 作为阈值。

threshold = max(0, pixels[0] - 20)

暗背景样本的阈值变成 80,背景 100 被排除,形状 60 被保留。正常与低对比样本的阈值为 215,连灰度为 210 的浅色形状也能保留。其余步骤和分类参数全部保持一致,便于判断改动究竟解决了什么。

暗背景圆改用背景相对阈值 80 后,输出恢复为正确的圆和包围盒

相同输入仅更换阈值方法,前景像素从 19,200 回到 2121。

这里模拟的是全图亮度与对比度变化,画面没有渐变阴影、反光和噪声。左上角被物体覆盖、背景不均匀,或物体与背景差小于等于 20 时,这个方法可能失败;空间局部阈值或更多背景采样点值得另做实验,本文没有把它们写成已验证的改进。

把成功与剩余错误放在同一张表里

两种方法使用同一批 12 张图和同一套通过标准:

输入条件固定阈值 180背景灰度减 20
完整圆 / 方块两张通过两张通过
暗背景圆 / 方块两张均得到整图 unknown两张通过
低对比圆 / 方块两张均无检测两张通过
小圆 / 小方块两张均无检测两张均无检测
遮挡圆unknown,类别错误同样错误
遮挡方块circle,类别错误同样错误
相接双圆只有一个 unknown同样错误
空白通过通过

固定阈值通过 3/12 场景,背景相对阈值通过 7/12 场景。在 12 个标准答案对象中,位置达到 IoU 门槛的匹配数从 5 个增加到 9 个,类别正确的对象从 2 个增加到 6 个。场景通过率和对象类别正确数的分母不同,空白图也参与前一个指标。

这个对照使用了看过的同一批受控样本,可以证明四个亮度相关失败被修正。它还没有独立保留的测试集,7/12 应当作为这组回归样本的结果,不能外推为真实照片准确率。

小圆半径为 4,面积 49;小方块边长为 7,面积也为 49,都被 64 像素的过滤规则删掉了。降低最小面积可以让它们进入分类,但小圆的外接框是 9 × 9,填充率只有 49/81 ≈ 0.605,仍然落在当前圆规则之外。尺寸改变后,既要看过滤条件,也要看离散像素怎样改变特征。

遮挡圆剩下的框为 33 × 53,宽高比约 0.623,无法通过近似方形条件。它与原框的 IoU 约为 0.623,位置匹配却没有正确类别。

最有用的误判是遮挡方块。右上角删掉 26 × 26 的像素后,外接框仍然是 53 × 53,面积从 2809 变成 2133,填充率进入圆的区间。IoU 为 1.0,算法照样判错。

真实误判:右上角被遮挡的方块被分类为圆,位置框正确但类别错误

填充率保留了面积分布,却丢掉了凹角与轮廓形状。

相接双圆在一个边缘像素处相连,四邻域搜索把它们合成一个面积 4241、包围盒 105 × 53 的连通域。合并框最多匹配一个答案,宽高比约 1.981,最终返回 unknown。若任务要数相接物体,分开实例就成为核心问题,继续调同一个全局阈值解决不了它。

用误判决定下一步投入

这个项目已经回答了三个实际问题:给定输入怎样产生一个可检查的输出,怎样定义成功,以及改变条件后错误发生在哪一步。下一步可以按目标选择,而不是一开始就把所有方法放进去。

如果目标是干净背景上的尺寸一致图标,当前规则有清楚的工作条件,可以再加入旋转、不同位置与少量噪声作为独立验证样本。如果目标是小图标,应先重做面积与形状特征的尺度处理;如果目标是遮挡物体,轮廓、凹凸结构或模板匹配比继续微调填充率更接近问题。如果要分析自然照片,采集规则、标注和独立测试集会成为新的主要工作。

复现包保留了全部失败,也保留了输入 PNG、完整 JSON、CSV 和源代码。verify.py 实际检查了 12 张保存图片在两种方法下重现同样检测结果,重复运行的产物摘要一致,并确认了方块误判为圆的记录。读者可以从 SPECS 加一个样本,再从报告中追踪它经过阈值、连通域、分类和评估之后发生了什么。

PNG 输出使用标准库 zlib 压缩;查看器使用 Canvas 的 drawImage() 绘制保存的原图。识别规则是复现包中的自写代码。这个小项目的价值在于每个结果都能回到输入与计算过程,下一次修改也有明确的核对对象。

← 返回列表