简介这份PDF文档聚焦基于App Inventor的图像识别APP设计适合零基础或对人工智能感兴趣的中学生、编程初学者作为入门参考也可供信息技术教师作为教学拓展与专业指导素材。文档从开发环境讲起介绍App Inventor在线积木式编程工具与MLforkids机器学习训练环境并借助IBM Watson后台完成模型训练随后以“手机捉迷藏”游戏为例逐步演示样本拍照收集、标签标记、模型导入、APP组件属性配置、ML4K模块逻辑设计与功能测试的完整开发流程。文中还整理了组件设计参数表、逻辑设计模块和运行效果截图读者可对照快速复现识别兔子、猫咪、剪刀的小游戏并了解样本多样性对准确率的影响。针对图像识别中的图片尺寸、旋转、缩放以及模型准确率、召回率、F1-score、过拟合与欠拟合等要点均有说明可帮助读者理解监督学习背后的原理。资源为单个PDF文件大小约1.55MB内容紧凑、步骤清晰。已有2826人学习下载适合作为APP应用开发、数据分析方向的参考文献。1. 一个拍照验证的捉迷藏游戏把监督学习装进手机让学生藏好一只玩具兔、一把剪刀再让另一位同学用手机拍照“证明”自己找到了——这个看似普通的课堂游戏真正的裁判并不是老师而是一个在云端训练好的图像识别模型。照片拍到的如果是兔子App 里“兔子”标签立刻高亮变绿三个目标全部被识别计时器停止并弹出总用时。这就是 2020 年那篇《基于 App Inventor 的图像识别 APP 设计》做的事用 MLforkids 采集样本、让 IBM Watson 训练模型再用 App Inventor 2 把模型做成可玩的 Android 游戏。整个过程不写一行传统代码却完整走通了监督学习从数据采集到模型部署的链路。适合想给学生做 AI 启蒙的信息技术老师也适合第一次接触“训练模型再接入应用”的开发者快速建立整体认知。2. 从样本到模型MLforkids 与 Watson 的监督学习链路2.1 先理解监督学习在这个项目里的三个抓手图像识别 APP 的底层逻辑并不复杂你给计算机看一批带标签的照片它从中找出颜色、形状、纹理上的规律再用这些规律去判断一张从未见过的新照片。这个过程就是论文里反复强调的“监督学习”。它有三个缺一不可的输入样本每类物体至少 10 张照片这是模型学习的原始素材标签告诉计算机“这张照片里是兔子”的标记训练信号模型判断错误后系统通过损失函数调整内部参数。在这个捉迷藏项目里识别对象只有三个Cat、Rabbit、Scissors。三个标签桶各放一批照片模型要学会的是“什么样的像素组合更像兔子尾巴”“什么样的边缘轮廓更像剪刀刃”。值得注意的细节是样本照片的多样性直接决定模型能学到什么如果 10 张兔子照片全是正面特写那模型真正记住的可能是“正对镜头的毛茸茸物体”而不是“兔子”这个抽象概念。2.2 为什么教学场景选 MLforkids 而不是自己训练 CNN对于中学生甚至小学生直接丢给他们 YOLO 或 TensorFlow 显然不现实。MLforkidsmachinelearningforkids.co.uk这类引导式工具的定位就是把“训练模型”这个动作压缩成网页上的几次点击让学习者把注意力放在“样本—训练—预测”的关系上而不是被环境配置和 API 语法拖住。论文中提到的后台 AI 平台是 IBM Watson。MLforkids 在这里扮演的是“引导层”角色负责样本录入、训练触发、模型状态展示真正的神经网络训练和推理在 Watson 侧完成。也就是说学习者在网页上点“培养新的机器学习模型”后台会向 Watson 提交训练任务训练完成后返回一个 URL 地址。这个 URL 是整条链路的关键产物后期 App Inventor 的 ML4K 扩展就是靠它接入模型的。可以把它理解成一个封装好的推理接口App 端只需把照片传过去就能拿回标签结果。2.3 训练与推理分离理解模型 URL 的用途这个项目还有一个容易被忽略的设计点训练和推理是分离的。训练时照片在 Watson 的服务器上完成特征提取和分类器拟合推理时手机 App 拍摄新照片ML4K 扩展把图片交给远端模型再取回识别结果。这意味着实际运行时 App 必须能访问到那个 URL否则识别功能会直接失效。项目里要求把模型 URL 拷贝到一个稳定的位置也是出于这个原因。阶段输入输出发生位置样本采集真实物体照片带标签的训练集浏览器 / MLforkids模型训练训练集照片模型文件 URLIBM Watson模型推理手机拍摄的新照片标签字符串App Inventor Watson搞清楚这条链路后再回看整个项目就会清晰很多MLforkids 负责前半段数据与训练App Inventor 负责后半段界面与调用二者之间通过 URL 对接这就是“基于 App Inventor 的图像识别 APP”的全部骨架。3. 训练一个能认“兔、猫、剪刀”的模型样本采集与参数细节3.1 创建项目名称与标签的硬性约束打开 https://machinelearningforkids.co.uk/注册登录后创建一个新项目。这里有两个提升踩坑的硬性约束项目名称不可使用汉字识别类型选择“图像”。随后进入训练页面添加三个标签桶并分别命名为 Cat、Rabbit、Scissors——同样标签名也不可用汉字。这个约束的来源是工具链对 URL 和标识符的兼容性。MLforkids 生成模型地址时会把项目名和标签名拼进资源路径中文字符进入 URL 后会出现编码问题轻则模型无法加载重则 App 端扩展导入后直接报错。建议在创建项目时就用英文命名并在教学时提前跟学生说明原因避免他们卡在第一步。对象命名规范说明项目名称英文或拼音无空格会进入模型 URL 路径标签名称英文如 Cat/Rabbit/Scissors会作为识别结果的返回标识样本图片jpg/png 均可每类至少 10 张越多越好3.2 样本拍摄的多样性策略点击标签桶里的“摄像头”按钮就可以用摄像头给物体拍照。论文给出的要求是从不同侧面、角度或距离拍摄每类重复至少 10 张。这个要求不是随意的它对应着机器学习里的泛化能力——模型需要从多个角度的冗余信息里提取出“什么是兔子”的共性特征。实际拍摄时我会建议多考虑几个维度。背景方面尽量让物体出现在白墙、桌面、地面等不同背景下防止模型把“白色桌面”当成兔子的一部分距离方面既有占画面 1/3 的中景也有贴近物体的特写这能帮助模型适应尺度变化姿态方面把玩具兔侧放、倒置、俯拍各来几张模拟真实游戏时玩家随手一拍的角度。最容易犯的错是把“10 张”理解成“拍一张然后复制九份”这在教学里要明确禁止。复制粘贴的照片像素完全相同相当于让模型反复看同一个样本特征提取的多样性完全丢失训练出来的模型在新的角度拍兔子时大概率失灵。另外光照条件也要变化一下开灯、关灯、靠窗自然光各拍几张模型就不容易把特定亮度误学进特征里。3.3 训练模型与获取 URL 地址样本录入完成后回到项目页面点击“学习和测试”按钮再点击“培养新的机器学习模型”后台 Watson 平台就开始训练。观察模型状态当状态显示为 Available 时说明训练完成页面上红色显示的 URL 地址就是后续 App 开发要用的模型唯一地址把它完整拷贝下来。这里有几个细节需要重点确认。第一“培养新的机器学习模型”每次点击都会触发一次新的训练任务训练时间和样本量相关普通三个类别、每类二三十张照片的情况下一般在几十秒到几分钟内完成。第二状态从 Processing 到 Available 之间不要刷新页面否则可能看不到训练完成后的 URL。第三拷贝 URL 时要确认没有遗漏字符最好粘贴到记事本里临时保存后面导入 App Inventor 时再原样取出。3.4 发布前的快速验证模型状态变为 Available 之后不要急着进入 App 开发先在“学习和测试”页面做一次快速验证用摄像头拍一张不在训练集里的新照片看模型返回的标签是否正确。这一步能提前发现样本质量问题。例如如果兔子照片全部带蓝色背景而测试时把兔子放在红桌上识别失败说明模型把背景信息也学进去了此时应该回补样本而不是直接进 App 阶段。4. 用 App Inventor 搭界面ML4K 扩展、组件配置与拍照识别积木4.1 导入 ML4K 扩展粘贴模型 URL打开 App Inventor 2 服务器论文中使用的是广州电教馆搭建的 app.gzjkw.net用 QQ 账号即可登录新建项目项目名称同样不可使用中文。在设计面板里点击“Import Extension”选择“URL”方式将上一步保存的模型地址粘贴进去点击“Import”完成导入。导入成功后ML4K 组件会出现在“不可见组件”列表中。这一步是连接训练与应用的桥梁。扩展本质上是一个封装好的通信组件内部实现了向 Watson 发送图片请求、接收标签结果的全部逻辑。在组件面板里看不到它的物理形态但它会在后台完成图片上传、推理请求和结果回调。可以这样理解ML4K 组件就是模型 URL 的客户端代理URL 变了它的行为就会变。4.2 组件布局与属性配置论文中给出了完整的组件属性表按表配置即可。核心组件包括Screen1 作为容器、两个水平布局用于摆放内容、一组标签用于显示时间和识别结果、开始与拍照两个按钮、ML4K1 作为模型入口以及照相机、计时器、对话框三个辅助组件。组件关键属性设置作用Screen1标题“捉迷藏”水平对齐居中取消勾选状态栏显示应用主界面标签时间粗体字号 24文本“0”显示已用秒数标签单位粗体字号 24文本“秒”时间单位标签兔子/猫咪/剪刀粗体字号 24文本对应名称显示识别结果变绿即找到按钮开始粗体字号 24文本“开始”启动游戏和计时器按钮拍照粗体字号 24文本“拍照”调用相机拍摄目标标签状态粗体字号 14文本“请按开始按钮”给玩家即时提示ML4K1导入模型 URL图片识别推理照相机1默认调起系统相机计时器1启用计时取消勾选计时间隔 1000每秒更新一次时间对话框1显示时长长游戏结束时显示用时组件配置里有几个容易被忽略的点。Screen1 取消勾选“状态栏显示”是为了让应用全屏显示游戏界面更干净。计时器的“启用计时”默认是取消勾选状态防止进入界面就开始计时必须等玩家点击“开始”按钮后在积木里手动启动。这些属性直接影响游戏逻辑的正确性配置时最好逐项核对。4.3 核心积木逻辑从拍照到识别整个 App 的逻辑可以拆成四个事件块来理解开始按钮事件、拍照按钮事件、相机回调事件、ML4K 识别结果事件。下面用伪代码还原积木的完整流程。# 开始按钮点击事件 def on_start_click(): Timer1.Start() # 启动计时器开始统计游戏用时 status_label.Text 请找到兔子、猫咪和剪刀 # 拍照按钮点击事件 def on_photo_click(): Camera1.TakePicture() # 调用手机相机拍照拍完触发 AfterPicture # 相机拍摄完成回调 def on_camera_after_picture(image_path): ML4K1.DetectPhoto(image_path) # 将拍摄的照片传给 ML4K 模型请求识别 # ML4K 识别结果返回事件 def on_ml4k_got_result(tag, confidence): if tag Cat: cat_label.BackgroundColor 绿色 # 识别为猫则“猫咪”标签高亮 elif tag Rabbit: rabbit_label.BackgroundColor 绿色 # 识别为兔子则“兔子”标签高亮 elif tag Scissors: scissors_label.BackgroundColor 绿色 # 识别为剪刀则“剪刀”标签高亮 if 三个标签背景全部为绿色: Timer1.Stop() # 三个目标找齐停止计时 Dialog1.Show(完成用时 Timer1.time 秒)逻辑说明拍照按钮只是触发相机真正的识别动作发生在相机拍完照片后的 AfterPicture 事件里。ML4K 的 GotResult 事件会返回识别出的标签名App 拿到标签后去修改对应标签元件的背景颜色。颜色不改变文本内容所以玩家是透过“标签变绿”来感知识别成功的。三个标签全部变绿意味着三样物体都已被验证这时停止计时并弹窗显示总用时。这里面容易被忽略的一个点ML4K 的识别是异步的拍照后不会立刻有结果要等 GotResult 事件触发。在积木设计时要保证“拍照按钮 → 相机回调 → ML4K 请求 → 结果回调”这个链条的每一环都是独立事件块不能把识别逻辑直接写在拍照按钮的点击事件里否则照片还没拍完就去请求模型必然拿不到图。4.4 界面反馈与游戏节奏为了让游戏过程有明确指引论文还设置了状态标签提示玩家当前处于哪个阶段。初始文本是“请按开始按钮”点击开始后提示文字切换为寻找目标每次拍完照即使识别错误游戏也不会中断——错拍的照片只会让对应标签保持原样玩家可以继续拍摄下一个物体。这种“只记录正确结果、不惩罚错误尝试”的设计既维持了游戏的流畅性又暗合了机器学习迭代试错的思想教学时可以顺势跟学生点一句“模型也会有偏见多试几次就能发现它的规律”。5. 模型不准别急着加样本先查这四类问题再谈扩展5.1 验证时识别错误排查方向分先后如果模型接入 App 后识别准确率不理想常见做法是先别急着打开相机补拍几十张而是按顺序检查四个位置模型 URL 是否完整、训练时的样本是否误用了复制图片、测试环境和训练环境的光照差异是否过大、标签名称与代码里的字符串是否完全一致大小写和空格都算。其中标签名称不一致是最隐蔽的坑——ML4K 返回的标签字符串多了一个空格积木里的条件判断就永远不成立但模型本身没问题。5.2 从捉迷藏到其他识别任务这个项目的扩展空间比想象中大。把三个标签桶换成就餐时的餐具勺子、筷子、碗或者换成常见垃圾塑料瓶、纸盒、易拉罐就变成了一台“分类演示机”。操作上只需在 MLforkids 里重新命名标签桶、重新拍照训练然后把新生成的 URL 再次导入 App Inventor——注意模型 URL 一旦重新训练就会变化App 端需要删除旧扩展、重新导入新地址这一条在课堂上最容易漏掉。最后分享一个从论文实践中提炼的小技巧在 MLforkids 里训练完模型后不要只测一两张照片就收工而是预估一下课上学生可能拍摄的角度比如蹲下来拍、逆光拍、隔远拍提前用这些刁钻角度各测一次。如果模型在某个角度上稳定误判直接补拍那个角度的样本并重新培养模型这比在 App 端反复调样式高效得多。本文还有配套的精品资源点击获取