MediaPipe Hands实时标出手部 21 个关键点用摄像头做手势交互不用加硬件【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe想让手一挥就能切歌、捏一下手指就放大画面又不想外接任何传感器其实只要设备上有个摄像头就够了把摄像头对准手MediaPipe Hands 能在视频流里逐帧标出每只手 21 个关节的位置——手腕、指根、指尖同时告诉你哪只是左手哪只是右手。拿到这组坐标很多手势交互的想法都能落地。它到底能干什么一帧标出 21 个手部关键点每帧输出一组归一化坐标范围 0~1可直接叠到任意分辨率的画面上。默认同时跟踪 2 只手手移动得快、被部分遮挡时关键点位置依然稳定。顺带分清左手右手结果里除了坐标还给每只手附带左右手handedness标签。这是做手语转文字或者左手触发 A、右手触发 B这类逻辑的关键。注意它默认按前置摄像头的镜像画面判断左右如果用的是后置摄像头记得先把图片水平翻转再传进去。把手势变成可分类的标签21 个点的序列就是手势识别的原料。仓库里带了现成的手势分类训练流程把出 4出石头这类手势的照片喂进去训练出识别器每帧画面就能直接输出对应的手势类别。底层怎么跑通的一句话讲本质是两级推理先由一个轻量的手掌检测模型快速找到手在画面里的位置再由手部关键点模型只处理裁剪出来的手掌区域输出 21 个关键点坐标和左右手判断。快的原因有两个模型本身都小在视频流模式下上一帧的关键点位置会作为先验喂给下一帧网络不用每帧从零找起。整条流水线用 .pbtxt 图配置拼成检测 → 关键点 → 跟踪 → 渲染的节点流CPU 和 GPU 图都有移动端可以直接用 GPU 版。三个能直接上手的场景️手势控制播放器挥手切歌、捏合暂停、张开缩小不用按键也不用硬件。手语翻译先拿到稳定的 21 点序列再训一个自定义分类器就能把手势输出成文字。空中交互虚拟键盘、AR 里拖拽物体依赖的都是高帧率拿到稳定手部坐标这一步正是 Hands 解决的。3 行代码跑通手部追踪装好预编译包pip install mediapipe之后核心调用就三步import mediapipe as mp hands mp.solutions.hands.Hands() results hands.process(image)results.landmark里就是每只手 21 个点的坐标。完整可运行的例子在 mediapipe/examples/desktop/hand_tracking/想给自己常打的手势训分类模型训练流程在 mediapipe/model_maker/。如果正在做跟手势相关的项目现在把摄像头对准手就能开始试。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考