MediaPipe Hands实时手部关键点追踪让屏幕听懂你的手势【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe想不碰鼠标就能翻页、在空中打字、把手语翻成字幕这些曾经只属于科幻的情节现在离你只差几行代码。MediaPipe Hands 是一个开源的实时手部追踪方案它从单张相机画面里就能解出每只手的 21 个三维关键点双手同时跟踪在普通手机上也能跑得流畅。三十秒上手先装 pip 包再打开摄像头喂给它一帧画面pip install mediapipeimport cv2 import mediapipe as mp with mp.solutions.hands.Hands(max_num_hands2) as hands: cap cv2.VideoCapture(0) success, frame cap.read() result hands.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) print(result.multi_handedness)max_num_hands2表示默认跟踪双手输出的 handedness 会给出左右手判断和置信度。想把关键点骨架画到画面上调用自带的mp.solutions.drawing_utils工具再补几行即可。它到底能做什么 ✋先找手掌再抠细节——稳就稳在这套两阶段流水线它不是每帧都暴力全图扫描。MediaPipe Hands 是一条两阶段流水线先用手掌检测器在全图上定位手掌给出一个带方向的包围框再把这块区域裁剪出来交给手部关键点模型精细定位 21 个关键点。连续跟踪时裁剪框直接用上一帧的结果推算只有手丢了才会重新做全图检测。这就是它能在手机上实时跑、快速移动和半遮挡也不容易飘的原因。21 个 3D 关键点还带左右手判断每只手的输出不只是归一化的 x、y 坐标还带 z 深度值换算成世界坐标后单位是米。同时给出左右手标签和置信度。有了这些你完全可以算出手指弯曲角度判断对方比的是石头还是剪刀。一套配置项从手机到网页都能用Python 可以直接喂图片和视频帧Android、iOS 各有示例应用和渲染代码Web 端用 JavaScript API 把手部追踪搬进网页。各平台配置项保持一致比如max_num_hands和检测置信度阈值在一端跑通后搬到另一端很快。真实落地场景 ️把指屏幕变成翻页指令远程演示时演讲者不必再伸手摸键盘抬手一指幻灯片前进。手部关键点在这里就是鼠标动作比点触更自然。AR 里你的手就是控制器AR 开发者想让用户抓取虚拟物品传统做法是手柄或点屏。换成手部追踪后用户的手伸进画面指尖与物体的距离就能算出来抓住旋转都零硬件成本。把手语变成数据问题手语识别团队采集样本时不必再逐帧标注手部关键点天然是结构化信号可以直接作为特征去训练分类器。进阶与拓展想识别你自己定义的手势Model Maker 内置手势识别器拍一批自己的照片就能训练自定义手势模型入口在 mediapipe/model_maker/python/vision/gesture_recognizer/。想拆开看流水线内部追踪图和关键点模块分别在 mediapipe/graphs/hand_tracking/ 与 mediapipe/modules/hand_landmark/。完整参数说明和各平台示例见 docs/solutions/hands.md。下次切换幻灯片时不妨挥挥手试试。执行git clone https://gitcode.com/GitHub_Trending/med/mediapipe把仓库拉下来跑通上面那段代码翻页这件事就交给你的手吧。【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考