人脸关键点参考手册

版本: 3.0
状态: 生效中
最后更新: 2026-07-08
维护者: RD Agent

历史合并说明：本文档由以下 3 份文档合并而成：MEDIAPIPE_468_REFERENCE.md、MEDIAPIPE_468_TO_106_MAPPING_STRATEGY.md、VOLCANO_106_POINTS.md。内容已合并为单一人脸关键点参考手册，交叉引用 docs/07-STANDARDS/COORDINATE_SYSTEM.md。

1. 概述

本文档整合了两套主流人脸关键点标准：

• MediaPipe Face Mesh：468 个 3D 人脸关键点，用于实时人脸网格检测。
• 火山引擎 106 点标准：与商汤/Face++ 106 点标准一致，是行业通用的人脸关键点检测规范，也是 PicMe 美颜/滤镜管线的内部标准。

本文档同时提供 MediaPipe 468 → 火山 106 的映射策略，供 MediaPipe468Adapter.kt 与 FaceLandmarkOverlay.kt 参考实现。

坐标系说明：MediaPipe 与火山引擎均返回归一化坐标（0-1），原点(0,0)在左上角，x轴向右，y轴向下。前置摄像头需要水平镜像（x = 1 - x）。详见 docs/07-STANDARDS/COORDINATE_SYSTEM.md。

2. 火山引擎 106 点标准

2.1 拓扑结构

轮廓（0-32，共33点）

开放曲线：从右脸鬓角（画面左侧）开始，经过下巴，到左脸鬓角（画面右侧）结束。

眉毛（33-42, 64-71，共18点）

上部眉毛（33-42）

下部眉毛（64-71）

鼻子（44-51, 78-83，共12点）

鼻梁（44-46）

鼻尖（47-51）

对称性：47(275)↔︎51(357)关于鼻尖中心对称，48(48)↔︎50(51)关于鼻尖中心对称。

山根/鼻梁底部（78-79）

对称性：78(193)↔︎79(419) 关于眉心168对称。 验证：基于 face001_landmarks.png 标注，193/419 位于山根两侧，比 281/49 更准确。

鼻孔（80-83）

眼睛（52-77，共26点）

右眼（52-57，画面左侧）

左眼（58-63，画面右侧）

注意：眼周每眼8点轮廓 = 外角(52/58) + 上眼睑3点(53-55/59-61) + 内角(56/62) + 下眼睑内角(57/63)。上眼睑3点沿外轮廓均匀分布不含眼角。 对称性：左右眼严格对称，53(363)↔︎55(370)关于眼睛中心对称，59(35)↔︎61(41)关于眼睛中心对称。 MediaPipe路径：右眼外轮廓 362→363→364→365→366→367→368→369→370→371→463→372→373→374→375；左眼外轮廓 33→34→35→36→37→38→39→40→41→42→133→43→44→45→46。

右眼补充（72-74，画面左侧）

左眼补充（75-77，画面右侧）

注意：下眼睑3点(不含内角)为 72-74(右眼) / 75-77(左眼)。下眼睑内角在57/63位置，与72-74/75-77组成完整下眼睑轮廓。 对称性：72(374)↔︎75(44) 下眼睑中对称，73(375)↔︎76(45) 下眼睑外对称，74(473)↔︎77(468) 瞳孔对称。

嘴巴（84-103，共20点）

嘴巴外轮廓（84-95，共12点）

注意：外轮廓拓扑顺序为顺时针闭合曲线：84(左嘴角) → 85→86→87→88→89(上唇从左到右) → 90(右嘴角) → 91→92→93→94→95(下唇从右到左) → 84。 对称性： - 87为唇珠/上唇中心(MediaPipe 0)，位于上唇最顶端 - 93为下唇中间对称点(MediaPipe 17)，位于下唇最底端 - 86(37)与88(267)关于唇珠(87)对称 - 85(40)与89(270)关于唇珠(87)对称 - 92(314)与94(84)关于下唇中心(93)对称，距中心1步 - 91(321)与95(91)关于下唇中心(93)对称，距中心3步

嘴巴内轮廓（96-103，共8点）

注意：内轮廓拓扑顺序为顺时针闭合曲线：96(左内角) → 97..99(上唇内侧从左到右) → 100(右内角) → 101..103(下唇内侧从右到左) → 96。 对称性： - 98为上唇内侧对称点(MediaPipe 13)，97(81)与99(311)关于98对称，距中心2步 - 102为下唇内侧对称点(MediaPipe 14)，101(178)与103(402)关于102对称，距中心2步

瞳孔（104-105，共2点）

2.2 火山 106 点完整映射表

非轮廓区域 33-105（73点）

2.3 火山 106 点注意事项

1. 镜像说明：本文档中的”左/右”是基于被摄者真实面部（前置摄像头镜像后）。画面左侧=实际右脸，画面右侧=实际左脸。
2. 轮廓方向：轮廓 0-32 为开放曲线，从右脸鬓角（索引0，画面左侧）开始，经过下巴（索引16），到左脸鬓角（索引32，画面右侧）结束。
3. 瞳孔位置：104/105 与 74/77 位置接近，用于需要瞳孔中心点的场景。
4. 对称性：左右脸关键点应保持对称分布，映射时需确保左右对称性。

3. MediaPipe Face Mesh 468 点参考

3.1 关键点区域分布

3.2 对称规则说明

MediaPipe Face Mesh 的面部关键点关于面部中轴线（垂直中心线）对称。

• 左侧点：位于画面左侧（被摄者右脸）
• 右侧点：位于画面右侧（被摄者左脸）
• 中心点：位于面部中轴线上，无对称点

对称规律：大多数对称对满足 左侧索引 + 右侧索引 ≈ 500，但存在例外。

3.3 脸部轮廓（FACE_OVAL，0-35，共36点）

MediaPipe 的 FACE_OVAL 区域包含36个点，形成闭合曲线（含额头），与106点开放轮廓不同。

语义定义

与106点对应关系： - 106点轮廓为开放曲线（33点），不包含额头 - 需要选取 MediaPipe 中不含额头的轮廓点

轮廓对称关系

轮廓中心点（无对称）

3.4 左眼区域（索引 33-142，共71点）

左眼关键点位

左眼外轮廓对称

瞳孔/虹膜对称

3.5 右眼区域（索引 362-471，共71点）

右眼关键点位

右眼对称关系见 3.4 左眼对称关系 表格，左右互换即可。

3.6 左眉区域（索引 70-106，共20点）

关键点位

• 70：眉头（靠近鼻梁）
• 105：眉峰
• 107：眉尾

左眉对称关系

3.7 右眉区域（索引 296-336，共20点）

关键点位

• 336：眉头（靠近鼻梁）
• 334：眉峰
• 300：眉尾

右眉对称关系见 3.6 左眉对称关系 表格，左右互换即可。

3.8 鼻子区域（共52点）

鼻梁（中心线，无对称）

鼻尖对称

对称说明： - 47=98 ↔︎ 51=327：鼻翼下/上侧对称 - 48=241 ↔︎ 50=461：鼻梁左右对称（已验证，241+461=702） - 49=2：中心点（左鼻孔左），无对称

鼻孔对称

鼻底对称

3.9 嘴巴区域（索引 13-194，共40点）

嘴巴关键点位

嘴巴外轮廓对称

嘴巴内轮廓对称

嘴唇中心点（无对称）

3.10 瞳孔/虹膜区域（468-477，共10点）

注意：瞳孔检测需要开启 refine_landmarks=True

关键点位： - 468：左瞳孔中心 - 473：右瞳孔中心

3.11 脸部内部区域（共72点）

这些点分布在脸部内部，用于表情检测和3D重建，在映射到106点时通常不使用。

注：脸部内部点位较多，完整对称关系可通过 左侧索引 + 右侧索引 ≈ 500 推算。

3.12 MediaPipe 注意事项

1. 坐标系定义：
   • MediaPipe 返回的坐标为归一化坐标（0-1）
   • 原点(0,0)在左上角
   • x轴向右，y轴向下
2. 前置摄像头镜像：
   • 使用前置摄像头时，需要水平镜像：x = 1 - x
   • 镜像后，“左侧”和”右侧”互换
3. 对称精度：
   • 理想情况下，对称点的y坐标应该完全相同
   • x坐标应该关于0.5对称（即 x_left + x_right = 1.0）
   • 实际检测中存在微小偏差是正常的
4. 中心点处理：
   • 位于面部中轴线上的点没有对称点
   • 包括：鼻尖(4)、鼻梁(6, 168, 195, 197)、唇珠(0)等
5. 特殊情况：
   • 某些对称对不严格遵循 left + right = 500 规律
   • 建议通过实际坐标验证对称性
6. 轮廓差异：
   • MediaPipe FACE_OVAL 为36点闭合曲线（含额头）
   • 106点标准为33点开放曲线（不含额头）
   • 映射时需要选择不含额头的 MediaPipe 轮廓点
7. 瞳孔检测：
   • 需要开启 refine_landmarks=True
   • 瞳孔点索引为 468-475（478点模式）
8. 左右定义：
   • MediaPipe 中的”左/右”是基于观察者视角，与106点标准一致
9. 深度信息：
   • MediaPipe 每个点包含 (x, y, z) 三维坐标，z轴以鼻尖为原点

3.13 对称性验证方法

// 检查两个点是否关于面部中轴线对称
fun isSymmetric(leftPoint: Pair<Float, Float>, rightPoint: Pair<Float, Float>): Boolean {
    val centerX = 0.5f // 面部中轴线x坐标
    val tolerance = 0.02f // 容差

    // x坐标应该关于中心对称
    val xSymmetric = Math.abs((leftPoint.first + rightPoint.first) - 1.0f) < tolerance

    // y坐标应该接近
    val ySimilar = Math.abs(leftPoint.second - rightPoint.second) < tolerance

    return xSymmetric && ySimilar
}

// 大多数对称对满足：左侧索引 + 右侧索引 ≈ 500
fun checkSymmetryIndex(leftIndex: Int, rightIndex: Int): Boolean {
    val sum = leftIndex + rightIndex
    return sum in 490..510 // 允许±10的误差
}

4. MediaPipe 468 → 火山 106 映射策略

4.1 核心映射原则

第一性原理

MediaPipe 468 点本身的拓扑结构不对称，因此不能简单使用几何镜像（x = 1-x），而必须：

1. 先确定语义对称的固定点：为每个 106 点找到 MediaPipe 中语义对应的固定点
2. 再插值过渡点：在固定点之间使用 midPoint 插值
3. 验证左右对称性：确保 M0-M15 与 M17-M32 关于 M16 对称

左右对称定义

• 中轴点：M16=152（下巴中心）
• 右半边：M0-M15（画面左侧=被摄者右脸，从上到下）
• 左半边：M17-M32（画面右侧=被摄者左脸，从下到上）
• 对称验证：每个 M_i 与 M_(32-i) 应关于中轴线对称

4.2 完整映射表

见 2.2 火山 106 点完整映射表。

4.3 眼部详细映射

右眼 52-57（6点）

左眼 58-63（6点）

4.4 眉毛详细映射

右眉上部 33-37（5点）

左眉上部 38-42（5点）

右眉下部 64-67（4点）

左眉下部 68-71（4点）

4.5 鼻子详细映射

鼻梁 44-46（3点）

鼻尖 47-51（5点）

山根 78-79（2点）

鼻孔 80-83（4点）

4.6 嘴巴详细映射

嘴巴外轮廓 84-95（12点，顺时针）

嘴巴内轮廓 96-103（8点，顺时针）

4.7 实施注意事项

1. 前置摄像头镜像：使用前置摄像头时，MediaPipe 返回的 x 坐标需要镜像：x = 1 - x
2. 归一化坐标：MediaPipe 返回的坐标为归一化坐标（0-1），直接使用即可
3. 插值函数：使用 midPoint(a, b) 计算两点中点
4. 调试方法：
   • 在 CameraDebugOverlay 中显示 106 点（蓝色）
   • 对比 106 点与 MediaPipe 原始点的位置关系
   • 验证左右对称性

5. 参考文件

6. 参考资源

• MediaPipe Face Mesh 官方文档
• Face Mesh 468点可视化
• MediaPipe Face Geometry
• 字节火山引擎人脸关键点检测API
• 商汤人脸关键点106点标准
• Face++ 106点关键点检测