识别与触发列表 | AR Creative Lab

人脸检测能力

最多同时检测 5 张人脸
每张脸可单独编号（Face 0 ~ Face 4）
输出脸部矩形框
输出脸部中心点
输出脸部旋转角度（3D）
输出 2D 面部关键点数组（如眼睛、鼻翼、嘴角等）

人脸关键点

人脸动作识别

左眼闭合

右眼闭合

双眼闭合

任意一眼闭合

嘴巴张开

嘴巴撅起

眉毛 wiggle

人脸表情识别

高兴

生气

惊讶

厌恶

恐惧

伤心

中性

面部驱动（Face Avatar Drive）

使用 Face Avatar Drive 节点驱动 Deformation 组件，让 3D 头像表情实时跟随真人面部动作。

能力范围：支持驱动 52 个面部特征通道，将摄像头捕捉到的人脸动作映射到模型 Blend Shape；同时支持输出每个通道的实时权重值（0-1）。
命名要求：仅识别与标准命名一致的通道；未匹配通道会被忽略。

通道列表

eyeBlinkLeft / eyeBlinkRight
eyeLookDownLeft / eyeLookDownRight
eyeLookInLeft / eyeLookInRight
eyeLookOutLeft / eyeLookOutRight
eyeLookUpLeft / eyeLookUpRight
eyeSquintLeft / eyeSquintRight
eyeWideLeft / eyeWideRight
jawForward
jawLeft / jawRight
jawOpen
mouthClose
mouthFunnel
mouthPucker
mouthLeft / mouthRight
mouthSmileLeft / mouthSmileRight
mouthFrownLeft / mouthFrownRight
mouthDimpleLeft / mouthDimpleRight
mouthStretchLeft / mouthStretchRight
mouthRollLower
mouthRollUpper
mouthShrugLower
mouthShrugUpper
mouthPressLeft / mouthPressRight
mouthLowerDownLeft / mouthLowerDownRight
mouthUpperUpLeft / mouthUpperUpRight
browDownLeft / browDownRight
browInnerUp
browOuterUpLeft / browOuterUpRight
cheekPuff
cheekSquintLeft / cheekSquintRight
noseSneerLeft / noseSneerRight
tongueOut

头部动作识别

点头

摇头

向右倾斜

向左倾斜

手部检测

提供基础手部识别，分为单手和双手，可识别手是否出现在画面中。

识别类型

单手
双手

状态与用途

产生 开始 / 持续 / 结束 / 无 状态
手部跟随
需要检测"是否举手"的场景

手势识别

Victory

Fist

Open Palm

Finger Heart

Hand Heart

I Love You

Thumb Up

Thumb Down

Index Pointing

Index Pointing Up

Index and Middle Pointing Up

3-Finger Pointing Up

4-Finger Pointing Up

Two Finger Pointing

Touching Palms

Kung Fu Salute

Salute

Call Me

Horns

Palm to Front

Pinched Fingers

Open Fist Heart

Wrist V

V (Thumb and Index)

Backhand 3-Finger Pointing Up

手部关键点

除手势识别外，提供更底层的手部关键点数据，用于高阶交互与空间计算。

2D 手部关键点

手部矩形框
中心点
手部旋转
关键点数组
左手概率 vs 右手概率

3D 手部关键点

三维关键点位置
三维关键点旋转
左右手指定

手部关键点

基础能力

人体检测：检测到身体任意部位就触发。
内置姿态识别：双手叉腰、双臂水平展开、双手举起、双手高于头顶、左手高于头顶、右手高于头顶、左脚单脚站立、右脚单脚站立。
内置动作检测：用户在 3 秒内正确完成即视为成功。支持的动作包括：双臂上下平行摆动、拍手、下蹲、原地旋转、抬起左腿、抬起右腿、跳跃、左出拳、右出拳、左脚抬起、右脚抬起。
全身关键点信息：输出人体位置框、全身关键点位置及其有效状态，并提供骨骼角度信息。
站位/距离校验：通过检测身体在画面中的占比来判断是否适合进行全身识别，并输出判断结果及当前占比数值。

高阶能力（自定义与组合）

自定义姿态：将多个身体判断条件组合成一个姿态，并输出开始、持续、结束等状态。
自定义动作：按顺序组合多个姿态或动作，形成更复杂的动作识别，并支持统计成功次数。
关键点与骨骼工具：可获取指定身体关键点和身体骨骼，用于构建自定义的姿态与动作规则。
姿态关系判断：支持判断身体部位之间的相对位置、角度关系以及是否对齐或相交。
距离与位置判断：支持判断身体关键点与骨骼之间的距离和位置关系，用于更精细的动作识别。

音频识别

关键词识别：实时检测用户说出的关键词（支持拼音 & 英文）
动物声音识别：支持识别19 种声音类型，包括狗叫，猫叫，牛叫，猪叫，羊叫，公鸡打鸣，鸭叫，鸟鸣，乌鸦叫，苍蝇嗡嗡声，青蛙叫，吹口哨，打鼾，咳嗽，打嗝，放屁，打响指，应急车辆声音，门铃声。

适用场景

语音互动玩法
声控游戏
声控开关模式

宠物脸识别

支持检测猫脸和狗脸。

最多同时检测 5 个宠物脸
每个宠物脸可单独编号（Face 0 ~ Face 4）
支持检测猫和狗，并输出宠物类型（cat / dog）
输出宠物脸部矩形框
输出宠物脸部中心点
输出宠物脸部旋转角度（3D）
输出 2D 面部关键点数组（可用于定位眼睛、鼻子、嘴等）