工作原理
本页内容
本页说明 AI Insights & People 背后的概念模型:从摄像头看到一张人脸,到这张人脸以已识别会员、"Unsure" 访客的身份出现在您的人员时间线上(或根本不出现),中间发生了什么。
使用本产品并不需要了解这些内容,但了解之后,您会更容易理解调优设置和 Self Learning 审核队列。在 Member Matching 和 Shadow Profiles 设置页面的 Logic Visualisation 面板中,同样的流程会按您设施的实际阈值实时呈现。
基本概念
| 术语 | 含义 |
|---|---|
| Detection(检测) | 摄像头画面中捕获到的单张人脸 |
| Track(轨迹) | 同一个人在同一摄像头上的一次连续出现,由多个检测合并而成 |
| Visit(到访) | 跨摄像头的轨迹被归组为一次到访,由 Detection Grouping 设置控制 |
| 已识别人员 | 与已同步会员记录匹配的检测 |
| Unsure 人员 | 系统能够持续追踪、但尚无法与会员关联的真实人员,显示为 "Unsure - " |
| 影子档案 | 为 unsure 人员创建的内部档案,是系统用来比对后续检测的人脸参考 |
| 影子照片 | "Additional face images used by the facial recognition engine to help identify this person. They are separate to the profile photo synchronised from external systems like your member management system."(引自界面) |
| 黑名单人脸 | 您已告知系统完全忽略的人脸,请参阅黑名单 |
| 签到 | 从您的会员管理系统同步的刷卡/入场事件,用于到访辅助匹配和自主学习 |
识别流程
每张检测到的人脸都会经过同一条有序的决策链。顺序很重要:前一阶段的结果会阻止后续阶段运行。
1. 黑名单检查(始终最先执行)
人脸会以固定的 95% 阈值(不可配置)与您设施的黑名单集合进行比对。一旦匹配,处理会立即停止:该检测被丢弃,永远不会出现在时间线上。正因如此,黑名单能够有效处理海报、人体模特等固定的误检,请参阅黑名单。
2. 人脸提取
系统会核实图像中确实存在可用的人脸,并提取其特征、姿态和置信度分数。没有人脸 → 丢弃。
3. 搜索已识别会员
人脸会在已识别集合中搜索,该集合包含所有拥有已验证照片或已确认检测记录的会员。搜索从 Identified Collection Search Floor 起始(Balanced 预设下默认相似度为 40%),因此边界候选人至少会被纳入考虑。
4. 到访辅助匹配
在最终判定之前,系统会检查设施近期的签到记录。如果某位候选会员在 Check-in Lookback Window(默认 30 mins)内签到,其相似度分数会获得 Visiting Member Bonus(默认 +5)。原因在于:如果一个与 Alex Nguyen 相似度为 82% 的人在三分钟前刷了 Alex Nguyen 的卡,那几乎可以肯定就是 Alex。
5. 匹配判定
- 分数 ≥ Identified Match Threshold(默认 85%,Balanced)→ 该检测被确认为该会员。
- 边界分数,即处于 Borderline Confidence Zone(默认高于阈值 +7 分)内的分数,需要额外进行姿态检查:人脸必须大致朝向正面(已识别人员的默认限制:yaw 55° / pitch 30° / roll 30°)。处于边界置信度且角度较大的人脸会被丢弃,以避免错误识别。
- 分数低于 Drop Threshold(默认 45%)→ 相似度 "not high enough to confirm the correct person with certainty",该检测不再参与匹配。
- 介于两者之间 → 该人员被视为 unsure,进入第 6 步。
6. 影子档案匹配
未匹配的人脸会在未识别集合中搜索,即之前见过的 unsure 人员的影子档案:
- 分数 ≥ Profile Link Threshold(默认 80%)→ 该检测被关联到现有的影子档案。同一位访客在不同日期和不同摄像头上都保持同一个 "Unsure - …" 身份。
- 无匹配 → 该检测成为创建新影子档案的候选,但必须先通过质量门槛(下一步)。
7. 新影子档案的质量门槛
创建影子档案意味着确定一张系统将在数周内用于比对的参考照片,因此照片质量必须良好。两级检查依次运行:
| 门槛 | 检查内容 | 速度 |
|---|---|---|
| Detection Confidence Gate | AI 确信自己找到了真实人脸的置信度(默认最低 90)。低于该值时,图像会立即被丢弃,"no quality checks, no profile search" | 即时 |
| 姿态检查 | 比会员匹配更严格(未识别人员的默认限制:yaw 30° / pitch 35° / roll 60°),角度不佳的参考照片会导致日后人员归组错误 | 即时 |
| Tier 1 — Fast Quality Checks | "Sharpness · Contrast · Lighting · Exposure · Dynamic Range · Eye Aspect Ratio":拒绝明显不可用的照片 | 约 10–60 ms |
| Tier 2 — ISO Quality Checks | 基于标准的图像质量评估:"Face Occlusion · Eyes · Mouth · Head Pose · Illumination · Exposure · Compression · Expression" | 约 5–10 s |
通过检查的照片会进行属性分析(估计年龄、性别、情绪),然后进行最后一次竞态条件复查:由于检测是并行处理的,系统会在创建档案之前再搜索一次影子集合,以免同一位新访客的两帧画面创建出两个档案。结果为 New Shadow Profile Created 或 Matched Existing Shadow Profile。
所有这些阈值都可以通过 Lenient / Balanced / Strict 预设进行调整,请参阅人脸识别调优。
自主学习:弥补识别空白
仅靠人脸匹配,无法识别没有照片(或照片质量太差而无法通过验证)的会员。Self Learning 通过行为而非生物特征解决这一问题:
- 在回溯期内,将每个未识别人员的检测时间与会员签到记录进行关联(默认需要 8 次关联到访,查看最近几个月的历史,每次签到前后约 10 分钟的时间窗口)。
- 如果每次检测到此人时,都恰好只有一位会员持续签到,则运行验证检查(性别一致性,可选的年龄容差)。
- 检查通过 → 档案自动关联到该会员。检查未通过 → 进入 Pending Review 队列,由人工决定。存在多位候选会员 → 无匹配;系统会继续观察。
此外,一旦某人已被识别,系统会在后台持续更新其人脸参考:近乎完全匹配(99% 以上相似度)的照片可以被自动添加为影子照片,每人上限为一小组轮换照片(6 张),这样即使外貌发生变化,识别仍能正常工作。这些自动添加的照片在档案中标记为 "Auto-added by self-learning"。
完整流程、各状态以及审核工作流程在 Self Learning 中说明。
从检测到时间线
原始检测数据难以阅读,因此时间线显示的是到访:使用 Detection Grouping 设置将检测合并成组。默认情况下,间隔 45 分钟后开始新的到访;未识别人员只有在 5 分钟内至少有 3 次检测时才会显示(因此短暂经过门口摄像头的人不会让视图变得杂乱)。当您希望看到每一次短暂出现时,可以使用时间线工具栏上的开关停用此阈值筛选。
各环节的运行位置
| 阶段 | 运行位置 |
|---|---|
| 视频接入、画面中的人员检测 | 在您设施的 Edge Processor 上 |
| 人脸匹配、影子档案、质量门槛、属性分析 | 在云端,针对您设施的私有人脸集合 |
| 会员/签到同步 | 云端,通过 Partner 集成从您的会员管理系统同步 |
| 自主学习关联 | 云端,按定期计划运行(需要 Enhanced AI Analysis) |
| 报告快照 | 云端,每日生成(针对前一天,按设施当地时间在夜间计算) |
每个设施都有各自独立的人脸集合(已识别、未识别和黑名单),识别绝不会跨设施进行。人脸图像和 AI 元数据存储在您选择的存储区域中,并按 AI Metadata 保留期限(默认 24 个月)到期清除。请参阅安全与隐私。
术语表
| 术语 | 定义 |
|---|---|
| Identified Match Threshold | 将人脸确认为会员所需的最低相似度(默认 85,Balanced) |
| Drop Threshold | 低于此值时,部分匹配会被完全丢弃(默认 45) |
| Identified Collection Search Floor | 候选人能够被搜索返回所需的最低相似度(默认 40) |
| Visiting Member Bonus | 候选人近期有签到时增加的相似度分值(默认 +5) |
| Check-in Lookback Window | 查找签到记录的回溯时长(默认 30 mins) |
| Borderline Confidence Zone | 匹配阈值以上需进行姿态检查的分数区间(默认 +7) |
| Profile Link Threshold | 将检测关联到现有影子档案所需的最低相似度(默认 80) |
| Duplicate Prevention Threshold | 竞态条件复查时,将"新"人脸视为现有档案的相似度(默认 90) |
| Minimum Detection Confidence | 在尝试创建影子档案之前,AI 必须确信图像中包含人脸的置信度(默认 90) |
| Enhanced AI Analysis | CCTV 的 General 设置,用于启用更丰富的元数据、路径追踪和自主学习 |
| Demeanor(举止) | 每个人的情绪解读,"Calculated from detected emotions during the visit" |
| 情绪分数 | 区域/设施级别的 0–100 分数,根据检测到的面部表情得出,并按您的 Sentiment Scoring 配置加权 |