工作原理

本页内容

本页说明 AI Insights & People 背后的概念模型:从摄像头看到一张人脸,到这张人脸以已识别会员、"Unsure" 访客的身份出现在您的人员时间线上(或根本不出现),中间发生了什么。

使用本产品并不需要了解这些内容,但了解之后,您会更容易理解调优设置和 Self Learning 审核队列。在 Member Matching 和 Shadow Profiles 设置页面的 Logic Visualisation 面板中,同样的流程会按您设施的实际阈值实时呈现。

基本概念

术语含义
Detection(检测)摄像头画面中捕获到的单张人脸
Track(轨迹)同一个人在同一摄像头上的一次连续出现,由多个检测合并而成
Visit(到访)跨摄像头的轨迹被归组为一次到访,由 Detection Grouping 设置控制
已识别人员与已同步会员记录匹配的检测
Unsure 人员系统能够持续追踪、但尚无法与会员关联的真实人员,显示为 "Unsure - "
影子档案为 unsure 人员创建的内部档案,是系统用来比对后续检测的人脸参考
影子照片"Additional face images used by the facial recognition engine to help identify this person. They are separate to the profile photo synchronised from external systems like your member management system."(引自界面)
黑名单人脸您已告知系统完全忽略的人脸,请参阅黑名单
签到从您的会员管理系统同步的刷卡/入场事件,用于到访辅助匹配和自主学习

识别流程

每张检测到的人脸都会经过同一条有序的决策链。顺序很重要:前一阶段的结果会阻止后续阶段运行。

1. 黑名单检查(始终最先执行)

人脸会以固定的 95% 阈值(不可配置)与您设施的黑名单集合进行比对。一旦匹配,处理会立即停止:该检测被丢弃,永远不会出现在时间线上。正因如此,黑名单能够有效处理海报、人体模特等固定的误检,请参阅黑名单。

2. 人脸提取

系统会核实图像中确实存在可用的人脸,并提取其特征、姿态和置信度分数。没有人脸 → 丢弃。

3. 搜索已识别会员

人脸会在已识别集合中搜索,该集合包含所有拥有已验证照片或已确认检测记录的会员。搜索从 Identified Collection Search Floor 起始(Balanced 预设下默认相似度为 40%),因此边界候选人至少会被纳入考虑。

4. 到访辅助匹配

在最终判定之前,系统会检查设施近期的签到记录。如果某位候选会员在 Check-in Lookback Window(默认 30 mins)内签到,其相似度分数会获得 Visiting Member Bonus(默认 +5)。原因在于:如果一个与 Alex Nguyen 相似度为 82% 的人在三分钟前刷了 Alex Nguyen 的卡,那几乎可以肯定就是 Alex。

5. 匹配判定

  • 分数 ≥ Identified Match Threshold(默认 85%,Balanced)→ 该检测被确认为该会员。
  • 边界分数,即处于 Borderline Confidence Zone(默认高于阈值 +7 分)内的分数,需要额外进行姿态检查:人脸必须大致朝向正面(已识别人员的默认限制:yaw 55° / pitch 30° / roll 30°)。处于边界置信度且角度较大的人脸会被丢弃,以避免错误识别。
  • 分数低于 Drop Threshold(默认 45%)→ 相似度 "not high enough to confirm the correct person with certainty",该检测不再参与匹配。
  • 介于两者之间 → 该人员被视为 unsure,进入第 6 步。

6. 影子档案匹配

未匹配的人脸会在未识别集合中搜索,即之前见过的 unsure 人员的影子档案:

  • 分数 ≥ Profile Link Threshold(默认 80%)→ 该检测被关联到现有的影子档案。同一位访客在不同日期和不同摄像头上都保持同一个 "Unsure - …" 身份。
  • 无匹配 → 该检测成为创建新影子档案的候选,但必须先通过质量门槛(下一步)。

7. 新影子档案的质量门槛

创建影子档案意味着确定一张系统将在数周内用于比对的参考照片,因此照片质量必须良好。两级检查依次运行:

门槛检查内容速度
Detection Confidence GateAI 确信自己找到了真实人脸的置信度(默认最低 90)。低于该值时,图像会立即被丢弃,"no quality checks, no profile search"即时
姿态检查比会员匹配更严格(未识别人员的默认限制:yaw 30° / pitch 35° / roll 60°),角度不佳的参考照片会导致日后人员归组错误即时
Tier 1 — Fast Quality Checks"Sharpness · Contrast · Lighting · Exposure · Dynamic Range · Eye Aspect Ratio":拒绝明显不可用的照片约 10–60 ms
Tier 2 — ISO Quality Checks基于标准的图像质量评估:"Face Occlusion · Eyes · Mouth · Head Pose · Illumination · Exposure · Compression · Expression"约 5–10 s

通过检查的照片会进行属性分析(估计年龄、性别、情绪),然后进行最后一次竞态条件复查:由于检测是并行处理的,系统会在创建档案之前再搜索一次影子集合,以免同一位新访客的两帧画面创建出两个档案。结果为 New Shadow Profile Created 或 Matched Existing Shadow Profile。

所有这些阈值都可以通过 Lenient / Balanced / Strict 预设进行调整,请参阅人脸识别调优。

自主学习:弥补识别空白

仅靠人脸匹配,无法识别没有照片(或照片质量太差而无法通过验证)的会员。Self Learning 通过行为而非生物特征解决这一问题:

  1. 在回溯期内,将每个未识别人员的检测时间与会员签到记录进行关联(默认需要 8 次关联到访,查看最近几个月的历史,每次签到前后约 10 分钟的时间窗口)。
  2. 如果每次检测到此人时,都恰好只有一位会员持续签到,则运行验证检查(性别一致性,可选的年龄容差)。
  3. 检查通过 → 档案自动关联到该会员。检查未通过 → 进入 Pending Review 队列,由人工决定。存在多位候选会员 → 无匹配;系统会继续观察。

此外,一旦某人已被识别,系统会在后台持续更新其人脸参考:近乎完全匹配(99% 以上相似度)的照片可以被自动添加为影子照片,每人上限为一小组轮换照片(6 张),这样即使外貌发生变化,识别仍能正常工作。这些自动添加的照片在档案中标记为 "Auto-added by self-learning"。

完整流程、各状态以及审核工作流程在 Self Learning 中说明。

从检测到时间线

原始检测数据难以阅读,因此时间线显示的是到访:使用 Detection Grouping 设置将检测合并成组。默认情况下,间隔 45 分钟后开始新的到访;未识别人员只有在 5 分钟内至少有 3 次检测时才会显示(因此短暂经过门口摄像头的人不会让视图变得杂乱)。当您希望看到每一次短暂出现时,可以使用时间线工具栏上的开关停用此阈值筛选。

各环节的运行位置

阶段运行位置
视频接入、画面中的人员检测在您设施的 Edge Processor 上
人脸匹配、影子档案、质量门槛、属性分析在云端,针对您设施的私有人脸集合
会员/签到同步云端,通过 Partner 集成从您的会员管理系统同步
自主学习关联云端,按定期计划运行(需要 Enhanced AI Analysis)
报告快照云端,每日生成(针对前一天,按设施当地时间在夜间计算)

每个设施都有各自独立的人脸集合(已识别、未识别和黑名单),识别绝不会跨设施进行。人脸图像和 AI 元数据存储在您选择的存储区域中,并按 AI Metadata 保留期限(默认 24 个月)到期清除。请参阅安全与隐私。

术语表

术语定义
Identified Match Threshold将人脸确认为会员所需的最低相似度(默认 85,Balanced)
Drop Threshold低于此值时,部分匹配会被完全丢弃(默认 45)
Identified Collection Search Floor候选人能够被搜索返回所需的最低相似度(默认 40)
Visiting Member Bonus候选人近期有签到时增加的相似度分值(默认 +5)
Check-in Lookback Window查找签到记录的回溯时长(默认 30 mins)
Borderline Confidence Zone匹配阈值以上需进行姿态检查的分数区间(默认 +7)
Profile Link Threshold将检测关联到现有影子档案所需的最低相似度(默认 80)
Duplicate Prevention Threshold竞态条件复查时,将"新"人脸视为现有档案的相似度(默认 90)
Minimum Detection Confidence在尝试创建影子档案之前,AI 必须确信图像中包含人脸的置信度(默认 90)
Enhanced AI AnalysisCCTV 的 General 设置,用于启用更丰富的元数据、路径追踪和自主学习
Demeanor(举止)每个人的情绪解读,"Calculated from detected emotions during the visit"
情绪分数区域/设施级别的 0–100 分数,根据检测到的面部表情得出,并按您的 Sentiment Scoring 配置加权