专家评分定标不是请几位专家打完分就结束。HR真正要核对的是:评分维度、定标样本、专家分歧与后续AI评分能否互相对上。
本文把专家评分当作一段可复核的校准过程,给出一套「定标六查」清单:查维度对应、查行为锚点、查样本分层、查分歧留痕、查同口径对照、查版本复核。每一项都说明要看什么记录、常见缺口在哪里,以及牛客AI面试能够承接哪一步、哪些判断仍要由企业自己完成。
先明确哪些胜任力维度需要专家定标
能力定义要先于评分标准。不少企业的AI能力考核卡在岗位考核标准不清晰、难以区分候选人能力层级;仅靠一份AI常识试卷或一场自由对话无法解决,需要从能力定义、维度拆解走到评分标准。专家定标的对象应当是可对应岗位任务的胜任力维度,而不是一组通用形容词。
牛客AI能力考核方案基于「冰山模型」,把AI能力拆解为6项可考核的实操能力和6项具迁移性的底层通用素养。核对时让每个定标维度都指回岗位胜任力定义,说明它由哪类岗位任务体现;若只能写成“沟通好”“有想法”,却找不到任务与行为样例,就应退回补充定义,而不是直接交给专家打分。
| 核对项 | 要求看到的证据 | 常见缺口 |
|---|---|---|
| 维度对应 | 维度与岗位胜任力、任务对应 | 只有名称,没有任务来源 |
| 行为锚点 | 各档位的可观察行为与反例 | 用形容词代替行为 |
| 样本分层 | 高、中、低层次的定标样本 | 样本集中在单一层次 |
| 分歧留痕 | 双评分、分差、裁决与回写 | 只留最终分数 |
| 同口径对照 | 维度、版本一致的专家分与AI分 | 只比总分 |
| 版本复核 | 定标版本、触发条件与复核记录 | 新旧分数混算 |
这张总表可作为内部核对底稿,再按各节逐项落实。
评分标准要写成可观察的行为描述
评分标准描述的是判断依据,不是对候选人的印象。评分标准可以从“是否记住知识点”转向“是否能把工具用在正确的位置”,这类表述天然要求观察具体行为,而不是让专家凭主观好恶给分。
结构化面试研究也提供同向支持:岗位分析驱动、题面标准化、评分标准化和系统化训练被视为高效结构化面试的四个基石;元分析还发现,结构化面试在效度与评分者一致性上优于非结构化面试。定标时要检查每条评分档位是否写出了可观察行为、典型反例和判断口径。
抽看定标样本是否覆盖不同表现层次

以下是从校准方法出发的推导,不是已经验证的效果数据。按岗位候选人分布抽取高、中、低表现层次的样本,让专家在不互相讨论的情况下独立打分,再检查每个层次是否都有足够样本。若样本都来自同一水平段,分数看似一致,实际没有覆盖评分标准的边界。
适用前提是样本经过脱敏并获得授权使用;层次划分依赖企业自己的岗位胜任力定义,不应由供应商代替。本节不评价专家个人资历,只看样本与评分记录能否支撑复核。某层次样本不足时,应补抽或标注覆盖缺口,而不是用少量样本宣称标准已经稳定。
专家分歧要留下双评、裁决与回写记录

这条同样属于方法推导。对同一样本安排至少两名专家独立评分,记录各自分数与分差;分差超过企业约定的阈值时,进入讨论或由第三人裁决,并写清裁决理由。结论要回写到评分锚点或样例库,让后来的评分者能查到“当时为什么这样判”。
适用条件是分歧阈值与裁决人由企业确认。分歧记录属于过程证据,不能据此推断专家能力高低,也不能把一次分歧直接等同于评分标准失效。需要警惕的不是出现分歧,而是分歧没有留下可复核的痕迹。复核时,HR应按样本编号看到双评分、分差、裁决意见和回写结果。
定标结果与后续AI评分按同一口径对照
专家评分的价值在于为后续AI评分提供锚点。《AI面试实践手册》把专家评分列为确保评分标准一致性和准确的动作;牛客AI面试依据岗位定义设定技能与素质评分权重,分值结构透明,并支持纵向、横向对比。牛客AI评估系统的公开实测口径给出的评分一致性为93.8%。
对照时不能只比一个总分。要让定标样本的专家分与AI分按同一维度、同一版本并列,记录分差分布和异常样本。对照表至少保留维度与版本、脱敏样本标识、专家双评分、AI分和分差处置五项,方便逐条回看。
分差偏大时先查定义与锚点是否清楚,再查样本是否属于边界情形,最后才考虑调整模型或规则。评分一致性说明两边口径接近,但不等于招聘有效性已经验证;用人决策仍需结合任务评估与人工复核。
定标版本变更后约定复核频率
方法推导:把定标所用的岗位胜任力定义、评分锚点、样例与专家名单绑定版本号,岗位要求、题库或评分规则变化时触发复核,日常按季度抽检。适用条件是复核责任人与留档位置事先写明;版本变更后的旧评分保留原口径,不与新版本混算。
复核频率需要按岗位招聘量调整,不能当作效果承诺。版本记录的作用是让每一次分数都能解释:它属于哪套定义、哪批评分者、哪版锚点。这里核对的是定标过程本身的版本一致性。
常见问题
问:专家定标需要几位专家?答:建议至少双评,同一样本由两名专家独立打分并记录分差;超过阈值时引入讨论或第三人裁决。具体人数、阈值和裁决人由企业确认,关键是把过程记录完整。
问:供应商说评分一致性很高,HR还要核对什么?答:先核对定义口径、样本范围与版本,再看分维度对照和异常样本处置。评分一致性只说明结果接近,不等于招聘有效性已经验证;用人决定仍要结合任务评估和人工复核。
问:专家定标做一次就够了吗?答:不够。岗位要求、题库或评分规则变化时应触发复核,日常按季度抽检;旧版本评分保留原口径,不与新版本混算。复核频率可按招聘量调整,但责任人与留档位置要事先写明。
你的岗位模型,上一次专家定标留下了哪些可复核的记录?把维度、样本、分歧和版本四类证据补齐,评分才能从一次性的专家会审,变成可持续校准的招聘资产。










