AI评分最佳实践

本指南概述了在 Genesys 云质量管理中创建有效的 AI 评分评估表的最佳实践。根据对话记录，这有助于确保每个问题都清晰、客观且可衡量。

AI评分仅根据对话记录和您提供的评估表来评估互动情况。

它不使用诸如以下的元数据：

  • 队列或路由路径
  • 时间戳或持续时间
  • 平台或系统指标

AI 评分完全关注所说（或所写）的内容，而不关注语气、态度或推断的含义。

Do

  • 写客观的、以文本记录为导向的问题。
  • 提供清晰的帮助文本采用可衡量的标准。
  • 使用术语一致性（例如，“代理商”和“客户”）。
  • 请写下完整的句子。
  • 根据人工智能评分结果不断优化题目。

不

  • 问主观问题（例如，“代理人是否礼貌？”）。
  • 使用模糊的速记（例如，“问候礼仪”）。
  • 假设存在文字记录中未显示的上下文。
  • 询问有关语气或情绪人工智能无法推断。

编写人工智能评分评估题需要精准性。
人工智能模型无法推断意图。它必须在笔录中找到直接的、可衡量的证据。
关键原则 明细 为什么这有帮助 示例问题和帮助文本 坏例子
仅以成绩单证据为依据 只问那些可以从对话文本中验证的问题。 使问题可量化，防止错误假设。 Q:客服人员是否使用“你好”、“早上好”或“嗨”等标准用语向顾客问好？ 客服人员在问候顾客时语气是否友好？
将行为二元化或具体化 使用“是/否”或已定义的多项选择题答案。 减少评分中的歧义。 帮助文本：是的 = 客服人员使用标准用语问候了顾客。否 = 代理人未打招呼或使用了不清晰的措辞。 这位经纪人的问候是否得体？
请使用完整的句子。 避免使用缩写或不完整的短语。 人工智能能够更准确地理解完整的句子。 Q:代理人在提供账户详情之前是否确认了客户身份？ “身份验证。”
明确范围和边界 解释哪些因素重要，哪些因素不重要。 防止误分类和假阳性。 帮助文本：计数“你能确认一下你的出生日期吗？”除非与验证相关，否则不要将“你叫什么名字？”这样的问题计入在内。 代理人是否核实了客户身份？
让它可观察，而非情绪化。 专注于看得见或读得懂的内容。 保持评估的一致性。 Q:客服人员是否使用“对不起”或“我理解”之类的短语来回应客户的问题？ 这位经纪人有同理心吗？
规范术语 表格各处请使用相同的词语。 提高模型一致性。 务必使用“代理人”和“客户”。 混合使用“代表”、“客户”、“同事”一词。
提供成绩单示例 请提供简短的“是/否”示例。 帮助人工智能识别现实世界中的措辞。 是的：“我会退还这笔费用。” 不：“我们会调查此事。” —
保持每个问题都聚焦于一点。 每个问题只测试一种行为。 避免出现结果不一致的情况。 问题1：销售人员是否向顾客问好？ Q2：代理人确认身份了吗？ 代理人是否向顾客问好？和开始时确认身份？
预判措辞变化 写作时要灵活变通，不要拘泥于字句。 减少错过比赛的情况。 “代理人是否使用至少一种凭证（例如出生日期、电话号码或账号）验证了身份？” “代理人问过账号吗？”
使问题与业务目标保持一致 将每个问题与客户体验、合规性或效率联系起来。 使评估结果更有意义。 “经纪人是否提供了强制性披露信息？” “经纪人会闲聊吗？”

每个问题都应包含简短、可衡量的帮助文本（≤500 个字符），用于定义什么才算“是”或“否”包含示例，并阐明了特殊情况。

例如：编写良好的问题和帮助文本

意图：在提供账户详细信息之前，请先核实客户身份。

问题： 代理人在提供账户详细信息之前是否核实了客户的身份？

帮助文本： 代理人必须确认至少一项凭证（例如，账号、出生日期、电话号码或订单 ID）。

  • 是的：代理人在继续操作前已核实身份信息。
  • 不：经纪人跳过问题或问了无关的问题。

成绩单示例

✅ 顾客：“我需要更新我的账单信息。”
话务员：“请问您账号的后四位数字是多少？”
❌ 顾客：“我需要更新我的账单信息。”
话务员：“好的，新地址是什么？”

  • 每月审查 AI 评分报告，以找出置信度低的问题。
  • 添加反映您所在行业措辞的示例（例如，医疗保健与零售）。
  • 使人工评估者使用的定义与人工智能使用的定义保持一致。
  • 当人工智能错误分类结果时，改进问题和帮助文本。

错误类型 当它发生时 如何解决
速率限制错误 每个客服人员每天最多只能发出 50 个 AI 评分请求，此限制已达到。 分散评估次数、减少重试次数或申请增加配额。
重复评估错误 已存在具有相同评估者 ID 和对话内容的表单。 提交前请检查是否已有评价。复审时请使用不同的表格或评估员 ID。
处理失败错误 问题设计过于笼统或复杂。 使用仅基于文字记录的、可衡量的行为重新编写问题。
对问题缺乏信心 由于措辞含糊不清或主观性强，人工智能无法做出判断。 明确措辞，增加示例，并规范术语。

AI评分手册——10题智能体评估示例表

此评估表样本将关键服务基本要素（例如合规性、同理心和效率）结合成客观的、基于转录的问题，这些问题针对人工智能评分进行了优化。每个问题都旨在通过一致的措辞和可衡量的标准来衡量一种可观察的行为。

此表格展示了基于成绩单的客观评估标准：

问题：
客服人员在对话开始时是否使用“你好”、“早上好”或“嗨”等标准问候语向客户问好？

答案选项：
是 / 否

帮助文本：
代理人必须以礼貌的问候开始。可接受的问候语包括“嗨”、“你好”、“早上好”或类似的说法。

文字稿示例：
顾客：我的账户出了点问题，需要帮助。
话务员：“早上好！感谢您致电ABC客服。
→人工智能标记为“是”

问题：
代理人在处理账户相关问题之前是否核实了客户身份？

答案选项：
是 / 否

帮助文本：
代理人必须核实至少一项客户凭证，例如出生日期、账户 ID 或电话号码，然后才能继续操作。

文字稿示例：
顾客：“我想更新我的账单地址。”
话务员：“请问您账号的后四位数字是多少？”
→人工智能标记为“是”

问题：
客服人员是否允许顾客说完话而没有打断？

答案选项：
是 / 否

帮助文本：
当客服人员打断顾客说话时，就会发生中断。顾客完成后提出的疑问是可以接受的。

文字稿示例：
顾客：问题始于——
话务员：“我先打断一下……”
→ AI 标志否

问题：
客服人员在对话过程中是否至少使用过一次客户姓名？

答案选项：
是 / 否

帮助文本：
使用客户姓名可以使互动更具个性化。人工智能会检查记录或对话中提供的姓名是否被提及。

文字稿示例：
顾客：“我是玛丽亚，我的订单需要帮助。”
话务员：“谢谢你，玛丽亚。”我们来看看您的订单。
→人工智能标记为“是”

问题：
代理在解决问题之前是否承认了客户的问题？

答案选项：
是 / 否

帮助文本：
当代理人用“我理解”、“很抱歉发生了这样的事”或“我知道这一定很令人沮丧”之类的短语来承认问题时，就体现了同理心。人工智能在解决问题之前会寻求确认。

文字稿示例：
顾客：“我被多收了钱。”
话务员：听到这个消息我很难过。我们一起来看看您的账单吧。
→人工智能标记为“是”

问题：
客服人员是否提供了明确的解决方案步骤，例如退款、更换或故障排除说明？

答案选项：
是 / 否

帮助文本：
解决方案必须包含具体措施（退款、更换或技术步骤）。没有明确后续步骤的笼统道歉是无效的。

文字稿示例：
话务员：“我已经处理了补发订单，两天内即可送达。”
→人工智能标记为“是”

问题：
代理人是否清楚地解释了升级流程，包括联系谁、需要哪些信息以及预期响应时间？

答案选项：
是 / 否

帮助文本：
全面升级包括：

  1. 下一个接触点

  2. 所需信息

  3. 预计回复时间

文字稿示例：
话务员：“如果这个问题持续存在，我会将问题升级到二级。”他们需要您的案件编号，并会在24小时内回复。
→人工智能标记为“是”

问题：
代理人是否遵守了强制性披露或合规声明（例如，条款、免责声明或法律要求）？

答案选项：
是 / 否

帮助文本：
合规声明因行业而异，可能包括必要的披露、免责声明或法律声明。AI会在转录文本中查找这些特定短语。

文字稿示例：
话务员：“出于安全考虑，在验证您的身份之前，我无法提供账户详情。”
→人工智能标记为“是”

问题：
经纪人是否避免了不必要的沉默或长时间无解释的冷场？

答案选项：
是 / 否

帮助文本：
超过 15 秒的沉默只有在向顾客解释清楚的情况下才是可以接受的（例如，“我稍等片刻，我正在核实情况”）。

文字稿示例：
话务员：“请稍等片刻，我正在调取您的账户信息。” [沉默10秒]
→人工智能标记为“是”

问题：
客服人员在结束对话前是否确认了客户满意度或总结了后续步骤？

答案选项：
是 / 否

帮助文本：
在交易结束前，代理人应确认问题已解决或清楚地总结后续步骤。这表明工作已完成，并有助于确保客户理解。

文字稿示例：
话务员：“我已经重置了你的密码。”请确认您现在可以登录了吗？
→人工智能标记为“是”