使用 Agent Platform 评估模型

本页面介绍如何使用 Gemini Enterprise Agent Platform 评估模型。如需大致了解该工作您，请参阅 Agent Platform 中的模型评估。

前提条件

1. 按照设置项目和开发环境中的步骤执行操作。此外，请启用以下服务：

   • Compute Engine API
   • Dataflow API

2. Agent Platform 可以评估通过 AutoML 或自定义训练进行训练的模型。根据 Google Cloud 控制台 指南，您应该将经过训练的模型 导入 Gemini Enterprise Agent Platform Model Registry。

3. 将测试数据集上传到 BigQuery 或 Cloud Storage。测试数据集应包含标准答案，即预计的推理实际结果。获取指向文件或数据集 ID 的链接。

4. 以 BigQuery 表或 Cloud Storage URI 的形式提供批量推理输出。

5. 确保您的 默认 Compute Engine 服务账号 具有以下 IAM 权限：

   • Agent Platform 管理员 (aiplatform.admin)
   • Agent Platform 服务代理 (aiplatform.serviceAgent)
   • Storage Object Admin (storage.objectAdmin)
   • Dataflow Worker (dataflow.worker)
   • BigQuery Data Editor (bigquery.dataEditor)（仅当您以 BigQuery 表的形式提供数据时才需要）

创建评估

Agent Platform 会在模型评估作业完成后自动发送电子邮件通知。

查看评估指标

比较评估指标

您可以对不同模型、模型版本和评估作业的评估结果进行比较。如需详细了解模型版本控制，请参阅 Model Registry 中的版本控制。

您只能比较相同类型的模型，例如分类、回归或预测。在比较不同的模型时，所有模型版本的类型必须相同。

一次最多只能比较 5 个评估。

1. 在 Google Cloud 控制台中，前往 Gemini Enterprise Agent Platform Model Registry：

   转到“模型”页面

2. 导航到您的模型或模型版本：

   • 如需在模型页面上比较不同的模型，请选中要比较的模型名称旁边的复选框。

   • 如需比较不同的模型版本，请执行以下操作：

     1. 点击模型页面上的模型名称以打开模型版本列表。

     2. 选中要比较的版本旁边的复选框。

   • 如需比较同一模型版本的多个评估作业，请执行以下操作：

     1. 点击模型页面上的模型名称以打开模型版本列表。

     2. 点击版本号。

     3. 选中要比较的评估作业旁边的复选框。

3. 点击比较。

后续步骤

• 了解如何评估模型的公平性。