Mengakses metrik

Dokumen ini menjelaskan cara mengakses metrik yang dihasilkan oleh aplikasi Gemini Enterprise Anda. Metrik ini memberikan insight tentang performa dan kondisi aplikasi Anda.

Anda dapat melihat telemetri metrik menggunakan Metrics Explorer atau langsung di dalam setiap agen menggunakan tab Observability agen.

Konsep utama

Bagian ini memperkenalkan konsep utama terkait kemampuan observasi di Gemini Enterprise.

Konsep Deskripsi
Metrik Metrik adalah pengukuran numerik yang dikumpulkan sistem dari waktu ke waktu. Pengukuran ini menunjukkan performa, pemanfaatan resource, atau perilaku sistem. Engineer menggunakan metrik untuk memantau kondisi sistem, mengidentifikasi tren, dan memicu pemberitahuan.
Metrik cakupan agen Metrik yang mengukur aktivitas masing-masing agen, seperti sesi, giliran percakapan, dan pemanggilan alatnya. Data tersebut tercantum di bagian jenis resource Agen Gemini Enterprise, dan dikumpulkan hanya jika setelan kemampuan pengamatan Aktifkan instrumentasi log dan rekaman aktivitas OpenTelemetry diaktifkan untuk agen tersebut.
Metrik cakupan aplikasi Metrik yang mengukur semua traffic ke aplikasi, bukan ke satu agen, seperti jumlah permintaan dan latensi end-to-end. Data tersebut tercantum di bagian jenis resource Gemini Enterprise Engine, dengan Engine adalah nama API untuk aplikasi Gemini Enterprise, dan data tersebut dikumpulkan terlepas dari setelan kemampuan pengamatan.

Sebelum memulai

Pastikan Anda memiliki hal berikut:

  • Peran Admin Gemini Enterprise atau peran Pengguna Gemini Enterprise di konsol Google Cloud .

  • Aplikasi web Gemini Enterprise yang sudah ada. Untuk mengetahui informasi tentang cara membuat aplikasi baru, lihat Membuat aplikasi.

  • Untuk mengakses Metrics Explorer, Anda harus memiliki peran Monitoring Viewer (roles/monitoring.viewer).

  • Aktifkan setelan kemampuan pengamatan Aktifkan instrumentasi log dan rekaman aktivitas OpenTelemetry. Bergantung pada jenis agen, aktifkan opsi ini di konfigurasi tingkat aplikasi (untuk agen Core Assistant) atau di dalam tab Configuration agen (untuk agen buatan karyawan Workflow Builder dan agen Deep Research). Untuk mengetahui informasi selengkapnya, lihat Mengelola setelan kemampuan pengamatan. Setelan ini diperlukan untuk metrik cakupan agen. Metrik cakupan aplikasi, yang tercantum di bagian jenis resource Gemini Enterprise Engine, dikumpulkan tanpa hal tersebut.

Retensi data

Metrik yang dihasilkan oleh aplikasi Gemini Enterprise Anda disimpan di Cloud Monitoring di project Google Cloud Anda, dan retensinya diatur oleh Cloud Monitoring. Metrik Gemini Enterprise dipublikasikan dengan awalan discoveryengine.googleapis.com/, yang termasuk dalam tingkat "semua metrik lainnya"Google Cloud dan dipertahankan selama 6 minggu secara default. Data yang lebih lama dari periode retensi akan otomatis dihapus. Untuk mengetahui nilai retensi yang tepercaya dan terbaru, lihat Retensi data di dokumentasi Kuota dan batas Cloud Monitoring.

Mengakses metrik di Metrics Explorer

Untuk mengakses metrik, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Metrics Explorer.

    Buka Metrics Explorer

  2. Pilih Google Cloud project tempat aplikasi Gemini Enterprise Anda dibuat.

  3. Klik Pilih metrik untuk membuka kotak penelusuran.

  4. Di kotak penelusuran, cari metrik berikut:

    Nama Metrik Deskripsi
    Agen Gemini Enterprise - Jumlah Sesi Agen Gemini Enterprise Jumlah sesi yang ditangani oleh Agen Gemini Enterprise.
    Agen Gemini Enterprise - Jumlah Alat Agen Gemini Enterprise Jumlah pemanggilan alat oleh Agen Gemini Enterprise.
    Agen Gemini Enterprise - Jumlah Giliran Agen Gemini Enterprise Jumlah interaksi percakapan dalam sesi Agen Gemini Enterprise.
    Agen Gemini Enterprise - Total Latensi Agen Gemini Enterprise Total latensi respons dari Agen Gemini Enterprise.
    Gemini Enterprise Agent - Gemini Enterprise Agent Tool Total Latency Total latensi yang terjadi akibat eksekusi alat dalam Agen Gemini Enterprise.
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector Jumlah Permintaan Jumlah total permintaan yang dibuat ke konektor data Gemini Enterprise (juga disebut sebagai penyimpanan data di konsol Google Cloud ).
    Gemini Enterprise DataConnector - Gemini Enterprise DataConnector Latensi Permintaan (Beta) Latensi permintaan yang dibuat ke konektor data Gemini Enterprise (juga disebut sebagai penyimpanan data di konsol Google Cloud ) dalam milidetik.
    Mesin Gemini Enterprise - Jumlah Permintaan Mesin Gemini Enterprise Total jumlah permintaan yang diterima oleh aplikasi Gemini Enterprise Anda, di seluruh traffic ke aplikasi, bukan satu agen. Dikelompokkan menurut metode API, kode respons gRPC kanonis, class kode respons, jenis kueri, dan model.
    Mesin Gemini Enterprise - Total Permintaan Mesin Gemini Enterprise Latensi Distribusi latensi permintaan end-to-end untuk aplikasi Gemini Enterprise Anda. Dicatat untuk setiap permintaan, termasuk permintaan yang menampilkan error.
    Mesin Gemini Enterprise - Waktu Mesin Gemini Enterprise hingga Latensi Jawaban Pertama Distribusi latensi antara menerima permintaan dan mengalirkan token jawaban pertama. Direkam hanya untuk permintaan yang menghasilkan setidaknya satu token jawaban.
    Mesin Gemini Enterprise - Waktu Mesin Gemini Enterprise untuk Latensi Token Pertama Token Distribusi latensi antara menerima permintaan dan mengalirkan token pertama, baik token tersebut merupakan bagian dari proses berpikir model atau jawaban akhir. Direkam hanya untuk permintaan yang menghasilkan setidaknya satu token yang di-streaming.

  5. Pilih metrik yang ingin Anda jelajahi, lalu klik Terapkan.

  6. Secara opsional, tetapkan filter label tambahan, elemen agregasi, dan sesuaikan rentang waktu.

    Screenshot Metrics Explorer di konsol Google Cloud , yang menampilkan metrik Agen Gemini Enterprise.

Mengakses metrik untuk agen

Anda juga dapat melihat dasbor metrik operasional, khusus alat, dan sesi secara langsung untuk setiap agen di tab Observability agen di konsol Google Cloud .

Untuk mengakses metrik agen:

  1. Di konsol Google Cloud , buka aplikasi Anda, lalu klik Agen.
  2. Pilih agen yang ingin Anda periksa, lalu klik tab Observasi.

Tab Observability menyediakan telemetri operasional utama yang dibagi menjadi empat tampilan: Overview, Tools, Latency, dan Error rate.

Metrik ringkasan

Tampilan ini menyediakan dasbor yang merangkum data kesehatan agen dan sesi standar, yang mencakup:

  • Sesi: Total jumlah sesi pengguna.
  • Waktu rata-rata per sesi: Waktu rata-rata yang berlalu selama sesi.
  • Pemanggilan agen: Total frekuensi agen dipanggil.
  • Latensi agen: Latensi dari waktu ke waktu dan metrik tertentu.
  • Traffic agen: Volume permintaan masuk.
  • Tingkat error agen: Persentase kegagalan pemanggilan agen.

Screenshot tampilan Ringkasan tab Observability di konsol Google Cloud , yang menampilkan sesi, rata-rata giliran per sesi, dan pemanggilan agen, latensi, traffic, dan tingkat error

Metrik alat

Tampilan ini berfokus secara khusus pada penggunaan dan latensi alat yang terhubung ke agen Anda, yang mencakup:

  • Total panggilan: Jumlah permintaan eksekusi alat.
  • Durasi P95 menurut alat: Latensi persentil ke-95 dari eksekusi, yang dikategorikan menurut alat.
  • Jumlah panggilan menurut alat: Total jumlah panggilan dibagi di antara berbagai alat.
  • Tingkat error menurut alat: Tingkat kegagalan eksekusi menurut alat.
  • Rasio"Tidak ada alat yang dipanggil": Rasio interaksi yang tidak memicu eksekusi alat apa pun.

Metrik latensi

Tampilan ini menampilkan latensi respons agen Anda. Setiap metrik ditampilkan sebagai kartu ringkasan p50 dan p95 untuk rentang waktu yang dipilih, dan sebagai diagram deret waktu yang menampilkan tren dari waktu ke waktu. Anda juga dapat memfilter metrik latensi menurut fitur. Tampilan ini menampilkan metrik berikut:

  • Time to First Token (TTFT): Latensi antara menerima permintaan dan melakukan streaming token pertama, baik token tersebut merupakan bagian dari proses berpikir model maupun jawaban.
  • Waktu hingga Jawaban Pertama (TTFA): Latensi antara menerima permintaan dan mengalirkan token jawaban pertama, yang merupakan token pertama yang bukan bagian dari penalaran model. Jika agen memanggil alat setelah mulai menjawab, pengukuran akan dimulai ulang, sehingga TTFA mencerminkan kapan jawaban yang dibaca pengguna mulai di-streaming, bukan narasi sementara.
  • Waktu hingga Token Terakhir (TTLT): Latensi antara menerima permintaan dan mengalirkan token terakhir, yaitu saat respons selesai.

Memfilter metrik latensi menurut fitur

Fitur adalah jenis interaksi yang diwakili oleh giliran, seperti penelusuran web atau pembuatan gambar. Filter metrik latensi menurut fitur untuk melihat jenis interaksi yang paling lambat, dan untuk mencegah satu fitur yang lambat memengaruhi latensi keseluruhan.

Untuk memfilter metrik latensi menurut fitur:

  1. Di tab Observability agen, klik tampilan Latensi.
  2. Klik Filter menurut fitur.
  3. Pilih fitur yang ingin Anda periksa.

Kartu ringkasan dan diagram deret waktu kemudian hanya menampilkan belokan untuk fitur tersebut.

Untuk membandingkan semua fitur sekaligus, gunakan tabel telemetri Fitur, yang mencantumkan hal berikut untuk setiap fitur:

  • Pangsa traffic: Persentase belokan yang diatribusikan ke fitur.
  • TTFT, TTFA, dan TTLT: Latensi p50 dan p95 untuk fitur.

Anda dapat memfilter menggunakan fitur berikut:

  • Parametrik: Interaksi yang mengirim permintaan ke model untuk output teks saja, tanpa alat, seperti tugas terjemahan.
  • Pembuatan media: Tugas pembuatan gambar dan video.
  • Khusus penelusuran web: Interaksi yang mengirim permintaan ke model menggunakan alat penelusuran web.
  • Analisis file yang diupload: Interaksi yang mengirim permintaan ke model bersama dengan file yang diupload pengguna.
  • Konektor: Kueri yang mengirim permintaan ke konektor internal atau pihak ketiga.
  • Canvas: Tugas pembuatan yang menggunakan Canvas.
  • Keterampilan: Interaksi yang memanggil keterampilan.
  • Lainnya: Kategori umum untuk giliran yang mencakup beberapa fitur atau yang belum diklasifikasikan.

Screenshot tampilan Latensi tab Observability di konsol Google Cloud , yang menampilkan filter fitur, kartu ringkasan p50 dan p95, diagram deret waktu untuk waktu ke token pertama, waktu ke jawaban pertama, dan waktu ke token terakhir, serta tabel telemetri Fitur yang mencantumkan setiap fitur dengan pangsa traffic dan latensi p50 dan p95-nya

Metrik tingkat error

Tampilan ini menunjukkan cara permintaan agen Anda diselesaikan, yang dikelompokkan menurut kelas respons: OK (2xx), Error klien (4xx), Error server (5xx), dan Dibatalkan. Ini mencakup:

  • Volume permintaan menurut kelas respons: Jumlah permintaan masuk dari waktu ke waktu, ditumpuk menurut kelas respons.
  • Tingkat error menurut class respons: Persentase permintaan yang gagal dari waktu ke waktu, yang dikelompokkan menurut class respons.
  • Kode error klien (4xx) dan Kode error server (5xx): Kode respons gRPC kanonis individual dari waktu ke waktu, seperti INVALID_ARGUMENT atau INTERNAL, sehingga Anda dapat mengetahui error spesifik mana yang memicu lonjakan.
  • Total: Jumlah permintaan dan persentase total permintaan untuk setiap hasil selama rentang waktu yang dipilih, dengan tabel terpisah yang memberi peringkat pada kode error klien dan server individual.

Screenshot tampilan Tingkat error di tab Observasi pada konsol Google Cloud , yang menampilkan volume permintaan dan tingkat error menurut class respons, diagram deret waktu untuk kode error klien dan server, serta tabel total

Langkah berikutnya