Realizar pesquisa semântica e geração aumentada de recuperação

Criar um conjunto de dados

Para criar um conjunto de dados do BigQuery, selecione uma das seguintes opções:

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

Criar o modelo remoto para geração de embedding de texto

Nesta seção, você cria um modelo remoto que representa um modelo de geração de embedding de texto da Agent Platform hospedado. Ao criar o modelo, você usa a conexão DEFAULT para chamar a API Text Embeddings e receber embeddings de texto usando o modelo text-embedding-005. Se você não tiver uma conexão padrão, a instrução CREATE MODEL vai criar uma para você.

Para criar o modelo de embedding de texto, siga estas etapas:

1. No Google Cloud console, acesse a página BigQuery.

   Acessar o BigQuery

2. Para criar o modelo, cole este comando no editor de consultas e, em seguida, clique em play_circle Executar:

   CREATE OR REPLACE MODEL `bqml_tutorial.embedding_model`
     REMOTE WITH CONNECTION DEFAULT
     OPTIONS (ENDPOINT = 'text-embedding-005');

   A consulta leva vários segundos para ser concluída. Depois disso, o modelo embedding_model pode ser acessado pelo painel Explorer.

   Você recebe uma mensagem de confirmação como esta: Successfully created model named embedding_model.

Gerar embeddings de texto

Gere embeddings de texto com base em resumos de patentes usando a AI.GENERATE_EMBEDDING função, e, em seguida, grave-os em uma tabela do BigQuery para que possam ser pesquisados.

A geração de embeddings usando a AI.GENERATE_EMBEDDING função pode falhar devido a cotas ou indisponibilidade de serviço do LLM da Agent Platform. Se isso acontecer, os detalhes do erro serão retornados na coluna status nos resultados da consulta.

Para métodos alternativos de geração de embedding de texto no BigQuery, consulte o tutorial de iembedding de texto com modelos pré-treinados do TensorFlow.

Para gerar embeddings de texto, cole este comando no editor de consultas e clique em play_circle Executar:

  CREATE OR REPLACE TABLE bqml_tutorial.embeddings AS
  SELECT * FROM AI.GENERATE_EMBEDDING(
    MODEL bqml_tutorial.embedding_model,
    (
      SELECT *, abstract AS content
      FROM patents-public-data.google_patents_research.publications
      WHERE LENGTH(abstract) > 0 AND LENGTH(title) > 0 AND country = 'Singapore'
    )
  )
  WHERE LENGTH(status) = 0;
  

Essa consulta leva vários minutos para ser concluída. Você recebe uma confirmação mensagem como esta:This statement created a new table named embeddings.

Criar um índice vetorial

Se você criar um índice vetorial em uma coluna de embedding, uma pesquisa vetorial que é realizada nessa coluna usa a técnica de pesquisa do Vizinho aproximado mais perto. Essa técnica melhora o desempenho da pesquisa vetorial e retorna resultados mais aproximados, mas o recall é reduzido.

Para criar um índice vetorial, use a CREATE VECTOR INDEX instrução de linguagem de definição de dados (DDL, na sigla em inglês). Para verificar se o índice está disponível, consulte a visualização INFORMATION_SCHEMA.VECTOR_INDEXES para verificar se o valor da coluna coverage_percentage é maior que 0, e se o valor da coluna last_refresh_time não é NULL.

Para criar e verificar o índice vetorial, siga estas etapas:

1. Para criar o índice vetorial, cole este comando no editor de consultas e então clique em play_circle Executar:

   CREATE OR REPLACE VECTOR INDEX my_index
   ON `bqml_tutorial.embeddings`(embedding)
   OPTIONS(index_type = 'IVF',
     distance_type = 'COSINE',
     ivf_options = '{"num_lists":500}');

   Você recebe uma mensagem de confirmação como esta: The vector index creation on table bqml_tutorial.embeddings was initiated. Please query bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES to check the progress of the index.

   A criação de um índice vetorial geralmente leva apenas alguns segundos. São necessários mais dois a três minutos para que o índice vetorial seja preenchido de forma assíncrona.

2. Para verificar se o índice está pronto para ser usado, cole este comando no editor de consultas e clique em play_circle Executar:

   SELECT table_name, index_name, index_status,
   coverage_percentage, last_refresh_time, disable_reason
   FROM `PROJECT_ID.bqml_tutorial.INFORMATION_SCHEMA.VECTOR_INDEXES`;

   Substitua PROJECT_ID pela ID do seu projeto.

   Depois de executar a consulta, o índice estará disponível se a coluna index_status nos resultados mostrar que o índice está ACTIVE e se o valor coverage_percentage for 100.

Realizar uma pesquisa de similaridade de texto usando o índice vetorial

Use a VECTOR_SEARCH função para pesquisar patentes relevantes que correspondam a embeddings gerados a partir de uma consulta de texto.

O argumento top_k determina o número de correspondências a serem retornadas, neste caso, cinco. A opção fraction_lists_to_search determina a porcentagem de listas de índices vetoriais a serem pesquisadas. O índice vetorial criado tem 500 listas. Portanto, o valor fraction_lists_to_search de .01 indica que essa pesquisa vetorial verifica cinco dessas listas. Um valor fraction_lists_to_search menor, conforme mostrado aqui, oferece um recall menor e um desempenho mais rápido.

Para mais informações sobre listas de índices vetoriais, consulte a num_lists opção de índice vetorial.

O modelo usado para gerar os embeddings nessa consulta precisa ser o mesmo usado para gerar os embeddings na tabela que você está comparando. Caso contrário, os resultados da pesquisa não serão precisos.

Para realizar uma pesquisa de similaridade de texto, cole este comando no editor de consultas, e clique em play_circle Executar:

  SELECT query.query, base.publication_number, base.title, base.abstract
  FROM VECTOR_SEARCH(
    TABLE bqml_tutorial.embeddings, 'embedding',
    (
    SELECT embedding, content AS query
    FROM AI.GENERATE_EMBEDDING(
    MODEL bqml_tutorial.embedding_model,
    (SELECT 'improving password security' AS content))
    ),
    top_k => 5, options => '{"fraction_lists_to_search": 0.01}');
  

O resultado será assim:

+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
|            query            | publication_number |                       title                     |                      abstract                   |
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+
| improving password security | SG-120868-A1       | Data storage device security method and a...    | Methods for improving security in data stora... |
| improving password security | SG-10201610585W-A  | Passsword management system and process...      | PASSSWORD MANAGEMENT SYSTEM AND PROCESS ...     |
| improving password security | SG-148888-A1       | Improved system and method for...               | IMPROVED SYSTEM AND METHOD FOR RANDOM...        |
| improving password security | SG-194267-A1       | Method and system for protecting a password...  | A system for providing security for a...        |
| improving password security | SG-120868-A1       | Data storage device security...                 | Methods for improving security in data...       |
+-----------------------------+--------------------+-------------------------------------------------+-------------------------------------------------+

Criar o modelo remoto para geração de texto

Para criar um modelo remoto que represente um modelo de geração de texto da Agent Platform hospedado, cole este comando no editor de consultas e clique em play_circle Executar:

  CREATE OR REPLACE MODEL bqml_tutorial.text_model
    REMOTE WITH CONNECTION DEFAULT
    OPTIONS (ENDPOINT = 'gemini-2.5-flash');
  

Você recebe uma mensagem de confirmação semelhante a esta: Successfully created model named text_model.

Gerar texto aumentado pelos resultados da pesquisa vetorial

Alimente os resultados da pesquisa como solicitações para gerar texto com a AI.GENERATE_TEXT função.

Para aumentar os resultados da pesquisa vetorial, cole este comando no editor de consultas, e clique em play_circle Executar:

  SELECT result AS generated, prompt
  FROM AI.GENERATE_TEXT(
    MODEL bqml_tutorial.text_model,
    (
      SELECT CONCAT(
        'Propose some project ideas to improve user password security using the context below: ',
        STRING_AGG(
          FORMAT("patent title: %s, patent abstract: %s", base.title, base.abstract),
          ',\n')
        ) AS prompt,
      FROM VECTOR_SEARCH(
        TABLE bqml_tutorial.embeddings, 'embedding',
        (
          SELECT embedding, content AS query
          FROM AI.GENERATE_EMBEDDING(
            MODEL bqml_tutorial.embedding_model,
            (SELECT 'improving password security' AS content)
          )
        ),
      top_k => 5, options => '{"fraction_lists_to_search": 0.01}')
    ),
    STRUCT(600 AS max_output_tokens));
  

O resultado será assim:

+------------------------------------------------+------------------------------------------------------------+
|            generated                           | prompt                                                     |
+------------------------------------------------+------------------------------------------------------------+
| These patents suggest several project ideas to | Propose some project ideas to improve user password        |
| improve user password security.  Here are      | security using the context below: patent title: Active     |
| some, categorized by the patent they build     | new password entry dialog with compact visual indication   |
| upon:                                          | of adherence to password policy, patent abstract:          |
|                                                | An active new password entry dialog provides a compact     |
| **I. Projects based on "Active new password    | visual indication of adherence to password policies. A     |
| entry dialog with compact visual indication of | visual indication of progress towards meeting all          |
| adherence to password policy":**               | applicable password policies is included in the display    |
|                                                | and updated as new password characters are being...        |
+------------------------------------------------+------------------------------------------------------------+