Einführung in Einbettungen und Vektorsuche

Dieses Dokument bietet einen Überblick über Einbettungen und die Vektorsuche in BigQuery. Die Vektorsuche ist eine Technik zum Vergleichen ähnlicher Objekte mithilfe von Einbettungen. Sie wird in Google-Produkten wie der Google Suche, YouTube und Google Play verwendet. Mit der Vektorsuche können Sie semantische Suchen im großen Maßstab durchführen oder eine hybride Suche ausführen, die eine semantische Suche mit einer lexikalischen (Keyword-)Suche kombiniert. Wenn Sie Vektorindizes mit der Vektorsuche verwenden, können Sie von grundlegenden Technologien wie der umgekehrten Dateiindizierung (Inverted File Indexing, IVF) und dem ScaNN-Algorithmus profitieren.

Die Vektorsuche basiert auf Einbettungen. Einbettungen sind hochdimensionale numerische Vektoren, die eine bestimmte Entität darstellen, z. B. einen Text oder eine Audiodatei. Modelle für maschinelles Lernen (ML) verwenden Einbettungen, um semantische Informationen zu solchen Entitäten zu codieren, damit sie leichter analysiert und verglichen werden können. Eine häufige Operation in Clustering-, Klassifizierungs- und Empfehlungsmodellen ist beispielsweise das Messen des Abstands zwischen Vektoren in einem Einbettungsraum, um Elemente zu finden, die semantisch am ähnlichsten sind.

Dieses Konzept der semantischen Ähnlichkeit und Distanz in einem Einbettungsraum wird visuell veranschaulicht, wenn Sie sich ansehen, wie verschiedene Elemente dargestellt werden können. Begriffe wie Katze, Hund und Löwe, die alle Arten von Tieren darstellen, werden aufgrund ihrer gemeinsamen semantischen Merkmale in diesem Raum nah beieinander gruppiert. Ähnlich würden Begriffe wie Auto, Lkw und der allgemeinere Begriff Fahrzeug einen weiteren Cluster bilden. Das ist in der folgenden Abbildung zu sehen:

Semantisch ähnliche Konzepte wie „Katze“, „Hund“ und „Löwe“ oder „Auto“, „Lkw“ und „Fahrzeug“ liegen im Einbettungsbereich nahe beieinander.

Die Cluster für Tiere und Fahrzeuge sind weit voneinander entfernt. Die Trennung zwischen den Gruppen veranschaulicht das Prinzip, dass Objekte umso semantisch ähnlicher sind, je näher sie im Einbettungsraum liegen. Größere Abstände deuten auf eine größere semantische Unähnlichkeit hin.

Anwendungsfälle

Die Kombination aus Einbettungserstellung und Vektorsuche ermöglicht viele interessante Anwendungsfälle. Hier einige mögliche Anwendungsfälle:

  • Retrieval-Augmented Generation (RAG): Analysieren Sie Dokumente, führen Sie eine Vektorsuche nach Inhalten durch und generieren Sie zusammengefasste Antworten auf Fragen in natürlicher Sprache mit Gemini-Modellen – alles in BigQuery. Ein Notebook, das dieses Szenario veranschaulicht, finden Sie unter Vektorsuchanwendung mit BigQuery DataFrames erstellen.
  • Produktalternativen empfehlen oder passende Produkte finden: Verbessern Sie E-Commerce-Anwendungen, indem Sie Produktalternativen basierend auf dem Kundenverhalten und der Produktähnlichkeit vorschlagen.
  • Log-Analyse: Unterstützen Sie Teams dabei, Anomalien in Logs proaktiv zu priorisieren und Untersuchungen zu beschleunigen. Sie können diese Funktion auch verwenden, um den Kontext für LLMs zu erweitern und so die Bedrohungserkennung, die Forensik und die Fehlerbehebung zu verbessern. Ein Notebook, das dieses Szenario veranschaulicht, finden Sie unter Log-Anomalieerkennung und ‑untersuchung mit Texteinbettungen und der BigQuery-Vektorsuche.
  • Clustering und Targeting: Zielgruppen präzise segmentieren. Eine Krankenhauskette könnte beispielsweise Patienten mithilfe von Notizen in natürlicher Sprache und strukturierten Daten clustern oder ein Marketer könnte Anzeigen basierend auf der Suchintention ausrichten. Ein Notebook, das dieses Szenario veranschaulicht, finden Sie unter Create-Campaign-Customer-Segmentation.
  • Entitätsauflösung und Deduplizierung: Daten bereinigen und zusammenführen. Ein Werbeunternehmen könnte beispielsweise Datensätze mit personenbezogenen Daten deduplizieren oder ein Immobilienunternehmen könnte übereinstimmende Postadressen identifizieren.

Einbettungen generieren

In den folgenden Abschnitten werden die Funktionen beschrieben, die BigQuery bietet, um Einbettungen zu generieren oder damit zu arbeiten.

Einzelne Einbettungen generieren

Mit der AI.EMBED Funktion und den Einbettungsmodellen der Gemini Enterprise Agent Platform können Sie eine einzelne Einbettung Ihrer Eingabe generieren.

Die Funktion AI.EMBED unterstützt die folgenden Eingabetypen:

  • Textdaten
  • Bilddaten, die durch ObjectRef Werte dargestellt werden

Tabelle mit Einbettungen generieren

Mit der Funktion AI.GENERATE_EMBEDDING können Sie eine Tabelle mit Einbettungen für alle Daten in einer Spalte Ihrer Eingabetabelle erstellen. Für alle Arten unterstützter Modelle funktioniert AI.GENERATE_EMBEDDING mit strukturierten Daten in Standardtabellen. Bei multimodalen Einbettungsmodellen funktioniert AI.GENERATE_EMBEDDING auch mit visuellen Inhalten aus Standardtabellen spalten, die ObjectRef Werte enthalten, oder aus Objekttabellen.

Bei Remote-Modellen erfolgt die gesamte Inferenz in der Agent Platform. Bei anderen Modelltypen erfolgt die gesamte Inferenz in BigQuery. Die Ergebnisse werden in BigQuery gespeichert.

In den folgenden Themen können Sie die Einbettungserstellung in BigQuery ML ausprobieren:

Autonome Einbettungserstellung

Mit der autonomen Einbettungserstellung können Sie das Erstellen, Verwalten und Abfragen von Einbettungen vereinfachen. BigQuery verwaltet eine Spalte mit Einbettungen in Ihrer Tabelle basierend auf einer Quellspalte. Wenn Sie Daten in der Quellspalte hinzufügen oder ändern, generiert oder aktualisiert BigQuery die Einbettungsspalte für diese Daten automatisch mithilfe eines Einbettungsmodells der Agent Platform. Das ist hilfreich, wenn Sie BigQuery Ihre Einbettungen verwalten lassen möchten, wenn Ihre Quelldaten regelmäßig aktualisiert werden.

Mit den folgenden Suchfunktionen können Sie eine semantische Vektorsuche oder eine hybride Suche durchführen, die eine semantische Suche mit einer lexikalischen Keyword-Suche kombiniert:

  • VECTOR_SEARCH: Führen Sie eine semantische Vektorsuche oder eine hybride Suche mit SQL durch.

  • AI.SEARCH: Führen Sie eine semantische oder hybride Suche nach Ergebnissen durch, die einem von Ihnen angegebenen String ähneln. Sie können diese Funktion verwenden, wenn die autonome Einbettungserstellung für Ihre Tabelle aktiviert ist.

  • AI.SIMILARITY: Vergleichen Sie zwei Eingaben, indem Sie die Kosinusähnlichkeit zwischen ihren Einbettungen berechnen. Diese Funktion eignet sich gut, wenn Sie nur wenige Vergleiche durchführen möchten und noch keine Einbettungen vorab berechnet haben. Verwenden Sie VECTOR_SEARCH, wenn die Leistung entscheidend ist und Sie mit einer großen Anzahl von Einbettungen arbeiten. Vergleichen Sie die Funktionen um die beste Funktion für Ihren Anwendungsfall auszuwählen.

Optional können Sie mit der Anweisung CREATE VECTOR INDEX einen Vektorindex erstellen. Bei Verwendung eines Vektorindex nutzen die Funktionen VECTOR_SEARCH und AI.SEARCH die Suchmethode Annäherung an den nächsten Nachbarn, um die Leistung der Vektorsuche zu verbessern. Dabei wird die Trefferquote reduziert und es werden ungefähre Ergebnisse zurückgegeben. Ohne Vektorindex verwenden diese Funktionen die Brute-Force-Suche, um den Abstand für jeden Datensatz zu messen. Sie können auch die Brute-Force-Suche verwenden, um genaue Ergebnisse zu erhalten, auch wenn ein Vektorindex verfügbar ist.

Preise

Für die Funktionen VECTOR_SEARCH und AI.SEARCH sowie die CREATE VECTOR INDEX Anweisung gelten die BigQuery-Preise für die Datenverarbeitung.

  • Funktionen VECTOR_SEARCH und AI.SEARCH: Die Kosten für die Ähnlichkeit ssuche werden nach dem On-Demand-Preis oder dem Preis für Editionen berechnet.

    • On-Demand: Ihnen werden die Kosten für die Anzahl der Byte in Rechnung gestellt, die in der Basistabelle, im Index und in der Suchanfrage gescannt wurden.

    • Preise für Editionen: Ihnen werden die Slots in Rechnung gestellt, die erforderlich sind, um den Job innerhalb Ihrer Reservierungsedition abzuschließen. Größere und komplexere Ähnlichkeitsberechnungen verursachen höhere Kosten.

  • CREATE VECTOR INDEX Anweisung: Die für die Verarbeitung zum Aufbau und zur Aktualisierung Ihrer Vektorindizes erforderliche Verarbeitung ist kostenlos, solange die Gesamtgröße der indexierten Tabellendaten unter Ihrem Limit pro Organisation liegt. Wenn Sie die Indexierung über dieses Limit hinaus unterstützen möchten, müssen Sie eine eigene Reservierung für die Indexverwaltungsjobs angeben.

Auch der Speicher ist ein wichtiger Faktor für Einbettungen und Indizes. Für die als Einbettungen und Indizes gespeicherte Anzahl von Byte fallen Kosten für aktiven Speicher an.

  • Für Vektorindizes fallen Speicherkosten an, wenn sie aktiv sind.
  • Die Größe des Indexspeichers finden Sie in der INFORMATION_SCHEMA.VECTOR_INDEXES Ansicht. Wenn der Vektorindex noch nicht zu 100% abgedeckt ist, werden Ihnen trotzdem die Kosten für die indexierten Daten in Rechnung gestellt. Sie können die Indexabdeckung in der Ansicht INFORMATION_SCHEMA.VECTOR_INDEXES prüfen.

Kontingente und Limits

Weitere Informationen finden Sie unter Limits für Vektorindizes und Limits für generative KI-Funktionen.

Beschränkungen

Abfragen, die die Funktion VECTOR_SEARCH oder AI.SEARCH enthalten, werden von BigQuery BI Engine nicht beschleunigt.

Nächste Schritte