Liste der Systemregelvorlagen

Knowledge Catalog (ehemals Dataplex Universal Catalog) unterstützt eine Reihe von Regelvorlagen, mit denen Sie Prozesse zur Datenqualität und Datenvalidierung definieren und automatisieren können. Die Implementierung dieser Vorlagen ist ein wichtiger Bestandteil der Data Governance und sorgt dafür, dass Datasets korrekt und konsistent bleiben.

Um zu ermitteln, welche dieser Vorlagen verwendet werden sollen, können Sie eine Datenprofilerstellung für Ihre Ressourcen durchführen, um potenzielle Qualitätsprobleme zu identifizieren. Nachdem Sie die erforderlichen Qualitätsprüfungen identifiziert haben, können Sie auf dieser Seite die entsprechenden Vorlagen auswählen, um Regeln für Ihre Ressourcen zu definieren.

Auf dieser Seite sind die verfügbaren Systemregelvorlagen aufgeführt, die Sie in jeder Region verwenden können.

Tabellenform

Name Beschreibung
Erwartung der Gleichheit der Spaltenanzahl Aggregatregel, die prüft, ob die Anzahl der Spalten in der Tabelle einem bestimmten Wert entspricht. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung des Bereichs der Spaltenanzahl Aggregatregel, die prüft, ob die Anzahl der Spalten in der Tabelle in einem bestimmten Bereich liegt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung des Vorhandenseins von Spalten Aggregatregel, die prüft, ob eine bestimmte Spalte in der Tabelle vorhanden ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung der Aktualität Aggregatregel, die prüft, ob die neuesten Daten in einer Spalte neuer als ein bestimmtes Intervall sind.
Erwartung der gruppierten Aktualität Aggregatregel, die prüft, ob die neuesten gruppierten Daten in einer Spalte neuer als ein bestimmtes Intervall sind.
Erwartung der Übereinstimmung des sortierten Schemas Aggregatregel, die prüft, ob die sortierten Spalten in der Tabelle genau mit einer sortierten, angegebenen Liste übereinstimmen.
Erwartung der Gleichheit der Zeilenanzahl Aggregatregel, die prüft, ob die Anzahl der Zeilen in der Tabelle einem bestimmten Wert entspricht.
Erwartung des Bereichs der Zeilenanzahl Aggregatregel, die prüft, ob die Anzahl der Zeilen in der Tabelle in einem bestimmten Bereich liegt.
Erwartung der Schemabegrenzung Aggregatregel, die prüft, ob die Spalten in der Tabelle alle Spalten in einer bestimmten Gruppe enthalten. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung des Schemaausschlusses Aggregatregel, die prüft, ob die Spalten in der Tabelle nicht in einer bestimmten Gruppe enthalten sind. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung der Schemaübereinstimmung Aggregatregel, die prüft, ob die Spalten in der Tabelle genau mit einer bestimmten Gruppe übereinstimmen. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung der Gleichheit des Aggregats beim Tabellenvergleich Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks zwischen der aktuellen Tabelle und einer angegebenen Referenztabelle gleich ist.
Erwartung des Bereichs des Aggregats beim Tabellenvergleich Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks für die aktuelle Tabelle um mehr als eine bestimmte Toleranz von der Referenztabelle abweicht.
Erwartung der Gleichheit der Zeilenanzahl beim Tabellenvergleich Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle mit der Anzahl der Zeilen in einer angegebenen Referenztabelle übereinstimmt. Optional kann vor dem Zählen ein Zeilenfilter angewendet werden.
Erwartung der Gleichheit des Faktors der Zeilenanzahl beim Tabellenvergleich Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle einem Faktor der Anzahl der Zeilen in einer angegebenen Referenztabelle entspricht. Optional kann vor dem Zählen ein Zeilenfilter angewendet werden.

Fehlende Werte, eindeutige Werte und Typen

Name Beschreibung
Erwartung des Spaltentyps Aggregatregel, die prüft, ob der Datentyp der Spalte mit einem bestimmten Typ übereinstimmt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung der Spaltentyp-Liste Aggregatregel, die prüft, ob der Datentyp der Spalte in einer bestimmten Gruppe enthalten ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Nicht null“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht null ist.
Erwartung „Null“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert null ist.
Erwartung der String-Groß-/Kleinschreibung Regel auf Zeilenebene, die prüft, ob die Groß-/Kleinschreibung jedes Spaltenwert-Strings mit einer bestimmten Groß-/Kleinschreibung übereinstimmt.
Erwartung der Eindeutigkeit Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert eindeutig ist.

Gruppen und Bereiche

Name Beschreibung
Erwartung „Abnehmend“ Aggregatregel, die prüft, ob die Werte in einer Spalte abnehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt ist.
Erwartung „Zunehmend“ Aggregatregel, die prüft, ob die Werte in einer Spalte zunehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt ist.
Erwartung des Bereichs Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einem bestimmten Bereich liegt.
Erwartung der Referenzgruppe Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einer bestimmten Referenzgruppe enthalten ist.
Erwartung des Gruppenausschlusses Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht in einer bestimmten Gruppe enthalten ist.
Erwartung der Gruppe Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einer bestimmten Gruppe enthalten ist.

Stringübereinstimmung

Name Beschreibung
Erwartung des Musterausschlusses Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem bestimmten SQL-LIKE-Muster übereinstimmt.
Erwartung des Musterausschlusses (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung des Musters Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem bestimmten SQL-LIKE-Muster übereinstimmt.
Erwartung des Musters (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung des Regex-Ausschlusses Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem bestimmten regulären Ausdruck übereinstimmt.
Erwartung des Regex-Ausschlusses (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung des Regex Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem bestimmten regulären Ausdruck übereinstimmt.
Erwartung des Regex (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung der Gleichheit der Stringlänge Regel auf Zeilenebene, die prüft, ob die Länge jedes Spaltenwert-Strings einem bestimmten Wert entspricht.
Erwartung des Bereichs der Stringlänge Regel auf Zeilenebene, die prüft, ob die Länge jedes Spaltenwert-Strings in einem bestimmten Bereich liegt.

Aggregatfunktionen

Name Beschreibung
Erwartung der Begrenzung eindeutiger Werte Aggregatregel, die prüft, ob die Gruppe der eindeutigen Spaltenwerte alle Werte in einer bestimmten Gruppe enthält.
Erwartung der Gleichheit der Anzahl eindeutiger Werte Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte einem bestimmten Wert entspricht.
Erwartung des Bereichs der Anzahl eindeutiger Werte Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte in einem bestimmten Bereich liegt.
Erwartung der Übereinstimmung eindeutiger Werte Aggregatregel, die prüft, ob die Gruppe der eindeutigen Spaltenwerte genau mit einer bestimmten Gruppe übereinstimmt.
Erwartung des Anteils eindeutiger Werte Aggregatregel, die prüft, ob der Anteil der eindeutigen Werte in der Spalte (d. h. Anzahl eindeutiger Werte / Gesamtzahl der Zeilen) in einem bestimmten Bereich liegt.
Erwartung der Gruppe eindeutiger Werte Aggregatregel, die prüft, ob jeder eindeutige Spaltenwert in einer bestimmten Gruppe enthalten ist.
Erwartung des Höchstbereichs Aggregatregel, die prüft, ob der Höchstwert der Spalte in einem bestimmten Bereich liegt.
Erwartung des Durchschnittsbereichs Aggregatregel, die prüft, ob der Durchschnitt der Spalte in einem bestimmten Bereich liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der AVG() Funktion nicht deterministisch.
Erwartung des Medianbereichs Aggregatregel, die prüft, ob der Median der Spalte in einem bestimmten Bereich liegt.
Erwartung des Mindestbereichs Aggregatregel, die prüft, ob der Mindestwert der Spalte in einem bestimmten Bereich liegt.
Erwartung des Modusbereichs Aggregatregel, die prüft, ob alle Modi der Spalte (häufigste Werte) in einem bestimmten Bereich liegen. Wenn es mehrere Modi gibt, wird jeder mit dem Bereich verglichen und alle nicht passenden Modi werden zurückgegeben.
Erwartung der Modusgruppe Aggregatregel, die prüft, ob alle Modi der Spalte (häufigste Werte) in der angegebenen Gruppe enthalten sind. NULL-Werte werden bei der Berechnung von Modi ignoriert. Wenn es mehrere Modi mit derselben höchsten Häufigkeit gibt, wird jeder mit der Gruppe verglichen und alle nicht passenden Modi werden in einem Array zurückgegeben.
Erwartung des Quantilbereichs Aggregatregel, die prüft, ob der Wert am angegebenen Quantil für die Spalte in einem bestimmten Bereich liegt.
Erwartung des Bereichs der Standardabweichung Aggregatregel, die prüft, ob die Standardabweichung der Spalte in einem bestimmten Bereich liegt.
Erwartung des Summenbereichs Aggregatregel, die prüft, ob die Summe der Spalte in einem bestimmten Bereich liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der SUM() Funktion nicht deterministisch.
Erwartung der Gleichheit der Anzahl eindeutiger Werte beim Tabellenvergleich Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in einer bestimmten Spalte zwischen der aktuellen Tabelle und einer Referenztabelle gleich ist.

Mehrspaltig

Name Beschreibung
Erwartung der Gleichheit beim Spaltenvergleich Regel auf Zeilenebene, die prüft, ob der Wert in Spalte A für jede Zeile gleich dem Wert in Spalte B ist.
Erwartung „Größer“ beim Spaltenvergleich Regel auf Zeilenebene, die prüft, ob der Wert in Spalte A für jede Zeile größer als der Wert in Spalte B ist.
Erwartung der Gruppe von Spaltenpaaren Aggregatregel, die prüft, ob die gepaarten Werte aus Spalte A und Spalte B in einer bestimmten Gruppe enthalten sind.
Erwartung der Gleichheit der Summe mehrerer Spalten Aggregatregel, die prüft, ob die Summe aller Zeilen in einer bestimmten Liste von Spalten einem bestimmten Wert entspricht. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der SUM() Funktion nicht deterministisch.
Erwartung der Eindeutigkeit mehrerer Spalten Regel auf Zeilenebene, die prüft, ob die Kombination der Werte in einer bestimmten Liste von Spalten für jede Zeile eindeutig ist (z. B. ein mehrspaltiger Primärschlüssel).
Erwartung der Eindeutigkeit der Datensatzspalte Regel auf Zeilenebene, die prüft, ob die Werte in einer bestimmten Liste von Spalten in jedem Datensatz (Zeile) eindeutig sind. Beachten Sie, dass Datensätze dupliziert werden können.

Verteilungsfunktionen

Name Beschreibung
Erwartung der Vollständigkeit des Datumsteils Aggregatregel, die prüft, ob eine Tabelle für jedes Intervall (z. B. jeden Tag) in einem Datumsbereich Daten enthält.
Erwartung der Standardabweichungswerte Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert innerhalb einer bestimmten Anzahl von Standardabweichungen vom Durchschnitt der Spalte liegt.

Allgemeine Bedingungen

Name Beschreibung
Erwartung der Zeilenbedingung Regel auf Zeilenebene, die prüft, ob jede Zeile in einer Tabelle die angegebene Bedingung erfüllt.
SQL-Assertion Aggregatregel, die die Anzahl der Zeilen prüft, die für die angegebene Anweisung zurückgegeben werden. Wenn Zeilen zurückgegeben werden, schlägt diese Regel fehl.
Erwartung der Tabellenbedingung Aggregatregel, die prüft, ob der angegebene Ausdruck für eine Tabelle wahr ist.

Nächste Schritte