Questa pagina mostra i parametri di campionamento facoltativi che puoi impostare in una richiesta a un modello. I parametri disponibili per ogni modello possono variare. Per saperne di più, consulta la documentazione di riferimento.
Parametri di campionamento dei token
I parametri in questa sezione influiscono sul modo in cui il modello seleziona il token successivo dal suo vocabolario. Modificando questi parametri, puoi controllare la casualità e la diversità del testo generato.
Top-K
Top-K cambia il modo in cui il modello seleziona i token per l'output. Un top-K pari a
1 indica che il token successivo selezionato è il più probabile tra tutti i
token nel vocabolario del modello (chiamato anche decodifica greedy). Un top-K pari a
3 indica, invece, che il token successivo viene selezionato tra i tre token più
probabili (utilizzando la temperatura).
Per ogni fase di selezione dei token, vengono campionati i token Top-K con le probabilità più alte. Quindi i token vengono ulteriormente filtrati in base a top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per saperne di più, consultatopK.
Top-P
Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati
dal più probabile al meno probabile finché la somma delle loro probabilità
non corrisponde al valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di
0,3, 0,2 e 0,1 e il valore di top-P è 0.5, il modello
seleziona A o B come token successivo utilizzando la temperatura ed esclude C come
candidato.
Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali.
Per saperne di più, consultatopP.
Temperatura
La temperatura viene utilizzata per il campionamento durante la generazione di risposte, che si verifica quando vengono applicati topP
e topK. La temperatura controlla il grado di casualità nella selezione dei token.
Le temperature più basse sono ideali per prompt che richiedono risposte meno aperte o creative, mentre
le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0
indica che vengono sempre selezionati i token con la probabilità più alta. In questo caso, le risposte a un determinato prompt sono per lo più deterministiche, ma è comunque possibile una piccola variazione.
Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura. Se il modello entra in una generazione infinita, aumentare la
temperatura ad almeno 0.1 può portare a risultati migliori.
1.0 è il
valore iniziale consigliato per la temperatura.
Le temperature più basse portano a risultati prevedibili (ma non completamente deterministici). Per saperne di più, consulta temperature.
Parametri di arresto
I parametri in questa sezione ti consentono di controllare con precisione la lunghezza e il contenuto dell'output generato dal modello definendo le condizioni in cui il processo di generazione deve interrompersi.
Numero massimo di token di output
Imposta maxOutputTokens per limitare il numero di token
generati nella risposta. Un token equivale a circa quattro caratteri, quindi 100 token corrispondono a circa 60-80 parole. Imposta un valore basso per limitare la lunghezza
della risposta.
Sequenze di interruzioni
Definisci le stringhe in stopSequences per indicare al modello di interrompere la generazione di testo se una delle stringhe viene rilevata nella risposta. Se una
stringa viene visualizzata più volte nella risposta, la risposta viene troncata
nel punto in cui viene rilevata la stringa per la prima volta. Le stringhe sono sensibili alle maiuscole.
Parametri di penalizzazione dei token
I parametri in questa sezione consentono di controllare la probabilità che i token vengano generati in base alla loro frequenza e presenza nell'output.
Penalità per frequenza
I valori positivi penalizzano i token che compaiono ripetutamente nel testo generato, diminuendo la probabilità di ripetere i contenuti. Il valore minimo è -2.0. Il valore massimo è fino a 2.0, escluso.
Per saperne di più, consulta frequencyPenalty nella
documentazione di GenerationConfig.
Penalità per mancata presenza
I valori positivi penalizzano i token già presenti nel testo generato, aumentando la probabilità di generare contenuti più diversi. Il valore minimo è -2.0. Il valore massimo
è fino a 2.0, escluso.
Per saperne di più, consulta presencePenalty nella
documentazione di GenerationConfig.
Parametri del formato di risposta
I parametri in questa sezione consentono di configurare il formato dell'output generato dal modello.
Tipo MIME di risposta
Imposta responseMimeType per specificare il tipo MIME della risposta di output
del testo candidato generato. I valori supportati includono:
text/plain(predefinito): output in testo normale.application/json: Risposta JSON nei candidati.text/x.enum: Per le attività di classificazione, restituisci un valore enum come definito nello schema di risposta.
Specifica il tipo di risposta appropriato per evitare comportamenti indesiderati. Ad esempio, se richiedi una risposta in formato JSON, specifica application/json e non text/plain.
Per maggiori informazioni, consulta responseMimeType e
Output strutturato.
Parametri avanzati
Utilizza questi parametri per restituire maggiori informazioni sui token nella risposta o per controllare la variabilità della risposta.
Numero di candidati
Il numero di varianti di risposta da restituire. Per ogni richiesta, ti vengono addebitati i token di output di tutti i candidati, ma solo una volta per i token di input.
La specifica di più candidati è una funzionalità di anteprima che funziona con generateContent
(streamGenerateContent non è supportato).
candidateCount.
Seed
Quando il seed è impostato su un valore specifico, il modello fa del suo meglio per fornire la stessa risposta per le richieste ripetute. L'output deterministico non è garantito.
Inoltre, la modifica del modello o delle impostazioni dei parametri, ad esempio la temperatura, può causare variazioni nella risposta anche se utilizzi lo stesso valore seed. Per
impostazione predefinita, viene utilizzato un valore di inizializzazione casuale.
Per saperne di più, consulta seed.
Esempio
Ecco un esempio che utilizza i parametri per ottimizzare la risposta di un modello.
Python
Installa
pip install --upgrade google-genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare SDK Google Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Go
Scopri come installare o aggiornare Go.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare SDK Google Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Node.js
Installa
npm install @google/genai
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare SDK Google Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Java
Scopri come installare o aggiornare Java.
Per saperne di più, consulta la documentazione di riferimento dell'SDK.
Imposta le variabili di ambiente per utilizzare SDK Google Gen AI con Vertex AI:
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_ENTERPRISE=True
Passaggi successivi
- Scopri di più sulle best practice per l'AI responsabile e sui filtri di sicurezza di Agent Platform.
- Scopri di più sulle istruzioni di sistema per la sicurezza.
- Scopri di più sul monitoraggio degli abusi.
- Scopri di più sull'AI responsabile.