GSP1165

Panoramica

La progettazione di prompt è il processo di creazione di prompt efficaci nel generare l'output desiderato da un modello linguistico di grandi dimensioni (LLM) come PaLM. I prompt possono essere utilizzati per generare testi, tradurre lingue, scrivere vari tipi di contenuti creativi e fornire risposte informative alle tue domande.

Per ottenere buoni risultati da un prompt, è necessario essere specifici, utilizzare parole chiave pertinenti all'output che vuole generare e fornire a PaLM esempi dell'output desiderato per aiutarlo a comprendere meglio la richiesta.

In questo lab sarai l'analista di mercato di una società immobiliare. Dovrai creare prompt in grado di sintetizzare le lunghe descrizioni delle unità immobiliari presenti sul sito web aziendale, in modo da aiutare i clienti a trovare soluzioni che corrispondano alle proprie esigenze.

Obiettivi didattici

In questo lab esplorerai la piattaforma di IA/ML Vertex AI e scoprirai come:

• Progettare prompt efficaci.
• Interagire con PaLM per ottenere le risposte desiderate.
• Gestire le allucinazioni nelle risposte.

Caso d'uso

La tua azienda vuole utilizzare modelli linguistici di grandi dimensioni (LLM) per generare brevi descrizioni di unità immobiliari da proporre agli acquirenti, dopo che questi hanno specificato le caratteristiche della soluzione che stanno cercando.

Il tuo compito è creare dei prompt in grado di riassumere le lunghe descrizioni delle unità immobiliari presenti sul sito web aziendale. Tutte le descrizioni sono salvate in un file in un bucket Google Cloud Storage.

Tramite Model Garden, inizierai a esplorare i modelli predefiniti disponibili per risparmiare tempo e implementare una soluzione il più rapidamente possibile.

Funzionalità di Vertex AI utilizzate in questo lab

Modelli di IA generativa

I modelli di IA generativa disponibili in Vertex AI, detti anche modelli di base, sono classificati in base al tipo di contenuto per il quale sono stati progettati. Questi contenuti includono testi e chat, immagini, codici e incorporamenti di testo. Ogni modello è accessibile tramite un endpoint del publisher specifico per il tuo progetto Google Cloud, quindi non è necessario eseguire il deployment del modello di base a meno che tu non debba ottimizzarlo per un caso d'uso particolare.

Pathways e Pathways Language Model (PaLM)

Pathways è un singolo modello in grado di generalizzare una varietà di ambiti e attività in modo molto efficiente. Pathways Language Model (PaLM) è un modello Transformer denso solo decoder, addestrato utilizzando il sistema Pathways. Questo sistema ha permesso a Google di addestrare in modo efficiente un singolo modello su più pod TPU v4. PaLM è stato valutato su centinaia di attività relative alla comprensione e alla generazione del linguaggio, raggiungendo prestazioni notevoli sia nelle attività multilingue che nella creazione di codice sorgente.

PaLM 2 è il modello sottostante su cui si basa l'API PaLM. PaLM 2 è un modello linguistico all'avanguardia, con capacità multilingue, di ragionamento e di programmazione migliorate. Per scoprire di più su PaLM 2, consulta Introduzione a PaLM 2. Questo blocco note mostra come progettare prompt per creare diversi tipi di riassunti.

Vertex AI Studio

Vertex AI Studio è uno strumento della console Google Cloud per la prototipazione e i test rapidi di modelli di IA generativa. Ti permette di testare i prompt di esempio, progettare i tuoi prompt e personalizzare i modelli di base per gestire attività che soddisfano le esigenze della tua applicazione. Puoi eseguire le seguenti operazioni:

• Testare modelli con i prompt di esempio.
• Progettare e salvare i tuoi prompt.
• Ottimizzare un modello di base.
• Convertire audio in testo e viceversa.

Scopri di più su AI Studio nella documentazione ufficiale.

Vertex AI Workbench

Vertex AI Workbench è un'infrastruttura di computing completamente gestita, scalabile e di livello enterprise che fornisce un ambiente unico in cui i data scientist possono completare tutto il loro lavoro di ML, dalla sperimentazione al deployment, alla gestione e al monitoraggio dei modelli. Si tratta di un ambiente basato su Jupyter che comprende un'ampia gamma di strumenti e servizi, come i blocchi note Jupyter o le risorse di calcolo gestite.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Avvia lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in prima persona, in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: utilizza una finestra del browser in incognito o privata per eseguire questo lab. Ciò evita eventuali conflitti tra il tuo account personale e l'account Studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: se hai già un account o un progetto Google Cloud personale, non utilizzarlo per questo lab per evitare addebiti aggiuntivi al tuo account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si apre una finestra popup per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Pulsante Apri console Google
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google. Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Note: se visualizzi la finestra di dialogo Scegli un account, fai clic su Utilizza un altro account.

3. Se necessario, copia il Nome utente dal riquadro Dettagli lab e incollalo nella finestra di dialogo di accesso. Fai clic su Avanti.

4. Copia la Password dal riquadro Dettagli lab e incollala nella finestra di dialogo di benvenuto. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali presenti nel riquadro di sinistra. Non utilizzare le tue credenziali Google Cloud Skills Boost. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

5. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: puoi visualizzare il menu con un elenco di prodotti e servizi Google Cloud facendo clic sul menu di navigazione in alto a sinistra.

Abilita le API

1. Nel menu di navigazione () della console Google Cloud, fai clic su Altri prodotti, quindi nella sezione Intelligenza artificiale seleziona Vertex AI.
2. Nella dashboard di Vertex AI, fai clic su Abilita tutte le API consigliate.

Apri Vertex AI Workbench

1. Nel riquadro a sinistra della dashboard di Vertex AI, fai clic su Workbench.

   Nota: potrebbe essere necessario ingrandire la finestra del browser per visualizzare il riquadro a sinistra.

2. Fai clic sulla scheda Blocchi note gestiti dall'utente.

Attività 1: question answering con i modelli generativi su Vertex AI

Ti è stato chiesto di creare una UI che consenta ai potenziali clienti di filtrare le offerte immobiliari in base alle loro risposte.

1. Nella scheda Blocchi note gestiti dall'utente, fai clic su Apri JupyterLab accanto al nome del blocco note.

Una volta aperto Vertex AI Workbench, esplora i file nel riquadro di sinistra,

2. vai a training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb e fai doppio clic per aprirlo.

housing_question_answering.ipynb è aperto e visibile nel riquadro di destra.

3. Fai clic su Modifica > Cancella tutti gli output

4. Leggi attentamente le istruzioni del blocco note ed esegui il codice in ogni cella.

Per eseguire la cella corrente, fai clic sulla cella e premi MAIUSC+INVIO. Gli altri comandi delle celle sono elencati nella UI del blocco note sotto la voce Esegui.

Lascia aperto l'ambiente del blocco note Jupyter e continua con questa attività. Tornerai all'ambiente del blocco note nell'Attività 3.

Fai clic su Controlla i miei progressi per verificare l'obiettivo.

Esegui le celle nel file housing_question_answering.ipynb.

Valori parametro

Ogni richiesta inviata a un modello contiene valori parametro che influenzano il processo con cui il modello genera una risposta. A seconda dei valori parametro, il modello genera risultati diversi. In questa attività sperimenterai con diversi valori parametro al fine di ottenere i risultati migliori.

I parametri disponibili per i vari modelli possono variare, ma i più comuni sono:

• Temperatura
• Limite di token
• Top-K
• Top-P

Temperatura

La temperatura controlla il grado di casualità nella selezione dei token, quando vengono applicati i parametri Top-K e Top-P. Le temperature basse sono ideali per prompt che richiedono risposte più deterministiche e meno aperte o creative, mentre le temperature più alte possono portare a risultati più diversificati o creativi. Una temperatura pari a 0 è deterministica, il che significa che viene sempre selezionata la risposta con la probabilità più alta.

Per la maggior parte dei casi d'uso, inizia con una temperatura di 0,2. Se il modello restituisce una risposta troppo generica, troppo breve o fornisce una risposta di riserva, prova ad aumentare la temperatura.

Limite di token

Il limite di token determina la quantità massima di output di testo da un prompt. Un token equivale a circa quattro caratteri. Il valore predefinito è 256.

Specifica un valore più basso per risposte più brevi e un valore più alto per risposte più lunghe.

Top-K

Top-K cambia il modo in cui il modello seleziona i token per l'output. Un Top-K pari a 1 indica che il token successivo selezionato è il più probabile tra tutti i token nel vocabolario del modello (chiamato anche decodifica greedy). Un Top-K pari a 3 indica, invece, che il token successivo viene selezionato tra i tre token più probabili (utilizzando la temperatura).

Per ogni fase di selezione dei token, vengono campionati i token Top-K con le probabilità più alte. Quindi i token vengono ulteriormente filtrati in base a Top-P e il token finale viene selezionato utilizzando il campionamento con temperatura.

Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali. Il valore predefinito di Top-K è 40.

Top-P

Top-P cambia il modo in cui il modello seleziona i token per l'output. I token vengono selezionati dal più probabile (vedi Top-K) al meno probabile finché la somma delle loro probabilità raggiunge il valore di Top-P. Ad esempio, se i token A, B e C hanno una probabilità di 0,3, 0,2 e 0,1 e il valore di Top-P è 0,5, il modello seleziona A o B come token successivo utilizzando la temperatura ed esclude C come candidato.

Specifica un valore più basso per risposte meno casuali e un valore più alto per risposte più casuali. Il valore predefinito di Top-P è 0,80.

Attività 2: diversi valori parametro

È il momento di sperimentare con diversi valori parametro.

1. Nel menu di navigazione () della console Google Cloud, seleziona Vertex AI dalla sezione Intelligenza artificiale.

2. Nel riquadro Strumenti a sinistra, fai clic su Lingua nella sezione Generative AI Studio. Poi, fai clic su Prompt di testo nella pagina Inizia.

3. Digita il seguente prompt:

Riassumi l'inizio di Harry Potter.

4. Nella sezione Parametri, modifica la Temperatura da 0,9 a 1. Fai clic su Invia e Salva. Assegna un nome al prompt e salvalo. Leggi la risposta per vedere come diversi valori di temperatura influenzano la risposta.

5. Nella sezione Parametri, modifica il Limite di token da 2048 a 1024. Fai clic su Invia e Salva. Leggi la risposta per vedere come diversi limiti di token influenzano la risposta.

6. Nella sezione Parametri, fai clic sul pulsante delle opzioni Avanzate per modificare il valore di Top-K in 1. Fai clic su Invia e Salva. Leggi la risposta per vedere come diversi valori di Top-K influenzano la risposta.

7. Nella sezione Parametri, modifica il valore di Top-P in 1. Fai clic su Invia e Salva. Leggi la risposta per vedere come diversi valori di Top-P influenzano la risposta.

Fai clic su Controlla i miei progressi per verificare l'obiettivo.

Cambia i parametri e salva la tua risposta

Attività 3: riassunto di testi con modelli generativi su Vertex AI

Riassumi le informazioni più importanti relative alle unità immobiliari al fine di semplificare il processo di ricerca.

1. Nel tuo blocco note di JupyterLab, fai doppio clic per aprire housing_text_summarization.ipynb nel pannello di sinistra.

2. Fai clic su Modifica > Cancella tutti gli output.

3. Leggi attentamente le istruzioni del blocco note ed esegui il codice in ogni cella.

Esegui le celle nel file housing_text_summarization.ipynb.

Complimenti!

Hai utilizzato l'API PaLM e AI Studio per creare e sperimentare dei prompt per vari casi d'uso dell'IA generativa. Inoltre, hai esplorato l'UI di AI Studio e creato prompt di testo e codice con diversi parametri.

Prossimi passi/Scopri di più

• Per scoprire di più sulla progettazione di prompt, leggi la documentazione ufficiale.

• Consulta i blocchi note utilizzati in questo lab.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 28 dicembre 2023

Ultimo test del lab: 28 dicembre 2023

Copyright 2024 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.