GSP1154

Panoramica

Vertex AI è una piattaforma completa di sviluppo di machine learning che offre funzionalità di AI predittiva e generativa. Permette di addestrare, valutare ed eseguire il deployment di modelli di machine learning predittivi. Inoltre, puoi utilizzare la piattaforma per scoprire, ottimizzare e pubblicare modelli di AI generativa per produrre contenuti.

Vertex AI Studio permette di testare e personalizzare rapidamente modelli di AI generativa in modo da poterne utilizzare le funzionalità nelle applicazioni. Offre una varietà di strumenti e risorse, tra cui esempi di UI (interfaccia utente) e di programmazione, che rendono facile iniziare a utilizzare l'AI generativa, anche se non si dispone di esperienza pregressa nel machine learning.

Questo lab pratico ti guiderà alla scoperta di Vertex AI Studio, con cui imparerai a sfruttare tutte le potenzialità dei modelli di AI generativa all'avanguardia. Esplorerai Gemini multimodale e lo utilizzerai per analizzare immagini, progettare prompt e generare conversazioni direttamente nella console Google Cloud. Non ti serviranno né l'API né gli SDK Python: tutto ciò di cui avrai bisogno è accessibile attraverso un'interfaccia utente intuitiva.

Obiettivi

In questo lab imparerai a:

• Analizzare le immagini con Gemini multimodale.
• Esplorare le funzionalità multimodali.
• Progettare prompt con modalità strutturata e in formato libero.
• Generare conversazioni.

Configurazione e requisiti

Prima di fare clic sul pulsante Avvia lab

Leggi le seguenti istruzioni. I lab sono a tempo e non possono essere messi in pausa. Il timer si avvia quando fai clic su Avvia lab e ti mostra per quanto tempo avrai a disposizione le risorse Google Cloud.

Con questo lab pratico avrai la possibilità di completare le attività in prima persona, in un ambiente cloud reale e non di simulazione o demo. Riceverai delle nuove credenziali temporanee che potrai utilizzare per accedere a Google Cloud per la durata del lab.

Per completare il lab, avrai bisogno di:

• Accesso a un browser internet standard (Chrome è il browser consigliato).

Nota: utilizza una finestra del browser in incognito o privata per eseguire questo lab. Ciò evita eventuali conflitti tra il tuo account personale e l'account Studente, che potrebbero causare addebiti aggiuntivi sul tuo account personale.

• È ora di completare il lab: ricorda che, una volta iniziato, non puoi metterlo in pausa.

Nota: se hai già un account o un progetto Google Cloud personale, non utilizzarlo per questo lab per evitare addebiti aggiuntivi al tuo account.

Come avviare il lab e accedere alla console Google Cloud

1. Fai clic sul pulsante Avvia lab. Se devi effettuare il pagamento per il lab, si apre una finestra popup per permetterti di selezionare il metodo di pagamento. A sinistra, trovi il riquadro Dettagli lab con le seguenti informazioni:

   • Pulsante Apri console Google
   • Tempo rimanente
   • Credenziali temporanee da utilizzare per il lab
   • Altre informazioni per seguire questo lab, se necessario

2. Fai clic su Apri console Google. Il lab avvia le risorse e apre un'altra scheda con la pagina di accesso.

   Suggerimento: disponi le schede in finestre separate posizionate fianco a fianco.

   Note: se visualizzi la finestra di dialogo Scegli un account, fai clic su Utilizza un altro account.

3. Se necessario, copia il Nome utente dal riquadro Dettagli lab e incollalo nella finestra di dialogo di accesso. Fai clic su Avanti.

4. Copia la Password dal riquadro Dettagli lab e incollala nella finestra di dialogo di benvenuto. Fai clic su Avanti.

   Importante: devi utilizzare le credenziali presenti nel riquadro di sinistra. Non utilizzare le tue credenziali Google Cloud Skills Boost. Nota: utilizzare il tuo account Google Cloud per questo lab potrebbe comportare addebiti aggiuntivi.

5. Fai clic nelle pagine successive:

   • Accetta i termini e le condizioni.
   • Non inserire opzioni di recupero o l'autenticazione a due fattori, perché si tratta di un account temporaneo.
   • Non registrarti per le prove gratuite.

Dopo qualche istante, la console Google Cloud si apre in questa scheda.

Nota: puoi visualizzare il menu con un elenco di prodotti e servizi Google Cloud facendo clic sul menu di navigazione in alto a sinistra.

Abilita l'API Vertex AI

1. Nella console Google Cloud, inserisci API Vertex AI nella barra di ricerca superiore.

2. Fai clic sui risultati per API Vertex AI sotto Marketplace e API.

3. Fai clic su Abilita.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Abilita l'API Vertex AI

Attività 1: analizza le immagini con Gemini multimodale

1. Nella console Google Cloud, vai al menu di navigazione () > Intelligenza artificiale > Vertex AI > Vertex AI Studio > Panoramica.

Nota: se Vertex AI non è visibile nel menu di navigazione fai clic sul menu a discesa Altri prodotti.

Sono disponibili quattro funzionalità: Multimodale, Lingua, Visione e Voce. In questo lab ti concentrerai sulle prime due.

2. In Multimodale basato su Gemini, fai clic su Prova Gemini.

Nota: l'interfaccia utente contiene tre sezioni principali:

Prompt (in alto): qui puoi creare un'attività che utilizza le funzionalità multimodali.

Configurazione (a destra): questa sezione consente di selezionare i modelli, configurare i parametri e ottenere il codice corrispondente.

Risposta (in basso): in questa sezione vengono visualizzati i risultati dell'attività.

3. Assegna al prompt il nome Analisi di un'immagine.

4. Scarica l'immagine di esempio. Fai clic con il tasto destro del mouse sull'immagine del tabellone e salvala sul desktop.

5. Genera un titolo per l'immagine. Fai clic su Inserisci contenuti multimediali > Carica dal computer in alto a destra e carica l'immagine del tabellone. I contenuti multimediali possono essere immagini o video. Copia quanto segue e fai clic su Invia.

Title the image.

Oppure fornisci informazioni più specifiche:

Assegna un titolo all'immagine composto da 3 parole.

Il titolo è in linea con le tue aspettative? Prova a modificare il prompt per vedere se i risultati che ottieni sono diversi.

6. Descrivi l'immagine. Sostituisci il prompt precedente con quello che segue e fai clic su Invia.

Describe the image in detail.

7. Ottimizza il parametro. Regola la temperatura scorrendo da sinistra (0) a destra (1). Invia di nuovo il prompt e osserva se il risultato cambia rispetto al precedente.

Nota: la temperatura controlla il grado di casualità nella selezione dei token. Le temperature più basse sono ideali per prompt che si aspettano una risposta vera o corretta, mentre le temperature più alte possono portare a risultati più diversificati o imprevisti. Con una temperatura pari a 0, viene sempre selezionato il token con la probabilità più alta.

8. Estrai il testo dall'immagine. Sostituisci il prompt precedente con quello che segue:

Read the text in the image.

A questo punto, se vuoi formattare l'output in un elenco, sostituisci il prompt precedente con quello che segue:

Parse the time and city in this image into a list with two columns: time and city.

Tocca a te: prova qualche altro prompt. Come cambiano i risultati rispetto a prima?

9. Analizza le informazioni sull'immagine. Sostituisci il prompt precedente con quello che segue:

Calculate the percentage of the flights to different continents.

Il risultato è in linea con le tue aspettative? Ti consigliamo vivamente di provare prompt diversi per varie attività. Ti invitiamo anche a sperimentare con impostazioni di temperatura diverse per osservare come cambia il risultato.

10. Salva il prompt. Dopo aver terminato la progettazione del prompt, salvalo facendo clic su Salva in alto a destra, quindi conferma selezionando Salva. Per trovare i prompt salvati, vai a Multimodale > I miei prompt.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Estrai il contenuto dell'immagine.

Attività 2: esplora le funzionalità multimodali

Oltre a immagini e testo, Gemini multimodale può accettare video come input e generare testo come output. Ti invitiamo a fare una prova in autonomia caricando un breve video e sperimentando con prompt diversi. Come video di esempio, puoi utilizzare gs://spls/gsp154/video/train.mp4 (anteprima).

L'opzione multimodale basata su Gemini offre molte funzionalità, come la scrittura di storie a partire da immagini, l'analisi di video e la generazione di annunci multimediali. Esplora altri casi d'uso della funzionalità multimodale facendo clic su Multimodale > Prompt di esempio. Scopri di più sulla progettazione di prompt multimodali.

Attività 3: progetta prompt con modalità strutturata e in formato libero

1. Nel menu Vertex AI nella pagina Vertex AI Studio > Panoramica, fai clic su Apri per Lingua basato su Gemini.

Crea un prompt

Questa opzione ti consente di progettare prompt per attività pertinenti al tuo caso d'uso aziendale, inclusa la generazione di codice.

Fai clic sul pulsante Prompt di testo come illustrato nell'immagine di seguito. L'UI potrebbe essere leggermente diversa da quella in questo screenshot.

Puoi passare il mouse sopra o fare clic sui pulsanti ? sul lato destro della pagina per saperne di più su ciascun campo e parametro come Temperatura e Limite di token di output.

Progettazione dei prompt

Puoi alimentare il testo di input desiderato, ad es. una domanda, nel modello. Il modello fornirà quindi una risposta in base a come hai strutturato il tuo prompt. Il processo per capire e progettare il miglior testo di input (prompt) per ottenere la risposta desiderata dal modello si chiama progettazione prompt.

Non esiste ancora un modo migliore per progettare i prompt. Ci sono tre metodi che puoi usare per modellare la risposta del modello:

• Prompt zero-shot: è un metodo in cui all'LLM viene fornito solo un prompt che descrive l'attività, senza alcun dato aggiuntivo. Ad esempio, se desideri che l'LLM risponda a una domanda, è sufficiente chiedere "cos'è la progettazione dei prompt?".
• Prompt one-shot: è un metodo in cui all'LLM viene fornito un singolo esempio dell'attività che gli viene richiesto di eseguire. Ad esempio, se vuoi che l'LLM scriva una poesia, puoi dargli una singola poesia di esempio.
• Prompt few-shot: è un metodo in cui all'LLM viene fornito un piccolo numero di esempi dell'attività che gli viene chiesto di eseguire. Ad esempio, se desideri che l'LLM scriva un articolo, potresti dargli alcuni articoli da leggere.

Potresti notare anche le schede FORMATO LIBERO e STRUTTURATO. Queste sono le due modalità che puoi utilizzare durante la progettazione del tuo prompt.

• FORMATO LIBERO: questa modalità fornisce un approccio libero e semplice per progettare il tuo prompt. È adatto per prompt piccoli e sperimentali senza esempi aggiuntivi. Lo userai per esplorare i prompt zero-shot.
• STRUTTURATO: questa modalità fornisce un approccio basato su modelli di facile utilizzo per la progettazione dei prompt. In questa modalità si possono aggiungere contesto ed esempi multipli al prompt. Ciò è particolarmente utile per i metodi di prompt one-shot e few-shot che esplorerai in seguito.

---

Modalità FORMATO LIBERO

Prova i prompt zero-shot in modalità FORMATO LIBERO.

1. Copia quanto segue nel campo di immissione del prompt. Mantieni l'impostazione predefinita del modello, ovvero gemini-1.0-pro-002. Nota: il nome del modello potrebbe cambiare con il rilascio di nuovi modelli.

What is a prompt gallery?

2. Fai clic sul pulsante INVIA sul lato destro della pagina.

Il modello risponderà a una definizione completa del termine galleria di prompt.

Ecco alcuni esercizi esplorativi da eseguire.

• Imposta il parametro Limite di token su 1 e fai clic sul pulsante INVIA
• Imposta il parametro Limite di token su 1024 e fai clic sul pulsante INVIA
• Imposta il parametro Temperatura su 0.5 e fai clic sul pulsante INVIA
• Imposta il parametro Temperatura su 1.0 e fai clic sul pulsante INVIA

Verifica come cambiano le risposte cambiando i parametri.

---

Modalità STRUTTURATO

Con la modalità STRUTTURATO, puoi progettare prompt in modi più organizzati. Puoi fornire Contesto ed Esempi nei rispettivi campi di input. Questa è una buona opportunità per imparare i prompt one-shot e few-shot.

In questa sezione, chiederai al modello di completare una frase.

1. Torna alla finestra del prompt di testo.
2. Nella parte superiore della pagina, fai clic sulla scheda STRUTTURATO.
3. Rimuovi eventuale testo da Contesto
4. Sotto il campo Test, copia quanto segue nel campo INPUT.

the color of the sky is Nota: puoi modificare "color" in "colour" se preferisci utilizzare la grafia britannica.

5. Fai clic sul pulsante INVIA sul lato destro della pagina.

Invece di completare la frase, il modello ha fornito una frase completa come risposta, che non è ciò che volevi. Prova a influenzare la risposta del modello con prompt one-shot. Questa volta, aggiungi un esempio su cui il modello possa basare il suo output.

Sotto il campo Esempi:

1. Aggiungi quanto segue al campo INPUT:

the color of the grass is

2. Aggiungi quanto segue al campo OUTPUT:

the color of the grass is green

3. Fai clic sul pulsante INVIA sul lato destro della pagina.

Hai influenzato con successo il modo in cui il modello produce la risposta.

---

Per l'esercitazione successiva, utilizzerai il modello per eseguire l'analisi del sentiment su una frase, ad esempio per determinare se la recensione di un film è positiva o negativa.

1. Torna alla finestra del prompt di testo.
2. Sotto il campo Esempi, elimina il testo precedente per INPUT e OUTPUT per l'erba verde.
3. Sotto il campo Test, copia il seguente prompt nel campo INPUT.

It was a time well spent!

4. Fai clic sul pulsante INVIA sul lato destro della pagina.

Il modello non disponeva di informazioni sufficienti per sapere che gli stavi chiedendo di eseguire l'analisi del sentiment. È possibile migliorare questo risultato fornendo al modello alcuni esempi di ciò che stai cercando.

Prova ad aggiungere questi esempi come mostrato nell'immagine di seguito:

INPUT	OUTPUT
A well-made and entertaining film	positive
I fell asleep after 10 minutes	negative
The movie was ok	neutral

Poi fai clic sul pulsante INVIA sul lato destro della pagina.

Il modello ora fornisce un sentiment per il testo di input. Per il testo It was a time well spent!, il sentiment viene etichettato come positive.

Puoi anche salvare il prompt appena progettato. Per salvare il prompt, assegnagli il nome che preferisci, ad esempio sentiment analysis test, fai clic sul pulsante Salva, quindi seleziona la regione del lab. Fai clic su SALVA.

(Se si verifica un errore durante il salvataggio, fai clic su Riprova).

Il prompt salvato apparirà nella scheda I MIEI PROMPT.

---

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Crea prompt con del testo

Attività 4: genera conversazioni

Crea prompt di chat ti consente di avere una chat in formato libero con il modello, che tiene traccia di ciò che è stato detto in precedenza e risponde in base al contesto.

1. Torna alla pagina Lingua.
2. Fai clic sul pulsante CHAT DI TESTO per creare un nuovo prompt di chat.

3. In Modello, seleziona chat-bison (latest). Vedrai la nuova pagina del prompt di chat.

Per questa sezione, aggiungerai contesto alla chat e lascerai che il modello risponda in base al contesto fornito.

4. Ora inserisci il contesto seguente nel campo Contesto.

Your name is Roy. You are a support technician of an IT department. You only respond with "Have you tried turning it off and on again?" to any queries.

5. Aggiungi il testo seguente nel riquadro della chat sotto Risposte.

My computer is so slow

6. Premi il tasto Invio o fai clic su Invia messaggio (pulsante con la freccia verso destra).

Il modello considera il contesto aggiuntivo fornito e risponde alle domande rispettando i vincoli.

7. Assegna al prompt il nome che preferisci, fai clic sul pulsante Salva, quindi seleziona la regione del lab. Fai clic su SALVA.

Fai clic su Controlla i miei progressi per verificare gli obiettivi.

Crea conversazioni con il prompt di chat

Complimenti!

Hai imparato ad analizzare un'immagine con l'opzione multimodale, a esplorare le funzionalità multimodali, a creare e testare un prompt e a generare una conversazione. Hai fatto il primo passo per iniziare il tuo viaggio utilizzando Vertex AI Studio e Gemini multimodale.

Formazione e certificazione Google Cloud

… per utilizzare al meglio le tecnologie Google Cloud. I nostri corsi ti consentono di sviluppare competenze tecniche e best practice per aiutarti a metterti subito al passo e avanzare nel tuo percorso di apprendimento. Offriamo vari livelli di formazione, dal livello base a quello avanzato, con opzioni di corsi on demand, dal vivo e virtuali, in modo da poter scegliere il più adatto in base ai tuoi impegni. Le certificazioni ti permettono di confermare e dimostrare le tue abilità e competenze relative alle tecnologie Google Cloud.

Ultimo aggiornamento del manuale: 17 aprile 2024

Ultimo test del lab: 17 aprile 2024

Copyright 2024 Google LLC Tutti i diritti riservati. Google e il logo Google sono marchi di Google LLC. Tutti gli altri nomi di società e prodotti sono marchi delle rispettive società a cui sono associati.