GSP1165

Огляд

Структурування запитів – це процес створення запитів, у відповідь на які велика мовна модель, як-от PaLM, генерує потрібний результат. Запити можна використовувати для створення тексту, перекладу, написання різних видів творчого контенту й отримання інформативних відповідей на певні запитання.

Щоб отримати якісний результат від запиту, користувач повинен чітко його формулювати, використовувати ключові слова, пов’язані з бажаними результатами, і надавати моделі PaLM приклади потрібних результатів для ефективної взаємодії.

У цій практичній роботі ви спробуєте себе в ролі маркетолога-аналітика для агентства нерухомості. Вам необхідно буде створити запити, за допомогою яких можна буде витягнути стислі відомості про об’єкти нерухомості з довгих описів на вебсайті вашої компанії, щоб допомогти клієнтам знайти житло відповідно до їхніх потреб.

Чого ви навчитесь

У цій практичній роботі ви познайомитесь із Vertex AI (платформою штучного інтелекту й машинного навчання) і дізнаєтесь, як:

• створювати якісні запити;
• взаємодіяти з PaLM, щоб отримувати потрібні відповіді;
• враховувати можливі галюцинації у відповідях.

Приклад використання

Ваша компанія хоче спробувати застосувати великі мовні моделі, щоб надавати покупцям стислі описи будинків відповідно до вказаних характеристик житла.

Вам доручили створити запити, за допомогою яких можна буде вибирати основні відомості з довгих описів будинків, представлених на вашому сайті про нерухомість. Описи зберігаються у файлі в сегменті Google Cloud Storage.

Робота починається з використання Model Garden для вивчення доступних готових моделей, щоб заощадити час і якнайшвидше запровадити оптимальне рішення.

Функції Vertex AI, використані в цій практичній роботі

Моделі генеративного ШІ

Доступні у Vertex AI моделі генеративного ШІ, які також називають базовими моделями, класифікуються за типом контенту, який вони генерують. Це можуть бути текстові повідомлення, спілкування в чаті, зображення, код і текстові вставки. Кожна модель реалізується через кінцеву точку видавця, призначену спеціально для вашого проекту Google Cloud, тому немає необхідності розгортати базову модель, за винятком випадків, коли вона потрібна для конкретного прикладу використання.

Pathways і Pathways Language Model (PaLM)

Pathways – це єдина модель, яка може охоплювати різні домени й завдання, забезпечуючи водночас високу ефективність. Pathways Language Model (PaLM) – це модель трансформер-декодер глибинного навчання, яка використовує систему Pathways, що дозволяє Google ефективно навчати єдину модель для кількох груп контейнерів TPU версії 4. Модель PaLM пройшла тестування на сотнях завдань із розуміння мови й генерації. Вона демонструє високу ефективність у багатомовних завданнях і створенні вихідного коду.

PaLM 2 – це базова модель, яка відповідає за роботу PaLM API. Це найсучасніша мовна модель із покращеними можливостями багатомовності, логічних операцій і кодування. Щоб дізнатися більше про PaLM 2, перегляньте статтю Знайомство з PaLM 2. У цьому записнику показано, як створювати запити для отримання різних варіантів коротких текстів.

Vertex AI Studio

Vertex AI Studio – це інструмент Google Cloud Console для швидкого створення прототипів і тестування моделей генеративного штучного інтелекту. Ви можете тестувати зразки запитів, створювати власні варіанти й налаштовувати базові моделі для виконання завдань, які відповідають потребам вашого додатка. Ви можете:

• тестувати моделі за допомогою зразків запитів;
• створювати й зберігати власні запити;
• налаштовувати базову модель;
• конвертувати мовлення в текст і навпаки.

Докладніше про AI Studio читайте в офіційній документації.

Vertex AI Workbench

Vertex AI Workbench – це повністю керована масштабована інфраструктура обчислень, створена спеціально для компаній. Вона забезпечує спеціалістам з обробки даних єдине середовище для виконання всіх етапів роботи з машинним навчанням, як-от експериментів, розгортання, керування й моніторингу моделей. Це середовище на основі Jupyter включає різні інструменти й сервіси, як-от записники Jupyter або керовані обчислювальні ресурси.

Налаштування й вимоги

Перш ніж натиснути кнопку Start Lab (Почати практичну роботу)

Ознайомтеся з наведеними нижче вказівками. На виконання практичної роботи відводиться обмежений час, і її не можна призупинити. Щойно ви натиснете Start Lab (Почати практичну роботу), з’явиться таймер, який показуватиме, скільки часу для роботи з ресурсами Google Cloud у вас залишилося.

Ви зможете виконати практичну роботу в дійсному робочому хмарному середовищі (не в симуляції або демонстраційному середовищі). Для цього на час виконання практичної роботи вам надаються тимчасові облікові дані для реєстрації і входу в Google Cloud.

Щоб виконати цю практичну роботу, потрібно мати:

• стандартний веб-переглядач, наприклад Chrome (рекомендовано)

Примітка. Виконуйте практичну роботу в режимі анонімного перегляду. Так ви уникнете додаткової плати, що може стягуватися з вашого особистого облікового запису внаслідок його конфліктів з обліковим записом для навчання.

• достатню кількість часу, оскільки почавши практичну роботу, ви не зможете призупинити її

Примітка. Якщо ви маєте особистий обліковий запис або проект Google Cloud, не використовуйте їх для доступу до цієї практичної роботи. Так ви уникнете додаткових стягнень з вашого облікового запису.

Як почати виконувати практичну роботу й увійти в Google Cloud Console

1. Натисніть кнопку Start Lab (Почати практичну роботу). Якщо за практичну роботу необхідно заплатити, відкриється спливаюче вікно, де ви зможете обрати спосіб оплати. Ліворуч розміщено панель Lab Details (Відомості про практичну роботу) з такими даними:

   • кнопка Open Google Console (Відкрити Google Console);
   • час до закінчення;
   • тимчасові облікові дані, які потрібно використовувати для доступу до цієї практичної роботи;
   • інша необхідна для виконання цієї практичної роботи інформація.

2. Натисніть Open Google Console (Відкрити Google Console). Завантажаться необхідні ресурси. Потім відкриється нова вкладка зі сторінкою Sign in (Вхід).

   Порада. Упорядковуйте вкладки в окремих вікнах, розміщуючи їх поруч.

   Примітка. Якщо з’явиться вікно Choose an account (Виберіть обліковий запис), натисніть Use Another Account (Увійти в інший обліковий запис).

3. За потреби скопіюйте Username (Ім’я користувача) з панелі Lab Details (Відомості про практичну роботу) і вставте його у вікні Sign in (Вхід). Натисніть Next (Далі).

4. Скопіюйте Password (Пароль) з панелі Lab Details (Відомості про практичну роботу) і вставте його у вікні Welcome (Привітання). Натисніть Next (Далі).

   Важливо. Обов’язково використовуйте облікові дані з панелі ліворуч. Не використовуйте облікові дані Google Cloud Skills Boost. Примітка. Якщо ввійти у власний обліковий запис Google Cloud, може стягуватися додаткова плата.

5. Виконайте наведені нижче дії.

   • Прийміть Умови використання.
   • Не додавайте способи відновлення та двохетапну перевірку (оскільки це тимчасовий обліковий запис).
   • Не реєструйте безкоштовні пробні версії.

Через кілька секунд Cloud Console відкриється в новій вкладці.

Примітка. Ви можете переглянути меню зі списком продуктів і сервісів Google Cloud, натиснувши меню навігації вгорі ліворуч.

Увімкніть API

1. У меню навігації () Google Cloud Console натисніть More products (Інші продукти), а потім у розділі Artificial Intelligence (Штучний інтелект) виберіть Vertex AI .
2. На інформаційній панелі Vertex AI натисніть Enable all Recommended APIs (Увімкнути всі рекомендовані API).

Відкрийте Vertex AI Workbench

1. На інформаційній панелі Vertex AI ліворуч натисніть Workbench.

   Примітка. Можливо, знадобиться розширити вікно вебпереглядача, щоб побачити ліву панель.

2. Перейдіть на вкладку User-managed notebooks (Керовані користувачами записники).

Завдання 1. Відповіді на запитання за допомогою генеративних моделей на платформі Vertex AI

Вам доручили створити інтерфейс користувача, який дозволить потенційним клієнтам фільтрувати пропозиції нерухомості на основі своїх відповідей.

1. На вкладці User-managed notebooks (Керовані користувачами записники) натисніть Open JupyterLab (Відкрити JupyterLab) поруч із назвою вашого записника.

Коли відкриється вікно Vertex AI Workbench, перегляньте файли на панелі ліворуч.

2. Знайдіть файл training-data-analyst/self-paced-labs/genai/housing_question_answering.ipynb і двічі натисніть його, щоб відкрити.

Файл housing_question_answering.ipynb буде відкрито й відображено на панелі праворуч.

3. Натисніть Edit (Редагувати) > Clear All Outputs (Очистити всі результати).

4. Уважно прочитайте вказівки в записнику й запустіть код у кожній клітинці.

Щоб запустити поточну клітинку, натисніть її, а потім – комбінацію клавіш SHIFT + ENTER. Інші доступні для клітинок команди наведено в інтерфейсі записника в розділі Run (Виконати).

Залиште середовище записника Jupyter відкритим і продовжуйте виконувати це завдання. Ви продовжите роботу в цьому середовищі в завданні 3.

Щоб підтвердити виконання завдання, натисніть Check my progress (Підтвердити виконання).

Запустіть клітинки у файлі housing_question_answering.ipynb.

Значення параметрів

Кожен виклик, який ви надсилаєте моделі, містить значення параметрів, які визначають, яким чином модель генеруватиме відповідь. Для різних значень параметрів модель генерує різні результати. У цьому завданні ви протестуєте різні значення параметрів, щоб зрештою отримати оптимальні результати.

Доступні параметри для кожної моделі можуть відрізнятися, але найпоширеніші з них наведено нижче.

• Температура
• Обмеження токенів
• Top-K
• Top-P

Температура

Температура контролює ступінь випадковості у виборі токенів під час застосування Top-K і Top-P. Низькі температури підходять для запитів, які вимагають більш детермінованих і менш довільних або творчих відповідей, водночас вищі температури забезпечують більш різноманітні або творчі результати. Температура 0 є детермінованою, тому завжди вибирається відповідь із максимальною імовірністю.

Для більшості випадків використання рекомендується почати зі значення температури 0,2. Якщо модель повертає занадто загальну чи коротку відповідь або видає резервний варіант, спробуйте збільшити температуру.

Обмеження токенів

Обмеження токенів визначає максимальну кількість тексту, що виводиться з одного запиту. Токен – це приблизно чотири символи. За умовчанням значення дорівнює 256.

За меншого значення модель генеруватиме коротші відповіді, а за більшого – довші.

Top-K

Top-K визначає, яким чином модель вибирає токени для виводу. Top-K 1 означає, що наступний вибраний токен є найбільш імовірним серед усіх токенів у словнику моделі (алгоритм, відомий як жадібне декодування). Водночас Top-K 3 означає, що наступний токен вибирається з трьох найімовірніших токенів за допомогою температури.

На кожному кроці відбору токенів вибираються токени Top-K із найбільшою імовірністю. Потім токени додатково фільтруються на основі Top-P, а остаточний токен вибирається за допомогою температури.

За меншого значення модель генеруватиме менш випадкові відповіді, а за більшого – більш випадкові. За умовчанням Top-K дорівнює 40.

Top-P

Top-P визначає, яким чином модель вибирає токени для виводу. Токени вибираються від найбільш (див. Top-K) до найменш імовірного, поки сума їх імовірностей не дорівнюватиме значенню Top-P. Наприклад, якщо токени A, B й C мають імовірності 0,3, 0,2 і 0,1 відповідно, а значення Top-P дорівнює 0,5, то модель вибере для наступного токена варіант A або B на основі температури й виключить токен C.

За меншого значення модель генеруватиме менш випадкові відповіді, а за більшого – більш випадкові. За умовчанням Top-P дорівнює 0,80.

Завдання 2. Різні значення параметрів

Тепер можна поекспериментувати з різними значеннями параметрів.

1. У меню навігації () Google Cloud Console виберіть Vertex AI у розділі Artificial Intelligence (Штучний інтелект).

2. Ліворуч на панелі Tools (Інструменти) натисніть Language (Мова) в розділі Generative AI Studio. Потім на сторінці Get Started (Почати) натисніть Text Prompt (Текстовий запит).

3. Введіть наведений нижче запит.

Коротко перекажи початок книги "Гаррі Поттер".

4. У розділі "Параметри" змініть значення параметра "Температура" з 0,9 на 1. Натисніть Submit (Надіслати) і Save (Зберегти). Виберіть назву для свого запиту й збережіть його. Прочитайте відповідь, щоб побачити, як різні значення температури впливають на неї.

5. У розділі "Параметри" змініть значення обмеження токенів із 2048 на 1024. Натисніть Submit (Надіслати) і Save (Зберегти). Прочитайте відповідь, щоб побачити, як різні обмеження токенів впливають на неї.

6. У розділі "Параметри" натисніть перемикач Advanced (Розширені), щоб змінити значення параметра Top-K на 1. Натисніть Submit (Надіслати) і Save (Зберегти). Прочитайте відповідь, щоб побачити, як різні значення Top-K впливають на неї.

7. У розділі "Параметри" змініть значення Top-P на 1. Натисніть Submit (Надіслати) і Save (Зберегти). Прочитайте відповідь, щоб побачити, як різні значення Top-P впливають на неї.

Щоб підтвердити виконання завдання, натисніть Check my progress (Підтвердити виконання).

Змініть параметри й збережіть відповідь

Завдання 3. Резюмування тексту за допомогою генеративних моделей на платформі Vertex AI

Витягніть найважливішу інформацію про об’єкт нерухомості, щоб спростити процес пошуку.

1. У записнику JupyterLab на панелі ліворуч двічі натисніть файл housing_text_summarization.ipynb, щоб відкрити його.

2. Натисніть Edit (Редагувати) > Clear All Outputs (Очистити всі результати).

3. Уважно прочитайте вказівки в записнику й запустіть код у кожній клітинці.

Запустіть клітинки у файлі housing_text_summarization.ipynb.

Вітаємо!

За допомогою PaLM API і AI Studio ви успішно створили низку запитів і протестували їх у різних сценаріях використання генеративного ШІ. Ви також ознайомилися з інтерфейсом AI Studio й створили текстові та кодові запити з різними параметрами.

Наступні кроки/Докладніше

• Щоб дізнатися більше про структурування запитів, ознайомтеся з офіційною документацією.

• Перегляньте записники, які використовуються в цій практичній роботі.

Навчання й сертифікація Google Cloud

…допомагають ефективно використовувати технології Google Cloud. Наші курси передбачають опанування технічних навичок, а також ознайомлення з рекомендаціями, що допоможуть вам швидко зорієнтуватися й вивчити матеріал. Ми пропонуємо курси різних рівнів – від базового до високого. Ви можете вибрати формат навчання (за запитом, онлайн або офлайн) відповідно до власного розкладу. Пройшовши сертифікацію, ви перевірите й підтвердите свої навички та досвід роботи з технологіями Google Cloud.

Посібник востаннє оновлено 28 грудня 2023 року

Практичну роботу востаннє протестовано 28 грудня 2023 року

© Google LLC 2024. Усі права захищено. Назва та логотип Google є торговельними марками Google LLC. Усі інші назви компаній і продуктів можуть бути торговельними марками відповідних компаній, з якими вони пов’язані.