GSP520

Genel Bakış

Yarışma laboratuvarında size bir senaryo ve birtakım görevler verilir. Adım adım talimatları uygulamak yerine, görevleri kendi başınıza nasıl tamamlayacağınızı bulmak için kurstaki laboratuvarlardan öğrendiğiniz becerileri pratiğe dökersiniz. Otomatik bir puan sistemi (Bu sayfada gösterilir), görevlerinizi gerektiği şekilde tamamlayıp tamamlamadığınızla ilgili geri bildirim verir.

Bir yarışma laboratuvarı'na katıldığınızda size yeni Google Cloud kavramları öğretilmez. Varsayılan değerleri değiştirmek ve kendi hatalarınızı düzeltmek için hata mesajlarını okuyup araştırma yapmak gibi öğrendiğiniz becerileri geliştirmeniz beklenir.

%100'e ulaşmak için tüm görevleri verilen süre içinde başarıyla tamamlamanız gerekir.

Bu laboratuvar, Çoklu Format Destekli Gemini ve Çok Formatlı RAG ile Zengin Belgeleri İnceleme beceri rozetine kaydolan öğrenciler için önerilir. Yarışmaya hazır mısınız?

Teste dahil konular

• Gemini ile çok formatlı istemler kullanarak metin ve görsel formatlarındaki verilerden bilgi elde etme, çoklu format destekli Gemini'dan yararlanarak videoda yer almayan bilgilere de ulaşıp video açıklaması oluşturma
• Gemini ile Çok Formatlı Almayla Artırılmış Üretim (RAG) kullanarak metin ve resim içeren dokümanların meta verilerini oluşturma, gerekli tüm metin parçalarına ulaşma ve alıntıları yazdırma

Kurulum ve şartlar

Laboratuvarı Başlat düğmesini tıklamadan önce

Buradaki talimatları okuyun. Laboratuvarlar süreli olduğundan duraklatılamaz. Start Lab'i (Laboratuvarı başlat) tıkladığınızda başlayan zamanlayıcı, Google Cloud kaynaklarının ne süreyle kullanımınıza açık durumda kalacağını gösterir.

Bu uygulamalı laboratuvarı kullanarak, laboratuvar etkinliklerini simülasyon veya demo ortamı yerine gerçek bir bulut ortamında gerçekleştirebilirsiniz. Bunu yapabilmeniz için size yeni, geçici kimlik bilgileri verilir. Bu kimlik bilgilerini laboratuvar süresince Google Cloud'da oturum açmak ve Google Cloud'a erişmek için kullanabilirsiniz.

Bu laboratuvarı tamamlamak için gerekenler:

• Standart bir internet tarayıcısına erişim (Chrome Tarayıcı önerilir)

Not: Bu laboratuvarı çalıştırmak için tarayıcıyı gizli modda (önerilen) veya gizli tarama penceresinde açın. Aksi takdirde, kişisel hesabınızla öğrenci hesabınız arasında oluşabilecek çakışmalar nedeniyle kişisel hesabınızdan ek ücret alınabilir.

• Laboratuvarı tamamlamak için yeterli süre (Laboratuvarlar başlatıldıktan sonra duraklatılamaz.)

Not: Bu laboratuvar için yalnızca öğrenci hesabını kullanın. Farklı bir Google Cloud hesabı kullanırsanız bu hesaptan ödeme alınabilir.

Not defterini Vertex AI Workbench'te açın

1. Google Cloud Console'un gezinme menüsünde () Vertex AI > Workbench (Çalışma Alanı) seçeneğini tıklayın.

2. örneğini bulun ve JupyterLab'i aç düğmesini tıklayın.

Workbench örneğinizin JupyterLab arayüzü, yeni bir tarayıcı sekmesinde açılır.

Not: JupyterLab'de not defteri görmüyorsanız örneği sıfırlamak için lütfen aşağıdaki ek adımları uygulayın:

1. JupyterLab'in tarayıcı sekmesini kapatın ve Workbench ana sayfasına dönün.

2. Örnek adının yanındaki onay kutusunu işaretleyin ve Reset'i (Sıfırla) tıklayın.

3. Open JupyterLab (JupyterLab'i aç) düğmesinin yeniden etkinleşmesinin ardından bir dakika bekleyin ve Open JupyterLab'i (JupyterLab'i aç) tıklayın.

Not defterini ayarlayın

1. dosyasını tıklayın.

2. Select Kernel (Çekirdek Seç) iletişim kutusunda, kullanılabilir çekirdekler listesinden Python 3'ü seçin.

3. Not defterinin Setup and requirements (Kurulum ve gereksinimler) bölümündeki dört hücreyi, 1. göreve geçmeden önce çalıştırın.

4. Projenizde Python için Gen AI SDK'sını başlatmak üzere aşağıdaki bilgileri kullanın:

   • Project ID (Proje kimliği) için değişkenini girin.
   • Location (Konum) için değişkenini girin.

Yarışma senaryosu

Bir medya şirketinde pazarlama kampanyası koordinatörüsünüz. Satış hedeflerine ulaşmanızı sağlayacak kampanyaları planlamak, yürütmek ve değerlendirmek için pazarlama müdürüyle sürekli iletişim hâlindesiniz. Kısa süre önce Google ile heyecan verici, yeni bir sözleşme imzaladınız. Pazarlama kampanyası koordinatörü olarak, Google markasını ve Google'ın marka kimliğini hızlıca tanımanıza yardımcı olacak materyalleri bir an önce incelemek istiyorsunuz. Bu nedenle, Google hakkında daha ayrıntılı analizler elde etmek için Gemini'ın yenilikçi özelliklerinden yararlanarak Google'ın marka kurallarını, önceki kampanyalarını, ürün reklamlarını, müşteri görüşlerini ve finansal raporlarını incelemeyi planlıyorsunuz.

Bu yarışmada, çoklu format destekli Gemini'ı kullanarak metin ve görsel verilerden bilgi elde etme, video açıklaması oluşturma ve videoda yer almayan bilgilere de ulaşma gibi hedefleri tamamlayacaksınız. Gemini ile Çok Formatlı Almayla Artırılmış Üretim (RAG) kullanarak metin ve resim içeren dokümanların meta verilerini oluşturma, gerekli tüm metin parçalarına ulaşma ve alıntıları yazdırma gibi işlemleri de yapacaksınız.

1. görev: Gemini ile çok formatlı analizler oluşturun

Bu görevde, çok formatlı istemleri destekleyen Gemini'ı kullanarak Google markasını ve Google marka kimliğini yakından tanıyacaksınız. İstem isteklerinize metin, resim ve video ekleyip metin veya kod yanıtları alabilirsiniz.

Bu görevi tamamlamak için not defterinin belirtilen bölümlerindeki talimatları uygulayın.

Not: Her görevde Check my progress (İlerleme durumumu kontrol et) düğmesini tıklamadan önce not defteri komut dosyasını kaydedin.

1. Çok formatlı bir model kullanarak birden fazla resmi incelemek için Birden fazla resim kullanarak resim yorumlama bölümündeki talimatları uygulayın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Birden fazla resim kullanarak resim yorumlayın.

2. Çok formatlı bir model kullanarak resimleri karşılaştırmak için Resimler arasındaki benzerlikler/farklılıkları tespit edin bölümündeki talimatları uygulayın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Resimler arasındaki benzerlikleri/farkları tespit edin.

3. Çok formatlı bir model kullanarak video açıklaması oluşturmak için Video açıklaması oluşturun bölümündeki talimatları uygulayın.

   Bu adımı tamamlamak için [https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4](https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4) videosunu kullanın.

4. Çok formatlı model kullanarak videodaki nesne etiketlerini ayıklamak için Videodaki nesnelerin etiketlerini ayıklayın bölümündeki talimatları uygulayın.

   Bu adımı tamamlamak için [https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4](https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4) videosunu kullanın.

5. Çok formatlı model kullanarak videoyu daha ayrıntılı incelemek için Videolarla ilgili daha fazla soru sorun bölümündeki talimatları uygulayın.

   Bu adımı tamamlamak için [https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4](https://storage.googleapis.com/spls/gsp520/google-pixel-8-pro.mp4) videosunu kullanın.

6. Çok formatlı model kullanarak resimlerden daha da fazla bilgi edinmek için Videonun kapsamındaki bilgilerden fazlasına ulaşın bölümündeki talimatları uygulayın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Video açıklaması oluşturun ve videonun kapsamındaki bilgilerden fazlasına ulaşın.

2. görev: Çok formatlı Veriyle Artırılmış Üretim (RAG) ile bilgi alın ve entegre edin

Bu görevi tamamlamak için not defterinin belirtilen bölümlerindeki talimatları uygulayın.

2. görev için kullanılabilecek veriler ve yardımcı işlevler:

• Google ile kullanıcıları arasındaki ilişkiyi tanımlayan Google Hizmet Şartları belgesi. Bu belge, Google'ın kullanıcılara karşı sorumluluklarını, hizmetlerin kullanımıyla ilgili kuralları, içerikle ilgili fikri mülkiyet haklarını ve anlaşmazlıkların veya anlaşmazlık noktalarının çözümü ile ilgili prosedürleri kapsar. Bu örnek doküman, yalnızca metin formatındadır.

• Bu kaynak veri; şirketin mali performansını, ticari operasyonlarını, yönetimini ve risk faktörlerini kapsamlı bir şekilde açıklayan Google-10K'nin değiştirilmiş bir sürümüdür. Orijinal doküman oldukça büyük olduğundan yalnızca 14 sayfalık değiştirilmiş bir sürüm kullanırsınız. Bu sürüm, 1. Bölüm ve 2. Bölüm olarak ikiye bölünmüştür. Örnek doküman kısaltılmış olsa da birden fazla tablo, grafik ve çizelge gibi görseller ile metin içerir.

Ayrıca aşağıdaki görevleri tamamlamak için aşağıdaki yardımcı işlevlerden birini seçebilirsiniz. Bu işlevler hakkında daha fazla bilgi için GitHub'a göz atın:

• İşlenen metin meta verilerini inceleme işlevi için:

  • text: Sayfadaki orijinal metin
  • text_embedding_page: Sayfadaki orijinal metnin yerleştirilmiş öğesi
  • chunk_text: Orijinal metnin daha küçük parçalara ayrılmış hâli
  • chunk_number: Her metin parçasının dizini
  • text_embedding_chunk: Her metin parçasının yerleştirilmiş öğesi

• İşlenen resim meta verilerini inceleme işlevi için:

  • img_desc: Gemini tarafından oluşturulan resmin metin açıklaması
  • mm_embedding_from_text_desc_and_img: Hem görsel hem de metin formatındaki bilgileri yakalayarak resmin ve açıklamanın birleştirilmiş yerleştirilmiş öğesi
  • mm_embedding_from_img_only: Açıklama içermeyen, açıklamaya dayalı analizle karşılaştırma için kullanılan, yerleştirilmiş görsel öğe
  • text_embedding_from_image_description: Oluşturulan açıklamanın metin analizi ve karşılaştırma için kullanılan ayrı yerleştirilmiş metin öğesi

• RAG işlevini uygulamaya yönelik yardımcı işlevleri içe aktarma işlevi için:

  • get_similar_text_from_query(): Bir metin sorgusu verildiğinde, kosinüs benzerlik algoritması kullanılarak dokümanda alakalı metin bulunur. Bu özellik, hesaplama yapmak için meta verilerdeki metin yerleştirmelerini kullanır. Sonuçlar en yüksek puana, sayfa/parça sayısına veya yerleştirme boyutuna göre filtrelenebilir.
  • print_text_to_text_citation(): get_similar_text_from_query() işlevinden alınan metnin kaynağını (alıntı) ve ayrıntılarını yazdırır.
  • get_similar_image_from_query(): Bir resim yolu veya resim paylaşıldığında dokümandaki alakalı resimleri bulur. Meta verilerdeki görsel yerleştirmelerini kullanır.
  • print_text_to_image_citation(): "get_similar_image_from_query()" işlevinden alınan kaynak (alıntı) ve alınan görsellerin ayrıntılarını yazdırır.
  • get_gemini_response(): Soruları metin ve resim girişlerinin kombinasyonuna göre yanıtlamak için Gemini modeliyle etkileşim kurar.
  • display_images(): Yol veya PIL resmi nesneleri olarak sağlanan bir dizi resmi görüntüler.

1. Yardımcı işlevleri içe aktarmak ve çalıştırmak için Metin ve resim içeren dokümanların meta verilerini oluşturun bölümündeki talimatları uygulayın.

2. Sağlanan değişkenlerle çalışmak için Kullanıcı sorgusu oluşturun bölümündeki talimatları uygulayın.

3. Sorguya göre alakalı metin parçalarını almak için Alakalı tüm metin parçalarını elde edin bölümündeki talimatları uygulayın.

4. Metin parçalarını düzenlemek için context_text oluşturun başlıklı makalede yer alan talimatları uygulayın.

5. Bağlamı Gemini'a aktarmak ve yanıt oluşturmak için Gemini'a bağlam aktarın talimatlarını uygulayın.

Hedefi doğrulamak için Check my progress'i (İlerleme durumumu kontrol et) tıklayın. Çok formatlı Veriyle Artırılmış Üretim (RAG) ile bilgi alın ve entegre edin.

Tebrikler!

Bu Yarışma Laboratuvarı'nı tamamlayarak metin oluşturma, işlev çağrıları oluşturma ve video içeriklerini açıklama gibi amaçlarla Gemini API'lerinden yararlanabileceğinizi gösterdiniz. Çalışmalarınız sayesinde bu özellikler, üretime dağıtılmadan önce standartları karşılar hâle geldi. Elinize sağlık!

Sonraki adımlar / Daha fazla bilgi

Gemini hakkında daha fazla bilgi edinmek için aşağıdaki kaynakları inceleyin:

• Gemini'a Genel Bakış
• Vertex AI'da Üretken Yapay Zeka Belgeleri
• YouTube'da Üretken Yapay Zeka
• Vertex AI Tarif Defteri, üretken yapay zeka için özenle seçilmiş çok sayıda aranabilir not defteri içerir.
• Google Cloud Üretken Yapay Zeka deposundaki diğer not defterlerine ve örneklere göz atın.

Google Cloud eğitimi ve sertifikası

...Google Cloud teknolojilerinden en iyi şekilde yararlanmanıza yardımcı olur. Derslerimizde teknik becerilere odaklanırken en iyi uygulamalara da yer veriyoruz. Gerekli yetkinlik seviyesine hızlıca ulaşmanız ve öğrenim maceranızı sürdürebilmeniz için sizlere yardımcı olmayı amaçlıyoruz. Temel kavramlardan ileri seviyeye kadar farklı eğitim programlarımız mevcut. Ayrıca, yoğun gündeminize uyması için talep üzerine sağlanan, canlı ve sanal eğitim alternatiflerimiz de var. Sertifikasyonlar ise Google Cloud teknolojilerindeki becerilerinizi ve uzmanlığınızı doğrulamanıza ve kanıtlamanıza yardımcı oluyor.

Kılavuzun Son Güncellenme Tarihi: 11 Temmuz 2025

Laboratuvarın Son Test Edilme Tarihi: 11 Temmuz 2025

Telif Hakkı 2025 Google LLC. Tüm hakları saklıdır. Google ve Google logosu, Google LLC şirketinin ticari markalarıdır. Diğer tüm şirket ve ürün adları ilişkili oldukları şirketlerin ticari markaları olabilir.