Retrieval Augmented Generation'a Giriş

Geçenlerde yaptığım bir RAG oturumunun kaydını sizinle de paylaşmak istiyorum. RAG'ın altından girip üstünden çıkıyoruz 😊 Son 50 sohbet, muhabbet ve sorular. Gozunuz korkmasin 😊
Superpeer Community: superpeer.com/...
Superpeer uzerinden verdigim kocluklar için indirim kuponlari asagida:
- Ogrenci koclugu : YTBDRN
- Yasam Koclugu : YTBDRN
E-Mail Aboneligi: bulten.daron.me
Kocluk: book.daron.me
Twitter: twitter.daron.me
LinkedIn: linkedin.daron.me
00:00:24 RAG Tanımı
00:01:28 Language Generation ve Pre-trained Model Kullanımı
00:02:12 Language Generation'ın Özeti ve Search Index Kullanımı
00:06:28 Document Chunking
00:09:16 Embedding Yaratma ve Saklama
00:11:48 Retrieval Konusu ve Stratejiler
00:14:58 Hybrid Search
00:16:56 Semantic Ranking ve Başarı Oranları
00:21:00 Chunking ve Optimizasyon
00:23:56 Token ve Tokenizasyon
00:24:48 Word2Vec Demo Gösterimi
00:27:00 Vektörlerin Dönüşüm
00:32:38 Chunking ve Tokenizer Kullanımı
00:33:16 Metin İşleme ve Chunk Oluşturma
00:33:50 Metin Arama ve Ranking
00:34:36 Embeddinglerin Oluşturulması ve Kullanılması
00:37:22 Azure Search ve Index Yaratma
00:38:28 Vector Search Configuration
00:43:22 Chat GPT 3.5 ile Sorgulama
00:49:32 Fine Tuning ve Embedding Arasındaki Farklar
00:55:06 RRF Teknigi ve Hybrid Vector Search
00:55:44 Soru & Cevap
00:56:08 Gelecek implementasyonlari
01:02:20 Industri Uygulamalari
01:05:13 Startuplar
01:08:05 Küçük Modellerin Kullanımı
01:08:24 Akademik Fikirler ve Embedding
01:10:35 Prompt Oluşturma ve Dil Tercihi
01:12:26 Vektör Uzayı ve Dil Tercihi Tartışması
01:14:07 Çeviri ve Eğitim Tartışması
01:16:18 Çeviri ve Anlama Yetisi Tartışması
01:19:08 Translation Modelleri ve GPT'nin Çeviri Yeteneği
01:19:53 GPT'nin Gelecekteki Gelişimleri ve Beklentiler
01:25:41 PDF ve Tablo Verilerinin GPT ile İşlenmesi
01:29:07 Şirket Bilgisi ve GPT ile Kullanımı
01:38:10 Güvenlik Endişeleri ve Riskler
01:44:00 Startup Fikirleri ve Special Database Tartışması
01:47:21 AI Generated Çıktılar ve Etik Konuları

[@serhanayberkkilic]

Bu tür konular hakkında hem Türkçe hem de bu kadar detaylı güzel bir içeriği görmek beni çok mutlu ediyor. 💯

[@nullhakunamatatabyte8042]

bu kadar kaliteli içerik yabancı youtube kanallarında yok hocam fenasınız

[@daronyondemTR]

🙏Sagolasin 😊

[@dogan1318]

Türkeç rag sistemi yapmaya çalışıyorum ancak başarıyı arttıracak bir yöntem bulamadım hocam, bir tavsiyeniz var mıdır? En umutlandığım yöntem şuydu: Veriyi `bert-base-turkish-cased` modeli ile emebdding ettim. Gelen query'i ve LLM'e verilecek olan retrieved documentleri helsinki ile ingilizceye çevirip LLM'e verdim. LLM'in cevabını da türkçeye çevirdim ancak bu yöntem de çok başarılı olmadı. Şimdi tüm dosyayı ingilizceye çevirip o şekilde deneyceğim ancak ondan da pek umutlu değilim

[@hamzaagar]

Temperature dışında API'da Seed seçeneği de gelmiş ama betada. Yanıtlarınızın olabildiğince aynı kalması için temperature dışında seed'i de belirleyebilirsiniz. Büyük ihtimalle OpenAI sabit bir seed kullanıyordur diye düşünüyorum ama yanıtların daha da farklı olması için manuel setlenip çıktılardaki değişikliklere de bakılabilir gelecekte efektif olarak kullanılacağını düşünüyorum.

[@cihadp]

Kodlari paylasir misiniz?

[@EyupCoskun-yp7hc]

Türkce de RAG yapmak istersek nelere dikkat etmemiz gerekir? LLM in türkcede egitilmis olmasi gerekirmi ? Embedding icin nasil bi model kullanmaliyim tesekkürler

[@furkankasap806]

Hocam merhaba, ben doktor raporlarından veri çıkarma ile ilgili bir proje yapıyorum.(istatistiki verileri json olarak çıktı verecek) GPT api'si kullanarak yapacağım fakat elimde çok fazla eğitim verisi yok. Fine-tuning, RAG, prompt engineering hangisini önerirsiniz ? Kafam biraz karıştı açıkçası.

[@skaracay]

Daron selam, 51:36'da benim gibi konus, yazar gibi konus modelini denedim 3.5 ve 4 versiyonda. Ornek olarak, Osman Pamuk gibi yazar misin, 1912 yilinda Kayseri su evde ask ve aile bla bla konusuna cevap verdi. Tabii edabiyat gozu ile ne kadar dogru yapti bilemiyorum. Sizin bahsettiginiz nedir? ve harika bir ders anlatim olmus tesekkur ederim.

[@daronyondemTR]

Soz konusu yetenek yeterince basarili geliyorsa fine-tuning'e gerek yok. LLM lerin cokca yetenekleri var. Olmayan veya basarisi yetersiz bir yetenege odaklanmak gerek.

[@abdullahbedir70]

Bunun embedding ile farkı ne tam olarak? RAG embedding metodunu mu kullanıyor weight vector'lerini elde etmek için

[@daronyondemTR]

Aynen 👍

[@neocremia7506]

Böyle değerli bir sunumu canlı izleme imkanını kaçırdığıma üzülüyorum, bunların duyuruları nereden yapılıyor hocam :')

[@daronyondemTR]

Twitter, Linkedin üzerinden duyuruyorum 🙂 KZbin’a da kaydını hep koyuyorum. Superpeer tarafında da ayda bir Ask-Me-Anything buluşması yapıyoruz 🙂 reklamları izlediniz 😂

[@erdemaslan6067]

Hocam kodu biz denemek istersek bulabileceğimiz veya paylaştığınız bir yer var mı ?

[@EyupCoskun-yp7hc]

RAGend2end diye bir sey varmis. Bu konuda bir bilgin varmi acaba?

[@zaursamedov8906]

🚀🚀🚀

[@emreefedogan]

her yerdeyiz 😂🚀