Geçtiğimiz hafta hem ChatGPT modelini geliştiren OpenAI firması, hem de Gemini modelini geliştiren Google iki önemli gelişme duyurdu.
Bu iki teknoloji devinin illüzyon gösterilerini andıran tanıtım videoları sosyal medyada paylaşılmaya devam ediyor. Her ne kadar OpenAI GPT4o adını verdiği modelinde girdi boyutunun genişletilmesi ile ilgili bir güncelleme yapmasa da; Google, Gemini modelinin yeni sürümüyle birlikte, modelin token yani bir anlamıyla kelime işleme kapasiteninin 2 milyona yükseltileceğini duyurdu.
Token, Türkçe karşılığı ile jeton, dil modelleri dünyasındaki esrarlı kelimelerden biri. En basit anlatımıyla dil modelinin işleyebileceği hece sayısını belirtiyor. Esrarlı diyoruz çünkü dil modelleri için kelimeleri hecelere bölme işlemi, biz ölümlülerin daha ilkokul sıralarında öğrendiği hecelere ayırma işleminden daha farklı.
ChatGPT’ye “Merhaba nasılsın?” diye sorduğunuzda boşluklar ve soru işareti dahil 17 karakterden oluşan bu cümle Mer-ha-ba na-sıl-sın? şeklinde değil, Mer-ha-ba-nas-ı-ls-ın-? şeklinde heceleniyor. 6 hece olarak bizler hesap etsek de GPT tarafından bu sıcak selamlama, 8 hece (token, jeton) olarak hesaplanıyor. İngilizce karşılığı olan “Hello, how are you?” ise, karakter sayısı (19) daha fazla olmasına rağmen, sadece bu işlem için, girdi ve çıktı üretme işleminde tüketilecek limitinizden 6 jeton harcıyor.
Gemini’ın duyurduğu 2 milyon tokenlık girdi-çıktı kapasitesi, komut verirken ve üretilecek yanıtta kullanacağınız jeton limitinin muazzam bir biçimde arttırılması demek. Ezcümle, her iki firmanın da duyurduğu geliştirmeler ile daha uzun komutları, özetlemek istediğiniz kitap ya da dosyaları dil modeline, konumuz açısından ChatGPT ya da Gemini’ye verebileceğiniz anlamına geliyor.
Google’ın IO sunumunda kapasite artırımı ile birlikte yaklaşık 1,500 sayfalık bir PDF dosyasını Gemini modeline girdi olarak verebileceğiniz belirtiliyor. Meraklısı için not, hali hazırda Gemini modeli sadece 1 milyon token’ı kabul ediyor.
Token ya da jeton dediğimizde okurlarımızın gözü korkmasın, bizim doğal dil kullanarak verdiğimiz komutlar dil modellerinin yapısında bulunan bir kodlayıcı tarafından (tokenizer) otomatik olarak bu jeton, token, değerlerine çevriliyor.
Dil modelleri her ne kadar büyük veri kümeleri ile eğitilmiş, yüksek teknolojiler olsa da gerçekten beklediğiniz sonucu almak için bu dil modelleri ile “biraz daha açık konuşmanız” gerekiyor. Dil modellerine meramını anlatma işi ise son günlerin moda tabiriyle “prompt engineering” olarak adlandırılıyor. Ben ise Osman Hamdi Bey’in meşhur tablosundan ilhamla (Kaplumbağa Terbiyecisi), Prompt Terbiyeciliği demeyi daha çok seviyorum.
Prompt Terbiyeciliği’nin her meslekte olduğu gibi bir adabı, bu işi layığıyla yerine getiren bir de erbabı var. Erbabı bu işin ustalıklarını bilimsel titizlikte deneyler yaparak, araştırma sonuçları olarak ortaya koyuyor, makaleler olarak yayınlıyor. Bu denemeler sonucunda en iyi sonucu aldıkları teknikler sadece literatürün parçası olarak kalmıyor; Prompt Terbiyeciliği mesleğinin de incelikleri olarak giderek yaygınlaşıyor.
Mevzu bahis tekniklerin başarısı dil modelleriyle olduğu kadar, çözülmesi beklenen sorularla da alakalı olarak değişebliyor. Bazı modellerde ve kimi sorular için hiçbir örnek vermeden, leb demeden leblebi anlaşılırken (zero shot learning), zaman oluyor “konuyu biraz daha açmak için” birkaç örnek ile girdiyi zenginleştirmek en iyi sonucu verebiliyor (a few shot learning). Öyle zamanlar da oluyor ki çok basit bir aritmetik sorusuna bile cevap vermekten aciz görünen dil modellerine, tıpkı küçük bir çocuğa parmak hesabı ile anlatır gibi, adım adım, tek tek örneklerle açıklamak (chain of thought) arzu edilen sonuca ulaşılmasını sağlıyor.
Dünyada bu işin çok farklı veçheleri, Mega Prompt (ben Destansı Prompt diyeceğim.) vb iki, kimi zaman üç sayfayı bulan girdi tarifleri konuşuluyor.
Biz derdimizi uzun uzadıya anlatmayı, hele yazarak anlatmayı maalesef pek sevmiyoruz. Belki yapay zeka modellerinin ses ve görüntü kabul etme özellikleri bu derdimize derman olur. Yazarak uzun uzadıya anlatmaya erindiğimiz sorularımızı, gösterek, konuşarak yapay zeka ile paylaşabiliriz.
Geçtiğimiz günlerde, Z kuşağının, Google vb. klasik arama motorları yerine; yapay zeka destekli arama motorlarını kullanmaya yatkın olduklarına dair bir araştırma yayınlandı. Sayfa sayfa arama sonuçlarını gezme derdinden kurtaran bu çözümlere gösterilen teveccüh, Short ve Rels’ler ile büyüyen kuşağın "zahmet" kelimesi ile aralarına koydukları mesafenin bir sonucu sanki.
Belki anlayacakları dilden söylersem gençlere daha çok tesir edecektir.
Gençler, dil modellerini seviyorsanız, gidip konuşacaksınız.
