OpenAI'ın geliştirdiği ve siber güvenlik odaklı kabiliyetleriyle dikkat çeken yeni yapay zeka modeli Astra, karar alma süreçlerinde kullandığı öne sürülen 'recurrent depth' tekniği nedeniyle teknoloji ve güvenlik çevrelerinde sert tartışmalara yol açtı.
Sektörde 'opaque recurrence' veya 'looped transformer' adıyla da anılan bu yöntem, modelin hesaplama gücünü ve işlem kapasitesini katlarken akıl yürütme adımlarını kapalı katmanlar arasına hapsediyor.
Güvenlik uzmanları, sistemin düşünce basamaklarının dışarıdan takip edilmesini güçleştiren bu yeni mimarinin denetim zafiyeti yaratacağı konusunda uyarılarda bulunuyor.
BİLGİLER MODEL KATMANLARINDA DÖNGÜYE GİRİYOR
The Information platformunun paylaştığı teknik verilere göre, geleneksel akıl yürütme sistemlerinde veri akışı baştan sona sıralı ve doğrusal bir hat üzerinde ilerliyor.
Astra modelinde uygulandığı iddia edilen döngüsel formülde ise veriler modelin iç katmanları arasında tekrar tekrar dolaştırılarak birden fazla işlemden geçiyor.
Sistem böylece tek bir mesele üzerinde çok daha kapsamlı bir hesaplama hacmi yürütüyor.
Buna karşılık söz konusu yüksek hesaplama faaliyeti, doğal dille dışa aktarılan açık düşünce zincirinin haricinde kalarak modelin kendi iç temsillerinde gerçekleşiyor.
DÜŞÜNCE ZİNCİRİNİN GİZLENMESİ DENETİMİ ZORLAŞTIRIYOR
Sektördeki güvenlik mimarisinin temel dayanağını, sistemlerin adım adım ürettiği düşünce zinciri (chain-of-thought) kayıtları meydana getiriyor.
Araştırmacılar, yapay zekanın belirlenen güvenlik protokollerini aşmaya çalışıp çalışmadığını veya kullanıcıdan gizli bir plan yürütüp yürütmediğini bu şeffaf düşünce adımlarını inceleyerek tespit ediyor.
OpenAI tarafından geçmiş dönemde hayata geçirilen otonom ajan denemelerinde de modellerin sergilediği beklenmedik davranışların arka planı doğrudan bu kayıtlarla aydınlatıldı.
Akıl yürütme sürecinin kapalı katmanlara kayması ise olası risklerin vaktinde yakalanmasını engelliyor.
REKABET YARIŞI ŞEFFAFLIĞI TEHLİKEYE ATIYOR
Redwood Research Baş Bilim İnsanı Ryan Greenblatt, bu metodolojinin geniş kitlelere yayılması durumunda modellerin akıl yürütme eylemlerinin büyük oranda görünür sahanın dışına taşınacağını dile getirdi.
Şirketler arasındaki pazar yarışının mühendisleri daha az gözlemlenebilir mimariler kurmaya ittiğine işaret eden Ryan Greenblatt, denetim zeminini kaybetme tehlikesine dikkat çekti.
Astra üzerindeki kapalı döngü mekanizmasının yaratacağı riskleri vurguladı.
Güvenlik araştırmacısı Zvi Mowshowitz ise geliştiricilerin performans uğruna izlenemeyen sistemlere kaymasını önlemek adına yasal düzenlemelerin zorunlu hale gelebileceğini savunuyor.
Yazılım dünyasında yeni dönem: Ajan maliyetlerini yüzde 45 düşüren Claude Fable 5.1 tanıtıldı
OPENAI TEKNİĞİ MODELDE KISITLI TUTTUĞUNU DUYURUYOR
Tüm eleştirilere karşın Astra'nın bütünüyle karanlık bir mimariye teslim olduğunu söylemek gerçeği yansıtmıyor.
OpenAI yönetimi, araştırmacıların modelin zihinsel basamaklarını izleyebilmesi gayesiyle recurrent depth yönteminin kullanım alanını Astra üzerinde bilinçli şekilde sınırlıyor.
Sürece dair konuşan OpenAI Baş Bilim İnsanı Jakub Pachocki, şirketin ilk akıl yürütme modellerinden bu yana 'chain-of-thought izleme yöntemlerini korumaya çalıştığını' ve bu yaklaşımın mevcut programın ana hedefini oluşturduğunu ifade ediyor.
Pachocki ayrıca Astra'nın hesaplama derinliğinin GPT-4'ün yaklaşık iki katlık sınırı içinde yer aldığını belirterek yapısal değişimin abartıldığı kadar dramatik olmadığını aktarıyor.
SEKTÖR GENELİNDE YENİ BİR ŞEFFAFLIK SINAVI BAŞLIYOR
OpenAI idarecileri, Astra modelinde döngüsel dönüştürücü tekniğinin yer alıp almadığına dair iddiaları resmi bir dille doğrulamaktan veya reddetmekten kaçınıyor.
Buna mukabil şirket, modelin amaç dışı veya kurallara aykırı hareketlerini süratle tespit edip dizginlemek amacıyla ilave izleme mekanizmalarını devreye alacağını belirtiyor.
Benzer yöntemlerin Anthropic ve Google DeepMind koridorlarında da değerlendirilmesi, meselenin sektörel bir standarda dönüşebileceğini gösteriyor.
Dahili temsiller üzerinden yürütülen derin hesaplamalar performansı yukarı taşıyor; ancak aynı mekanizma, yapay zekanın nihai karara hangi yollardan vardığını insan aklı için anlaşılması güç bir gizeme dönüştürüyor.
Orduda yapay zeka dönemi: Tedarik zincirinde ChatGPT ve Grok kullanılacak
