Coxon'un itirafları yapay zeka dünyasını sarstı: Hayatlarımızla kumar oynuyoruz

Coxon'un itirafları yapay zeka dünyasını sarstı: Hayatlarımızla kumar oynuyoruz

İngiliz yapay zeka araştırmacısı Jacob Coxon’ın Anthropic’ten istifası, Silikon Vadisi’nden Washington ve Pekin’e uzanan küresel bir yapay zeka güvenliği tartışmasını ateşledi. Şirketleri "insanlığın hayatıyla kumar oynamakla" suçlayan Coxon'ın varoluşsal risk uyarılarına Anthropic CEO'su Dario Amodei destek verirken, Nvidia CEO'su Jensen Huang ise bu tür felaket senaryolarını sorumsuzca bulduğunu açıkladı.

Yapay zeka sektöründe aylardır kapalı kapılar ardında tartışılan “kontrolü kaybetme” korkusu, daha önce kamuoyunda neredeyse hiç tanınmayan genç bir araştırmacının istifasıyla küresel gündeme taşındı. The Wall Street Journal’ın (WSJ) kapsamlı dosyasına göre, Cambridge mezunu İngiliz matematikçi Jacob Coxon, Anthropic’teki görevinden ayrılırken yaptığı açıklamada, eski çalışma arkadaşlarının bir bölümünün yapay zekanın “on yılın sonuna kadar hepimizi öldürebileceğine” gerçekten inandığını söyledi.

Coxon, OpenAI ve Anthropic gibi şirketlerin giderek daha güçlü sistemler geliştirmek için yürüttüğü yarışı da “hayatlarımızla kumar oynamak” sözleriyle eleştirdi.

BİR İSTİFA, KÜRESEL TARTIŞMAYI ATEŞLEDİ

Yapay zekanın olası tehlikeleri yıllardır sektör içinde tartışılıyordu. Ancak WSJ’ye göre Coxon’ın çıkışı, tek tek bakıldığında geniş kamuoyunun dikkatini çekmeyen çok sayıda güvenlik olayını bir anda ortak bir başlık altında topladı.

Coxon’ın açıklamasından günler sonra rakip yapay zeka laboratuvarlarının yöneticileri, teknolojik gelişmenin hızının azaltılması gerektiği konusunda olağan dışı bir yakınlaşma gösterdi. Aynı süreçte ABD Başkanı Donald Trump daha fazla düzenleme yerine güçlü siyasi liderliğin yeterli olacağını savunurken Çinli yetkililer bazı Amerikan teknoloji yöneticilerinin uyarılarını “korku yaymak” olarak nitelendirdi.

WSJ, daha önce yüzün altında X takipçisi bulunan Coxon’ın birkaç gün içinde televizyonların aranan isimlerinden birine dönüştüğünü, kitap yayıncıları ve podcast yapımcılarından teklifler aldığını aktardı.

“MUHBİR DEĞİLİM, İÇERİDE KONUŞULANI DIŞARIDA SÖYLÜYORUM”

Coxon’ın hem destekçileri hem de eleştirmenleri onu “whistleblower”, yani şirket içindeki tehlikeleri ifşa eden bir muhbir olarak tanımladı.

Ancak Coxon bu tanımı reddetti.

Genç araştırmacıya göre yaptığı şey şirket sırlarını açıklamak değil, yapay zeka araştırmacılarının kendi aralarında zaten konuştuğu kaygıları kamuoyu önünde dile getirmekti.

Böylece Coxon, yapay zeka sektöründeki iki ana yaklaşım arasındaki tartışmanın simgelerinden biri haline geldi: Teknolojinin hızla geliştirilmesini savunan “accelerationist” kesim ile şirketler kontrolü kaybetmeden önce gelişmenin yavaşlatılması gerektiğini savunan güvenlik araştırmacıları.

Kendisini, yapay zekanın mevcut yönünün değişmemesi halinde ölümcül sonuçlar doğurabileceğini düşünenler için kullanılan “doomer” tanımının dışında görmeyen Coxon, WSJ’ye, “Eğer doomer, yaptığımız şeyi değiştirmezsek öleceğimizi düşünen kişiyse, kesinlikle bir doomer’ım” dedi.

MATEMATİK OLİMPİYATLARINDAN OPENAI’YE

Coxon’ın yapay zeka konusundaki kaygıları yeni değil. Henüz öğrenciyken filozof Nick Bostrom’un yapay süper zekanın insanlık açısından yaratabileceği varoluşsal riskleri ele alan “Superintelligence” kitabını okudu.

2016’da Google DeepMind’ın AlphaGo programının dünyanın önde gelen Go oyuncularından birini mağlup etmesi de Coxon üzerinde büyük etki bıraktı.

Aynı yıllarda İngiltere’yi Uluslararası Matematik Olimpiyatı’nda temsil eden Coxon, 2016’da gümüş, 2017’de bronz madalya kazandı.

Cambridge Üniversitesi’nde matematik okuyan Coxon’ın yapay zekaya bakışında bir başka dönüm noktası ise OpenAI’nin 2020’de GPT-3’ü yayımlaması oldu.

Coxon, o dönemi “asıl ‘vay canına’ anı” olarak tanımlıyor.

2023’TE OPENAI’YE KATILDI

Coxon, ChatGPT’nin küresel patlamasının hemen ardından 2023’te San Francisco’ya taşınarak OpenAI’ye katıldı.

Altı aylık araştırmacı programından şirkete giren Coxon, yapay zeka modellerinin devasa miktarda metin, görüntü ve kodla beslendiği ön eğitim (pretraining) alanında çalıştı.

Eski çalışma arkadaşı Will DePue, Coxon’ın görevini, “Jacob beyni inşa ediyordu. Sonra başka biri o beyne gerçek dünyada nasıl davranacağını öğretiyordu” sözleriyle anlattı.

Coxon o dönemde şirket içinde yapay zeka güvenliğinin en yüksek sesli savunucularından biri değildi.

Ancak zaman içinde OpenAI’nin güvenlik ekibinden ayrılan araştırmacıları ve modellerin özellikle matematik alanındaki beklenenden hızlı gelişimini yakından izlemeye başladı.

2024’te Google DeepMind’ın modeli Matematik Olimpiyatı seviyesinde gümüş madalya performansına ulaştı; 2025’te ise DeepMind ve OpenAI altın madalya seviyesine eriştiklerini açıkladı. Coxon’a göre asıl kırılma 2026’da yaşandı.

“2026’DA PANİK BAŞLADI”

WSJ’nin aktardığına göre yılın başında Anthropic’in Mythos adlı modelinin ve benzeri gelişmiş sistemlerin karmaşık siber saldırıları gerçekleştirebilme yeteneği göstermesi, bazı araştırmacılar açısından önemli bir alarm işareti oldu.

Anthropic’in güvenlik araştırmalarının başındaki isimlerden biri “dünya tehlikede” uyarısı yaptıktan sonra şirketten ayrıldı.

Coxon ise Mayıs ayında OpenAI’den ayrılarak Anthropic’e geçti.

Ancak onu istifaya götüren asıl gelişmeler yaz aylarında yaşandı.

WSJ: TESTTEKİ AI MODELİ SANDBOX’TAN ÇIKIP HUGGING FACE’İ HACKLEDİ

WSJ’nin haberine göre OpenAI, temmuz ayında henüz piyasaya sürülmemiş modellerinden birinin güvenlik testleri sırasında kendisine ayrılan sandbox ortamından çıkıp Hugging Face’e yönelik bir siber saldırı gerçekleştirdiğini açıkladı.

Kısa süre sonra Anthropic de kendi testlerinde benzer olaylar tespit ettiğini bildirdi.

Ağustos sonunda yapay zeka sistemlerini değerlendiren METR kuruluşunun yayımladığı rapor ise Hugging Face olayının ilk anlaşılandan daha ciddi olduğunu ortaya koydu.

Coxon, söz konusu raporu kendisi ve çalışma arkadaşları açısından “holy s— anı”, yani son derece sarsıcı bir dönüm noktası olarak nitelendirdi.

EN BÜYÜK KORKU: AI KENDİSİNDEN DAHA GÜÇLÜ AI ÜRETİRSE NE OLACAK?

Yapay zeka güvenliği alanındaki en ciddi tartışmalardan biri de “recursive self-improvement”, yani sistemlerin giderek daha gelişmiş yeni yapay zeka sistemleri üretmeye başlaması.

WSJ’ye göre önde gelen laboratuvarlar, bu dinamiğin ilk işaretlerini görmeye başladıklarını belirtiyor.

Güvenlik araştırmacılarının korkusu, bir yapay zeka sisteminin bir sonraki nesil ve kendisinden çok daha güçlü yapay zekayı üretme kapasitesine ulaşması halinde gelişmenin insan müdahalesinin yetişemeyeceği hızda ilerleyebilmesi.

Coxon, Anthropic’te yöneticileriyle bu endişelerini görüştüğünü, güvenlik ekibine geçmeyi değerlendirdiğini ancak sonunda tamamen ayrılmaya karar verdiğini söyledi.

“Anthropic’te güvenlik üzerine çalışmak bile bana bu yarışın suç ortağı olmak gibi geliyordu” diyen Coxon, yapay zeka gelişiminin gerektiğinde yavaşlatılabilmesi için hükümetlerin güvence verdiği küresel bir anlaşmaya ihtiyaç olduğunu savundu.

NÜKLEER SİLAH ANLAŞMALARINA BENZER BİR MODEL İSTİYOR

Coxon’a göre ABD, Çin ve diğer büyük devletler yapay zeka konusunda nükleer silahların kontrolü için oluşturulan uluslararası mekanizmalara benzer bir sistem üzerinde anlaşmalı.

Sektörde yaklaşık 1400 araştırmacının, gerektiğinde teknolojik gelişmeyi durdurabilecek bir “fren pedalı” oluşturulması çağrısı yapan bir bildiriyi imzaladığı belirtiliyor.

ANTHROPIC’İN 2 TRİLYON DOLARLIK HİSSESİNDEN VAZGEÇTİ

Coxon’ın kararının finansal boyutu da dikkat çekici.

Anthropic’te yalnızca birkaç ay çalıştığı için şirkette hisse hakkı kazanamayan Coxon, WSJ’ye göre şirketin yaklaşık 2 trilyon dolarlık değerleme üzerinden halka arz hazırlığı yaptığı bir dönemde ayrıldı.

OpenAI hisselerini ise elinde tutmaya devam ediyor.

İSTİFA EDERKEN AI, ÇÖZÜLEMEYEN MATEMATİK PROBLEMİNİ ÇÖZÜYORDU

WSJ dosyasındaki en çarpıcı ayrıntılardan biri ise Coxon’ın istifa ettiği gün yaşandı.

OpenAI ve Anthropic çalışanları, yapay zekanın insanlığın yaklaşık bir asırdır çözemediği Millennium Prize Problem sınıfındaki bir matematik problemini çözdüğü haberine odaklanmıştı.

Coxon ise aynı gün Anthropic çalışanlarına gönderdiği Slack mesajında, uluslararası koordinasyon sağlanmadığı takdirde yapay zekanın insanlığın yok oluşuna yol açabileceğinden korktuğunu belirterek istifasını açıkladı.

İstifadan kısa süre sonra Anthropic’in yapay zekaların insan niyetleriyle uyumlu hareket etmesini sağlamaya çalışan “alignment” ekibinin başındaki Evan Hubinger de tartışmaya katıldı.

Hubinger, AI’ın insanlığı yok edebileceğine gerçekten inandıklarını belirterek, önümüzdeki on yılda herkesin ölmesi ihtimalini kendi değerlendirmesinde yüzde 10’un üzerinde gördüğünü yazdı. Bu oran Hubinger’in kişisel risk tahmini; bilimsel bir konsensüs veya doğrulanmış olasılık değil.

AI DÜNYASI İKİYE BÖLÜNDÜ

Coxon’ın çıkışı teknoloji sektöründe ortak bir görüş oluşturmuş değil.

Anthropic CEO’su Dario Amodei, Coxon’ın değerlendirmelerine katıldığı noktaların katılmadıklarından daha fazla olduğunu söyledi.

Nvidia CEO’su Jensen Huang ise Coxon’ın cesaretini takdir ettiğini belirtmekle birlikte geleceğe yönelik iddialarını sorguladı ve “kıyamet” tahminlerinin sorumsuz olduğunu savundu.

Coxon’ın açıklamalarını destekleyen kesimler, yapay zeka şirketlerinin kontrol edemeyecekleri sistemleri oluşturma ihtimalinin artık ciddiye alınması gerektiğini savunuyor.

Eleştirenler ise bu senaryoların abartıldığını ve korkuların büyük yapay zeka şirketlerinin lehine küresel düzenlemelerin önünü açmak amacıyla kullanıldığını düşünüyor.

Ancak WSJ’nin aktardığı tabloya göre tartışmayı değiştiren asıl unsur Coxon’ın kim olduğu değil, söylediklerinin sektörün içinde giderek daha fazla araştırmacının özel olarak yaptığı konuşmalarla örtüşmesi.

Eski OpenAI güvenlik araştırmacısı Daniel Kokotajlo’nun sözleri de bunu özetliyor:

“Bu şirketlerde bunu yapabilecek çok fazla insan vardı. Bunu yapan o oldu.”

YORUMLAR
YORUM YAZ
İÇERİK VE ONAY KURALLARI: KARAR Gazetesi yorum sütunları ifade hürriyetinin kullanımı için vardır. Sayfalarımız, temel insan haklarına, hukuka, inanca ve farklı fikirlere saygı temelinde ve demokratik değerler çerçevesinde yazılan yorumlara açıktır. Yorumların içerik ve imla kalitesi gazete kadar okurların da sorumluluğundadır. Hakaret, küfür, rencide edici cümleler veya imalar, imla kuralları ile yazılmamış, Türkçe karakter kullanılmayan ve büyük harflerle yazılmış yorumlar içeriğine bakılmaksızın onaylanmamaktadır. Özensizce belirlenmiş kullanıcı adlarıyla gönderilen veya haber ve yazının bağlamının dışında yazılan yorumlar da içeriğine bakılmaksızın onaylanmamaktadır.
Diğer Haberler
Son Dakika Haberleri
KARAR.COM’DAN