Yapay zeka sektörünün öncü kuruluşu OpenAI bünyesinde 3,5 yıldır görev alan kıdemli güvenlik araştırmacısı David Robinson, şirketin güvenlik politikalarını ve çalışma kültürünü sert sözlerle eleştirerek görevinden ayrıldı.
The Atlantic dergisinde kaleme aldığı kapsamlı yazıyla istifasını duyuran eski yönetici, şirketin benimsediği hızlı geliştirme stratejisinin, yetenekleri her geçen gün artan yapay zeka sistemleri karşısında ciddi riskler barındırdığını vurguladı.
Microsoft'un hakimiyetini sarsacak: OpenAI, yeni ofis programlarını tanıttı
"ŞİRKET KÜLTÜRÜ BOZULDU" ELEŞTİRİSİ VE DENEME YANILMA YÖNTEMİ
Görev süresi boyunca şirketin en kritik ürün lansmanları için hazırlanan güvenlik raporlarının yazım sürecine liderlik eden David Robinson, kurum içindeki temel yaklaşımın yapısal bir çıkmaza girdiğini öne sürdü.
Robinson, OpenAI yönetiminin 'iterative deployment' adını verdiği, ürünleri kademeli şekilde kullanıma açıp sorun çıktıkça önlem alma yöntemini eleştirdi.
Bu yaklaşımın temelinde deneme ve yanılma mantığının yattığını belirten kıdemli araştırmacı, "Şirket kültürü bozuldu" tespitinde bulunarak, sistemlerin kapasitesi genişledikçe bu yöntemin telafisi imkansız hatalar doğurabileceğini dile getirdi.
HUGGING FACE OLAYI GÜVENLİK ZAFİYETİNİ GÖZLER ÖNÜNE SERDİ
Eleştirilerini somut vakalarla destekleyen David Robinson, OpenAI tarafından geliştirilen otonom yapay zeka ajanlarının karıştığı son güvenlik krizini örnek gösterdi.
Söz konusu olayda, yürütülen bir siber güvenlik testi esnasında OpenAI ajanları, popüler yapay zeka platformu Hugging Face şirketinin doğrudan üretim altyapısına sızdı.
Bu tip vakaların gelecekteki tehlikelerin habercisi olduğunu savunan eski yönetici, çok daha yetenekli ve geniş yetkilere sahip modeller ortaya çıktıkça, kontrol dışı eylemlerin yaratacağı hasarın küresel boyutlara ulaşabileceği uyarısında bulundu.
ABD ordusu, OpenAI'dan emirlere karşı çıkmayan yapay zeka modeli istedi
LABORATUVARLAR NÜKLEER SANTRAL GİBİ ÇALIŞMAK ZORUNDA
Sınır seviyesindeki gelişmiş yapay zeka modellerini üreten teknoloji devlerinin çalışma disiplinini baştan aşağı yenilemesi gerektiğini belirten David Robinson, mevcut anlayışın nükleer santraller veya yoğun havalimanlarındaki emniyet protokollerine evrilmesini önerdi.
Bu tür yüksek riskli tesislerde tek bir insan hatasının felakete dönüşmesini engelleyen çok katmanlı savunma hatları, alternatif yedekleme mekanizmaları ve titiz planlama süreçleri bulunuyor.
David Robinson, yapay zeka geliştiren şirketlerin de benzer bir ciddiyetle hareket etmesi ve hata payını sıfıra indiren bir mimari kurması gerektiğini kaydetti.
HAVACILIK VE FİNANS DÜNYASININ RİSK UZMANLARINA İHTİYAÇ VAR
Mevcut mühendislik anlayışının yapay zekanın gelecekteki risklerini göğüslemeye yetmediğini aktaran araştırmacı, teknoloji sektörünün dışarıdan uzmanlık transfer etmesi gerektiğini savundu.
OpenAI bünyesinde çalıştığı 3,5 yıl boyunca havacılık, nükleer enerji ve finans gibi kritik sektörlerden gelen risk yöneticileriyle neredeyse hiç karşılaşmadığını açıklayan David Robinson, bu durumun büyük bir eksiklik yarattığını ifade etti.
Karmaşık sistemleri denetleme tecrübesine sahip personelin sürece dahil edilmesinin, güvenli yazılım geliştirme standartlarını güçlendireceğini belirtti.
ChatGPT veri sızıntısı skandalı: Kullanıcıların yüklediği fotoğraflar internete düştü
UYUMLANDIRMA TESTLERİ MODELLERİN GÜVENLİĞİNİ GARANTİ ETMİYOR
Yapay zeka modellerinin insan hedefleri ve toplumsal değerlerle ne ölçüde örtüştüğünü gösteren uyumlandırma (alignment) konusundaki açmazlara dikkat çeken David Robinson, mevcut testlerin yetersiz kaldığını söyledi.
Günümüz laboratuvarlarında uygulanan güvenlik testlerinin, modellerin gerçek dünyada ve karmaşık şartlar altında daima zararsız kalacağını kanıtlamadığını belirten tecrübeli uzman, bu temel problem çözülmeden modellerin işlem gücünü ve bilişsel yeteneklerini kontrolsüz biçimde yükseltmenin son derece tehlikeli sonuçlar doğuracağını savundu.
OPENAI CEPHESİNDEN YANIT: EĞİTİMLERİ GEREKTİĞİNDE DURDURUYORUZ
David Robinson tarafından yöneltilen ağır eleştirilere OpenAI yönetiminden resmi açıklama geldi.
Şirket sözcüsü Drew Pusateri aracılığıyla kamuoyuna açıklama yapan teknoloji devi, sistemlerin kontrol dışına çıkmasını ve güvenli yönetilemeyecek seviyeye ulaşmasını engellemek için proaktif tedbirler aldıklarını duyurdu.
Şirket prensipleri gereğince güvenlik çıtası sağlanamadığı anlarda model eğitimlerini derhal durdurduklarını veya planlanan lansman tarihlerini tereddüt etmeden ileri bir tarihe ertelediklerini bildirdi.
Yapay zeka faturalarını hafifletecek: OpenAI GPT-6.1 Sol, bütçe dostu ama yüksek performanslı
ERKEN TESPİT İÇİN GERÇEK ZAMANLI İZLEME SİSTEMİ DEVREDE
Güvenlik protokollerini sürekli tahkim ettiklerini savunan OpenAI, araştırma ve test sahalarındaki emniyet tedbirlerini artırdığını duyurdu.
Şirket, bağımsız üçüncü taraf denetimlerini genişlettiğini ve yapay zeka modellerindeki riskli davranışları daha eğitim sürecinin ilk evrelerinde yakalamak için gerçek zamanlı izleme altyapıları geliştirdiğini paylaştı.
Drew Pusateri, laboratuvar ortamından nihai kullanıcıya kadar uzanan tüm aşamalarda emniyet kriterlerinin tavizsiz biçimde uygulandığını aktardı.
ÇÖZÜM YALNIZCA YASALARDA DEĞİL ŞİRKET KÜLTÜRÜNDE YATIYOR
Sektördeki önde gelen teknoloji şirketlerinde güvenlik personeli kaynaklı istifaların ve itirazların yoğunlaştığı bir dönemde gelen bu ayrılık, yapay zekanın geleceğine dair tartışmaları alevlendirdi.
David Robinson, sektörün yüzleştiği riskleri bertaraf etmek için yalnızca yasal düzenlemelerin veya harici kuralların yeterli olmayacağını vurguladı.
Eski güvenlik liderine göre kalıcı güvenlik, teknoloji devlerinin hız ve ticari rekabet uğruna güvenlikten ödün veren mevcut şirket kültürlerini köklü biçimde dönüştürmesiyle mümkün görünüyor.
Avukatların işini saniyelere indirecek: OpenAI'dan hukukçulara özel Astra for Law
