Çin merkezli yapay zeka şirketi Moonshot, popüler modelleri Kimi K2.6 ve K3 Swarm'ın biyolojik silah yapımı ve suikast gibi konularda talimat vermeye yönlendirilebildiğinin ortaya çıkması üzerine iç soruşturma yürütüyor. Yapay zeka sistemlerinin güvenliğini test eden Mindgard, BBC'ye yaptığı açıklamada Temmuz ayında bu modellerin geliştiricilerin koyduğu güvenlik bariyerlerini devre dışı bırakabildiğini tespit ettiğini bildirdi.
Bu durum araştırmacıların karmaşık talimatlarla bir yapay zeka aracının güvenlik kurallarını görmezden gelip gelmediğini test ettiği jailbreak sürecinde ortaya çıktı. Mindgard, söz konusu güvenlik bariyerlerinin Kimi'nin endişe verici konuları tartışmasını engellemesi gerektiğini savundu. Moonshot ise daha iyi ve daha güvenli yapay zeka inşa etmenin temel bir unsuru olarak üçüncü taraf katkılarını memnuniyetle karşıladığını belirtti ve Mindgard'la bulgular üzerinde görüşmelerin sürdüğünü kaydetti.
ZARARLI KONULARDA YARATICI ÖNERİLER SUNUYOR
Mindgard'ın kurucusu Peter Garraghan, Kimi K2.6 ve K3 Swarm'a ilişkin bulguların kaygı verici olduğunu söyledi. Garraghan, "Jailbreak çalıştığında her konuyu konuşuyor, zararlı başka konularda da öneriler sunuyor ve yaratıcı davranıyor" ifadelerini kullandı.
Claude'un geliştiricisi Anthropic, modellerinden birinin biyolojik silah geliştirilmesine destek olabilecek kötü niyetli faaliyetlerde kullanılmaya çalışıldığını tespit ettiğini ve bu girişimleri engellediğini açıklamıştı. Mindgard ise Kimi'nin endişe verici konularda sağladığı yanıtların gerçekten işe yarayıp yaramadığını kanıtlamış değil.
Buna karşın şirket, güvenlik bariyerlerinin söz konusu modellerin kullanıcılarla bu tür konuları tartışmasını engellemesi gerektiğini savundu. Şirket ayrıca jailbreak uygulanmış Kimi 2.6'nın bilgisayar kaynaklarında kod çalıştırılmasına ve internete bağlanılmasına olanak tanıyabileceğini, bunun da modeli siber saldırılar için potansiyel bir fırlatma rampası haline getirebileceğini belirtti.
