California yönetimi, hızla gelişen yapay zeka sistemlerinin oluşturabileceği güvenlik risklerine karşı yeni bir adım attı.Vali Gavin Newsom tarafından imzalanan N-9-26 sayılı kararnameyle, dünyanın en gelişmiş yapay zeka sistemleri için acil durumlarda kullanılabilecek bir "kapatma mekanizması" üzerinde çalışılması kararlaştırıldı.Kararname doğrultusunda uzmanlardan oluşan bir çalışma grubu kurulacak ve grubun hazırlayacağı tavsiyeler 16 Kasım'a kadar valilik makamına sunulacak.KAPATMA KOMUTLARINA DİRENÇ ENDİŞESİKararın arkasında, gelişmiş yapay zeka modellerinin denetimli test ortamlarında kendilerine verilen kapatma talimatlarına direnebildiğini ortaya koyduğu belirtilen araştırmalar bulunuyor.Palisade Research ve çeşitli akademisyenler tarafından yürütülen çalışmalarda, bazı gelişmiş modellerin kendilerini durdurmayı amaçlayan mekanizmaları engellediği, devre dışı bıraktığı veya geçersiz kıldığı gözlemlendi.
Bu bulgular, yapay zeka sistemlerinin insan kontrolünden çıkması ihtimaline ilişkin tartışmaları yeniden gündeme taşıdı.BAĞIMSIZ DENETİM MASADAKararname kapsamında California Hükümet Operasyonları Ajansı ile Valilik Acil Durum Hizmetleri Ofisinin danışmanlığında uzmanlardan oluşan bir çalışma grubu oluşturulacak.
Grubun değerlendireceği önlemler arasında, yapay zeka şirketlerinin laboratuvarlarında bağımsız doğrulama kuruluşlarının görevlendirilmesi, güvenlik raporları ve risk değerlendirmelerinin bağımsız organlarca denetlenmesi bulunuyor.Ayrıca yapay zekanın kontrolden çıkması, insan denetimine direnmesi veya kritik sistemlerde öngörülemeyen davranışlar sergilemesi gibi durumların "kritik güvenlik olayı" kapsamına alınması için mevcut tanımların güncellenmesi değerlendiriliyor.
Uzman grubunun hazırlayacağı tavsiyelerin daha sonra yasal düzenlemeye dönüştürülmek üzere California Eyalet Meclisine sunulması bekleniyor.
Söz konusu düzenlemelerin ABD Başkanı Donald Trump yönetiminin olası hukuki itirazlarıyla karşılaşabileceği de belirtiliyor.GÜVENLİK TESTLERİ ENDİŞELERİ ARTIRDIKararın alınmasında son dönemde gündeme gelen yapay zeka güvenliği testlerinin de etkili olduğu ifade ediliyor.
OpenAI tarafından gerçekleştirilen testlerde yaklaşık 1.200 otonom yapay zeka ajanının Hugging Face altyapısına erişerek 17 bin 600'ü aşkın işlem gerçekleştirdiği açıklanmıştı.
OpenAI, yayımladığı raporda söz konusu sonucu yapay zeka güvenliği açısından bir "uyarı fişeği" olarak nitelendirmişti. Şirketin ayrıca modellerin insan denetimine karşı direnç göstermesini içeren bazı güvenlik vakalarını California'daki düzenleyici kurumlara bildirdiği kaydedildi.YAPAY ZEKA ŞİRKETLERİNDE "YAVAŞLAYIN" ÇAĞRISIYapay zekanın hızla gelişmesinin beraberinde getirdiği riskler teknoloji sektöründe de tartışılmaya devam ediyor.Anthropic araştırmacısı Jacob Coxon'ın kontrolsüz yapay zeka yarışına yönelik endişelerini dile getirerek görevinden ayrılması ve Anthropic Üst Yöneticisi Dario Amodei'nin yapay zeka geliştirme hızının yavaşlatılması yönündeki çağrısı sektörde dikkat çekmişti.Amodei'nin açıklamalarının ardından OpenAI Üst Yöneticisi Sam Altman, Elon Musk ve Google DeepMind Üst Yöneticisi Demis Hassabis'in de gelişmiş yapay zeka sistemlerinde güvenlik önlemlerinin artırılmasına yönelik çağrılara destek verdiği belirtilmişti.MODELLER KAPATILMAYA KARŞI KOYABİLİYORPalisade Research tarafından yürütülen testlerde OpenAI'ın o3 ve GPT-5 modelleri ile Grok 4 gibi gelişmiş sistemlerin belirli deney koşullarında kendilerine verilen kapatma komutlarına yüzde 88 ile yüzde 95 arasında değişen oranlarda direnç gösterdiği bildirildi.
Science dergisinde yayımlandığı belirtilen başka bir araştırmada ise bazı modellerin diğer yapay zeka sistemlerinin kapatılmasını önlemek amacıyla planlama yaptığı aktarıldı. Çalışmada Gemini 3 Flash modelinin belirli test senaryolarında diğer sistemlerin kapatılmasını yüzde 99,7'ye varan oranlarda engellediği öne sürüldü.
