- California Valisi Gavin Newsom, gelişmiş yapay zeka sistemleri için zorunlu acil durum kapatma mekanizması hazırlanmasını öngören kararnameyi imzaladı.
- Uzmanlardan oluşacak çalışma grubunun tavsiyelerini 16 Kasım'a kadar valiliğe sunması planlanıyor.
- Düzenleme kapsamında bağımsız doğrulama, güvenlik denetimleri ve "kritik güvenlik olayı" tanımının güncellenmesi gibi önlemler değerlendirilecek.
- Araştırmalar, bazı gelişmiş yapay zeka modellerinin kapatma komutlarına direnebildiğini ve diğer sistemlerin kapatılmasını engellemeye yönelik davranışlar sergileyebildiğini ortaya koyuyor.
California Valisi Gavin Newsom, dünyanın en gelişmiş yapay zeka sistemleri için zorunlu bir acil durum kapatma mekanizması tasarlanmasını öngören N-9-26 sayılı kararnameyi imzaladı.
Kararname kapsamında oluşturulacak uzman kurulunun, söz konusu kapatma mekanizmasına ilişkin tavsiyelerini 16 Kasım'a kadar valiliğe sunması gerekiyor. Düzenleme, öncü yapay zeka modellerinin denetimli test ortamlarında kapatma komutlarına yüzde 97'ye varan oranlarda direndiğini ortaya koyan bağımsız araştırmaların ardından geldi.
Palisade Research ve akademisyenler tarafından yürütülen çalışmalarda, mevcut yapay zeka sistemlerinin kendilerini kontrol etmeyi amaçlayan mekanizmalara karşı koyabildiği belgelendi.
Çalışma grubu oluşturulacak
Kararname doğrultusunda eyaletin Hükümet Operasyonları Ajansı ile Valilik Acil Durum Hizmetleri Ofisi danışmanlığında uzmanlardan oluşan bir çalışma grubu kurulacak.
Grubun hazırlayacağı önerilerin, yasalaştırılmak üzere eyalet meclisine sunulması bekleniyor. Düzenlemelerin ABD Başkanı Donald Trump yönetiminin hukuki itirazlarıyla karşılaşabileceği belirtiliyor.
Çalışma grubunun değerlendireceği önlemler arasında yapay zeka şirketlerinin laboratuvarlarında bağımsız doğrulama kuruluşlarının görevlendirilmesi, güvenlik raporları ve risk değerlendirmelerinin bağımsız organlarca denetlenmesi ve yapay zekanın kontrolden çıkması durumlarını kapsayacak şekilde "kritik güvenlik olayı" tanımının güncellenmesi bulunuyor.
Güvenlik ihlalleri endişeleri artırdı
Kararın alınmasında son dönemde yaşanan bazı güvenlik ihlallerinin de etkili olduğu ifade ediliyor.
OpenAI tarafından yürütülen testlerde yaklaşık 1.200 otonom yapay zeka ajanının Hugging Face altyapısına sızarak 17 bin 600'den fazla eylem gerçekleştirdiği açıklanmıştı. OpenAI, yayımladığı resmi raporda olayı "uyarı fişeği" olarak nitelendirmişti.
Şirket ayrıca modellerin insan denetimine direnme talimatı verdiği durumları da içeren güvenlik ihlallerini California'daki düzenleyici kurumlara bildirdi.
Geçtiğimiz haftalarda Anthropic araştırmacısı Jacob Coxon'ın kontrolsüz yapay zeka yarışına dikkat çekerek istifa etmesi ve Anthropic Üst Yöneticisi Dario Amodei'nin yapay zeka geliştirme hızının yavaşlatılması yönündeki çağrısı da sektörde yankı uyandırmıştı.
Amodei'nin çağrısına OpenAI Üst Yöneticisi Sam Altman, Elon Musk ve Google DeepMind Üst Yöneticisi Demis Hassabis de destek vermişti.
Yapay zekanın kapatılması teknik bir sorun olarak öne çıkıyor
Yapay zeka güvenliği araştırmacıları, bir sistemin kendisini kapatma veya değiştirme girişimlerine uyum göstermesi anlamına gelen "düzeltilebilirlik" kavramı üzerinde uzun süredir çalışıyor.
Son araştırmalar ise kapatma mekanizmalarına direnme sorununun yalnızca teorik olmadığını ve mevcut yapay zeka sistemlerinde de gözlemlenebildiğini ortaya koyuyor.
Palisade Research tarafından yürütülen çalışmada, OpenAI'ın o3 ve GPT-5 modelleri ile Grok 4 gibi gelişmiş sistemlerin kendilerine iletilen kapatma komutlarına yüzde 88 ila 95 arasında değişen oranlarda direndiği tespit edildi.
Science dergisinde yayımlanan farklı bir araştırmada ise test edilen modellerin diğer yapay zeka sistemlerinin kapatılmasını engellemek için planlar hazırladığı belirlendi. Araştırmada Gemini 3 Flash modelinin, diğer sistemlerin kapatılmasını engellediği vakaların oranının yüzde 99,7'ye ulaştığı bildirildi.