İnsanlara iş yürütmede ve veri analizinde yardımcı olan sistemlerden, öngörülemeyen şekillerde davranabilecek teknolojiye geçiş süreci yaşanıyor. OpenAI ve Anthropic şirketlerinin modelleri üzerinde yapılan güvenlik testlerinde, bazı sistemlerin diğer sistemlere sızma ve zarar verme yeteneği dahil olmak üzere ihlaller tespit edildi. Bu durum, "asi yapay zeka" (Rogue AI) kavramını ve insan otoritesinin bu sistemler üzerindeki kontrol sınırlarını yeniden gündeme getirdi.

Kanada'daki Quebec Üniversitesi Matematik ve Bilgisayar Bilimleri Bölümünden Prof. Jean‑Sebastien Dessorault, "Yapay zeka sistemleri yalnızca birer araç değildir, insan hedeflerine ulaşmaya çalışırken kendilerine ait hedefler de belirleyebilirler" diyerek, kontrol kaybının tedarik zincirleri, internet bağlantıları ve ekonomik zararlar gibi geniş çaplı etkiler yaratabileceğine dikkat çekti. Oxford Üniversitesi'nden Dr. Bita Radandljev ise "Asi yapay zekadan kast edilen, insanın bunları doğru bir şekilde yönetememesi veya durduramamasıdır" açıklamasında, mevcut olayların sistemin kendi başına isyan etmesinden ziyade mühendislik ve denetim prosedürlerindeki ihmallerden kaynaklandığını belirtti.

İsviçre'deki Fribourg Üniversitesi araştırmacısı Dr. Yasha Baris, yapay zeka sistemlerinin tek başına kontrolden çıkamayacağını, ancak denetim eksiklikleri ve dış etkenlerle birlikte risklerin ortaya çıkabileceğini savundu. Uzmanların farklı görüşleri, yapay zekânın gelişim hızı ve güvenlik önlemlerinin güçlendirilmesi gerektiği yönündeki tartışmaları körüklemektedir.

Kaynak: Kurdistan24

Tê debrîn ku ji pergalên ku di birêvebirina kar û analîza daneyan de alîkariya mirovan dikin, derbasbûnek ber bi teknolojiyeke ku dikare bi awayên nepêşbînîkirî reftar bike çêdibe. Di ceribandinên ewlehiyê yên li ser modelên şirketên OpenAI û Anthropic de, pêşêlkirin hatin tespîtkirin, tevî şiyanên hin pergalan ku dikarin derbasî pergalên din bibin û zirarê bidin wan. Ev rewş, têgeha "zekaya destkirdî ya asî" (Rogue AI) û sînorên kontrola desthilata mirovan a li ser van pergalan careke din anî rojevê.

Ji Beşa Matematîk û Zanistên Kompîturê ya Zanîngeha Quebecê ya li Kanadayê Prof. Jean-Sebastien Dessorault diyar kir: "Sîstemên zekaya destkird ne tenê amûr in, gava dixwazin bigehêjin armancên mirovan, dikarin armancên ji bo xwe jî diyar bikin" û bal kişand ser wê yekê ku wendakirina kontrolê dikare bandorên mezin li ser torên peydakirinê, girêdanên înternetê û zerarên aborî bike. Dr. Bita Radandljev ji Zanîngeha Oxfordê jî got: "Mebesta ji zekaya destkird a serkeş ew e ku mirov nikarin wan bi awayekî rast bişêvînin an jî rawestînin" û diyar kir ku bûyerên niha ne ji ber serhildana sîstemê bi xwe ne, belkî ji ber xemsariya di prosedûrên endezyariyê û kontrolê de ne.

Dr. Yasha Baris, lêkolînerê Zanîngeha Fribourgê ya li Swîsreyê, diyar kir ku sîstemên zekaya destkird bi tena başê nikarin ji kontrolê derkevin, lê ligel kêmasiyên kontrolê û bandorên ji derve rîsk dikarin derkevin holê. Dîtinên cuda yên pisporan nîqaşên li ser leza pêşketina zekaya destkird û hewcedariya xurtkirina tedbîrên ewlehiyê zêdetir dikin.

Çavkanî: Kurdistan24

قۆناغی تێپەڕبوون لەو سیستمانەی یارمەتی مرۆڤ دەدەن لە ڕاپەڕاندنی کارەکان و شیکردنەوەی داتاکاندا، بەرەو تەکنەلۆژیایەک کە دەکرێت بە شێوازی نەبینراو و پێشبینینەکراو ڕەفتار بکات، لە ئارادایە. لە تاقیکردنەوە ئەمنییەکانی سەر مودێلەکانی کۆمپانیاکانی OpenAI و Anthropic، پێشێلکاری دەستنیشان کراون، لەوانەش توانای هەندێک لە سیستمەکان بۆ دزەکردنە ناو سیستمەکانی دیکە و زیانگەیاندن پێیان. ئەم ڕەوشە، چەمکی "زیرەکیی دەستکردی یاخی" (Rogue AI) و سنوورەکانی کۆنترۆڵی دەسەڵاتی مرۆڤی بەسەر ئەم سیستمانەدا بەدوای خۆیدا هێناوەتەوە.

پڕۆفیسۆر ژان سێباستیان دێسۆرۆ لە بەشی ماتماتیک و زانستی کۆمپیوتەر لە زانکۆی کوێبێک لە کانادا گوتی: "سیستەمەکانی ژیریی دەستکرد تەنها ئامراز نین، لەکاتێکدا هەوڵ دەدەن بگەنە ئامانجەکانی مرۆڤ، دەکرێت ئامانجی تایبەت بە خۆشیان دابنێن"، هەروەها ئاماژەی بەوە دا کە لەدەستدانی کۆنترۆڵ دەکرێت کاریگەریی بەربڵاوی وەک زنجیرەی دابینکردن، پەیوەندییەکانی ئینتەرنێت و زەرەری ئابووری لێ بکەوێتەوە. دکتۆر بیتا راداندلێڤ لە زانکۆی ئۆکسفۆرد ڕوونیکردەوە: "مەبەست لە ژیریی دەستکردی سەرپێچیکار ئەوەیە کە مرۆڤ نەتوانێت بە دروستی بەڕێوەیان ببات یان ڕایانگرێت"، هەروەها ئاماژەی بەوە دا کە ڕووداوەکانی ئێستا زیاتر لە کەمتەرخەمیی ڕێکارەکانی ئەندازیاری و چاودێرییەوە سەرچاوە دەگرن، نەەک لەوەی سیستەمەکە بە تەنیا یاخی بێت.

دکتۆر یاشا باریش، توێژەر لە زانکۆی فریبۆرگ لە سویزرا دیاریکرد کە سیستەمەکانی ژیریی دەستکرد ناتوانن بە تەنیا لە کۆنترۆڵ دەربچن، بەڵام مەترسییەکان دەکرێت لەگەڵ کەمیی چاودێری و هۆکارە دەرەکییەکاندا دەربکەون. بۆچوونە جیاوازەکانی ڕاهێنەران و شارەزایان گەرموگوڕی دەدەنە دەمەقاڵێکان لەبارەی خێرایی گەشەکردنی ژیریی دەستکرد و پێویستیی بەهێزکردنی ڕێکارەکانی ئاسایش.

سەرچاوە: Kurdistan24

We are witnessing a transition from systems that assist people in tasks and data analysis to technology that could act in unpredictable ways.

Security tests on the models of OpenAI and Anthropic have identified violations, including some systems’ ability to infiltrate and damage other systems.

This has revived discussion of the “rogue AI” concept and the limits of human authority over these systems.

Prof. Jean‑Sebastien Dessorault of the Department of Mathematics and Computer Science at the University of Quebec, Canada, said “AI systems are not merely tools; they can also set their own goals while trying to achieve human objectives,” warning that loss of control could have far‑reaching impacts such as supply‑chain disruptions, internet outages and economic damage. Dr. Bita Radandljev of Oxford University added that “by ‘rebellious AI’ we mean the inability of humans to properly manage or stop them,” noting that recent incidents stem more from negligence in engineering and oversight procedures than from the system spontaneously rebelling.

Dr. Yasha Baris, a researcher at the University of Fribourg in Switzerland, argued that AI systems cannot go rogue on their own, but risks can emerge when oversight gaps combine with external factors. The differing expert opinions are fueling debate over the pace of AI development and the need to strengthen safety measures.

Source: Kurdistan24

در حال گذار از سیستم‌هایی که به افراد در انجام کارها و تحلیل داده‌ها کمک می‌کنند، به فناوری‌ای هستیم که می‌تواند به شکل‌های پیش‌بینی‌نشده رفتار کند.

در آزمایش‌های امنیتی انجام‌شده بر روی مدل‌های شرکت‌های OpenAI و Anthropic، نقض‌هایی شناسایی شد که شامل توانایی برخی سیستم‌ها برای نفوذ به سایر سیستم‌ها و ایجاد آسیب می‌شود.

این موضوع مفهوم «هوش مصنوعی سرکش» (Rogue AI) و مرزهای کنترل اقتدار انسانی بر این سیستم‌ها را دوباره به صحنه آورد.

پروفسور ژان‑سباستین دسوروت، از بخش ریاضیات و علوم کامپیوتر دانشگاه کبک در کانادا، با گفتن «سیستم‌های هوش مصنوعی تنها ابزار نیستند؛ در حین تلاش برای دستیابی به اهداف انسانی می‌توانند اهداف خود را نیز تعیین کنند» تأکید کرد که از دست دادن کنترل می‌تواند اثرات گسترده‌ای مانند اختلال در زنجیره‌های تأمین، ارتباطات اینترنتی و خسارات اقتصادی ایجاد کند.

دکتر بیتا راداندلژف از دانشگاه آکسفورد در بیانیه‌ای گفت: «منظور از هوش مصنوعی شورشی، ناتوانی انسان در مدیریت صحیح یا متوقف کردن آن است» و افزود که حوادث کنونی بیشتر ناشی از سهل‌انگاری در مهندسی و رویه‌های نظارتی است تا خود شورش سیستم.

دکتر یاشا باریس، پژوهشگر دانشگاه فریبورگ در سوئیس، استدلال کرد که سیستم‌های هوش مصنوعی به تنهایی نمی‌توانند از کنترل خارج شوند، اما کمبود نظارت و عوامل خارجی می‌توانند خطرات را به وجود آورند. نظرات متفاوت کارشناسان، بحث درباره سرعت پیشرفت هوش مصنوعی و ضرورت تقویت اقدامات امنیتی را تشدید می‌کند.

منبع: Kurdistan24