AGI hype – Rogue AI

This story is from The Algorithm, our weekly newsletter on AI.

Ever since last week’s dramatic events at OpenAI, the rumor mill has been in overdrive about why the company’s chief scientific officer, Ilya Sutskever, and its board decided to oust CEO Sam Altman.

While we still don’t know all the details, there have been reports that researchers at OpenAI had made a “breakthrough” in AI that had alarmed staff members. Reuters and The Information both report that researchers had come up with a new way to make powerful AI systems and had created a new model, called Q* (pronounced Q star), that was able to perform grade-school-level math. According to the people who spoke to Reuters, some at OpenAI believe this could be a milestone in the company’s quest to build artificial general intelligence, a much-hyped concept referring to an AI system that is smarter than humans. The company declined to comment on Q*. 

Social media is full of speculation and excessive hype, so I called some experts to find out how big a deal any breakthrough in math and AI would really be.

Researchers have for years tried to get AI models to solve math problems. Language models like ChatGPT and GPT-4 can do some math, but not very well or reliably. We currently don’t have the algorithms or even the right architectures to be able to solve math problems reliably using AI, says Wenda Li, an AI lecturer at the University of Edinburgh. Deep learning and transformers (a kind of neural network), which is what language models use, are excellent at recognizing patterns, but that alone is likely not enough, Li adds. 

Math is a benchmark for reasoning, Li says. A machine that is able to reason about mathematics, could, in theory, be able to learn to do other tasks that build on existing information, such as writing computer code or drawing conclusions from a news article. Math is a particularly hard challenge because it requires AI models to have the capacity to reason and to really understand what they are dealing with. 

A generative AI system that could reliably do math would need to have a really firm grasp on concrete definitions of particular concepts that can get very abstract. A lot of math problems also require some level of planning over multiple steps, says Katie Collins, a PhD researcher at the University of Cambridge, who specializes in math and AI. Indeed, Yann LeCun, chief AI scientist at Meta, posted on X and LinkedIn over the weekend that he thinks Q* is likely to be “OpenAI attempts at planning.”

People who worry about whether AI poses an existential risk to humans, one of OpenAI's founding concerns, fear that such capabilities might lead to rogue AI. Safety concerns might arise if such AI systems are allowed to set their own goals and start to interface with a real physical or digital world in some ways, says Collins. 

But while math capability might take us a step closer to more powerful AI systems, solving these sorts of math problems doesn’t signal the birth of a superintelligence. 

“I don’t think it immediately gets us to AGI or scary situations,” says Collins.  It’s also very important to underline what kind of math problems AI is solving, she adds.

“Solving elementary-school math problems is very, very different from pushing the boundaries of mathematics at the level of something a Fields medalist can do,” says Collins, referring to a top prize in mathematics.  

Machine-learning research has focused on solving elementary-school problems, but state-of-the-art AI systems haven’t fully cracked this challenge yet. Some AI models fail on really simple math problems, but then they can excel at really hard problems, Collins says. OpenAI has, for example, developed dedicated tools that can solve challenging problems posed in competitions for top math students in high school, but these systems outperform humans only occasionally.  

Nevertheless, building an AI system that can solve math equations is a cool development, if that is indeed what Q* can do. A deeper understanding of mathematics could open up applications to help scientific research and engineering, for example. The ability to generate mathematical responses could help us develop better personalized tutoring, or help mathematicians do algebra faster or solve more complicated problems. 

This is also not the first time a new model has sparked AGI hype. Just last year, tech folks were saying the same things about Google DeepMind’s Gato, a “generalist” AI model that can play Atari video games, caption images, chat, and stack blocks with a real robot arm. Back then, some AI researchers claimed that DeepMind was “on the verge” of AGI because of Gato’s ability to do so many different things pretty well. Same hype machine, different AI lab. 

And while it might be great PR, these hype cycles do more harm than good for the entire field by distracting people from the real, tangible problems around AI. Rumors about a powerful new AI model might also be a massive own goal for the regulation-averse tech sector. The EU, for example, is very close to finalizing its sweeping AI Act. One of the biggest fights right now among lawmakers is whether to give tech companies more power to regulate cutting-edge AI models on their own. 

OpenAI’s board was designed as the company’s internal kill switch and governance mechanism to prevent the launch of harmful technologies. The past week’s boardroom drama has shown that the bottom line will always prevail at these companies. It will also make it harder to make a case for why they should be trusted with self-regulation. Lawmakers, take note.

 

 

 

این داستان از الگوریتم، خبرنامه هفتگی  در مورد هوش مصنوعی است.

از زمان رویدادهای دراماتیک هفته گذشته در OpenAI، شایعاتی در مورد اینکه چرا مدیر ارشد علمی این شرکت، ایلیا سوتسکور، و هیئت مدیره آن تصمیم به اخراج سم آلتمن، مدیر عامل شرکت کردند، شایع شده است.

در حالی که ما هنوز همه جزئیات را نمی دانیم، گزارش هایی وجود دارد که محققان OpenAI "دستیابی به موفقیتی" در هوش مصنوعی ایجاد کرده اند که کارکنان را نگران کرده است. رویترز و The Information هر دو گزارش می دهند که محققان راه جدیدی برای ساخت سیستم های هوش مصنوعی قدرتمند ارائه کرده اند و مدل جدیدی به نام Q* (با تلفظ Q ستاره) ایجاد کرده اند که می تواند ریاضیات را در سطح مدرسه انجام دهد. به گفته افرادی که با رویترز صحبت کردند، برخی در OpenAI معتقدند که این می تواند نقطه عطفی در تلاش این شرکت برای ساخت هوش مصنوعی عمومی باشد، اصطلاحی که به شدت به سیستم هوش مصنوعی باهوش تر از انسان اشاره دارد. این شرکت از اظهار نظر در مورد Q* خودداری کرد.

رسانه های اجتماعی مملو از حدس و گمان و هیاهو هستند، بنابراین من با برخی از کارشناسان تماس گرفتم تا بفهمم پیشرفت در ریاضیات و هوش مصنوعی واقعا چقدر بزرگ خواهد بود.

محققان سال‌ها تلاش کرده‌اند تا مدل‌های هوش مصنوعی را برای حل مسائل ریاضی به دست آورند. مدل‌های زبانی مانند ChatGPT و GPT-4 می‌توانند مقداری ریاضی را انجام دهند، اما نه خیلی خوب یا قابل اعتماد. واندا لی، مدرس هوش مصنوعی در دانشگاه ادینبورگ، می گوید: ما در حال حاضر الگوریتم یا حتی معماری مناسبی برای حل قابل اعتماد مسائل ریاضی با استفاده از هوش مصنوعی نداریم. لی اضافه می‌کند که یادگیری عمیق و ترانسفورماتورها (نوعی شبکه عصبی) که مدل‌های زبانی از آن استفاده می‌کنند در تشخیص الگو عالی هستند، اما احتمالاً این به تنهایی کافی نیست.

لی می گوید که ریاضیات معیاری برای استدلال است. ماشینی که قادر به استدلال در مورد ریاضیات باشد، از نظر تئوری، می‌تواند کارهای دیگری را بر اساس اطلاعات موجود، مانند نوشتن کد کامپیوتری یا نتیجه‌گیری از یک مقاله خبری، انجام دهد. ریاضی چالش بسیار سختی است زیرا به مدل‌های هوش مصنوعی نیاز دارد که ظرفیت استدلال داشته باشند و واقعاً بفهمند که با چه چیزی سر و کار دارند.

یک سیستم هوش مصنوعی مولد که می تواند به طور قابل اعتماد ریاضی انجام دهد، باید درک واقعاً محکمی از تعاریف عینی مفاهیم خاص داشته باشد، که می تواند بسیار انتزاعی باشد. کتی کالینز، محقق دکترا در دانشگاه کمبریج که در ریاضیات و هوش مصنوعی متخصص است، می‌گوید بسیاری از مسائل ریاضی به سطحی از برنامه‌ریزی چند مرحله‌ای نیز نیاز دارند. در واقع، Yann LeCun، دانشمند ارشد هوش مصنوعی در Meta، در پایان هفته در X و LinkedIn پست کرد که فکر می‌کند Q* احتمالاً «تلاش OpenAI برای برنامه‌نویسی» است.

کسانی که نگران این هستند که آیا هوش مصنوعی یک تهدید وجودی برای انسان است یا خیر، نگرانی پایه‌گذاری OpenAI، از این می‌ترسند که چنین قابلیت‌هایی به هوش مصنوعی سرکش منجر شود. کالینز می‌گوید اگر چنین سیستم‌های هوش مصنوعی اجازه داشته باشند اهداف خود را تعیین کنند و به نوعی با دنیای فیزیکی یا دیجیتالی واقعی تعامل داشته باشند، ممکن است نگرانی‌های ایمنی ایجاد شود.

اما در حالی که توانایی ریاضی ممکن است ما را یک قدم به سیستم‌های هوش مصنوعی قوی‌تر نزدیک‌تر کند، حل این نوع مسائل ریاضی نشان‌دهنده تولد یک ابرهوش نیست.

کالینز می‌گوید: «فکر نمی‌کنم فوراً ما را به AGI یا موقعیت‌های ترسناک ببرد. او می افزاید، همچنین مهم است که تأکید کنیم هوش مصنوعی چه نوع مسائل ریاضی را حل می کند.

کالینز با اشاره به جایزه برتر ریاضیات می‌گوید: «حل مسائل ریاضی ابتدایی بسیار بسیار متفاوت از پیش بردن مرزهای ریاضی در سطح کاری است که یک مدال‌آور فیلدز می‌تواند انجام دهد».

تحقیقات یادگیری ماشینی بر حل مشکلات مدارس ابتدایی متمرکز شده است، اما سیستم های هوش مصنوعی پیشرفته هنوز به طور کامل به این چالش رسیدگی نکرده اند. کالینز می‌گوید برخی از مدل‌های هوش مصنوعی در مسائل ریاضی بسیار ساده شکست می‌خورند، اما پس از آن می‌توانند در مسائل بسیار سخت برتری پیدا کنند. به عنوان مثال، OpenAI ابزارهای اختصاصی ایجاد کرده است که می تواند مشکلات چالش برانگیز مطرح شده در مسابقات را برای دانش آموزان برتر ریاضی دبیرستان حل کند، اما این سیستم ها فقط گاهی از انسان ها بهتر عمل می کنند.

با این وجود، ساختن یک سیستم هوش مصنوعی که بتواند معادلات ریاضی را حل کند، پیشرفت جالبی است، اگر واقعا Q* بتواند این کار را انجام دهد. برای مثال، درک عمیق‌تر ریاضیات می‌تواند کاربردهایی را برای کمک به تحقیقات علمی و مهندسی باز کند. توانایی تولید پاسخ‌های ریاضی می‌تواند به ما کمک کند تا یادگیری شخصی بهتری را توسعه دهیم، یا به ریاضیدانان کمک کند جبر را سریع‌تر انجام دهند یا مسائل پیچیده‌تری را حل کنند.

همچنین این اولین بار نیست که یک مدل جدید AGI سر و صدا به پا می کند. همین سال گذشته، افراد فناوری درباره گاتو گوگل دیپ‌مایند، یک مدل هوش مصنوعی «عمومی» که می‌تواند بازی‌های ویدیویی آتاری، تصاویر زیرنویس، چت و بلوک‌ها را با بازوی ربات واقعی بازی کند، همین را می‌گفتند. در آن زمان، برخی از محققان هوش مصنوعی ادعا کردند که DeepMind به دلیل توانایی گاتو در انجام وظایف مختلف به خوبی در آستانه AGI قرار دارد. دستگاه هایپ مشابه، آزمایشگاه هوش مصنوعی متفاوت.

و در حالی که روابط عمومی ممکن است عالی باشد، این چرخه های تبلیغاتی با منحرف کردن حواس مردم از مشکلات واقعی و ملموس پیرامون هوش مصنوعی، بیشتر به کل این حوزه آسیب می رساند تا فایده. شایعات

بخش فناوری بیزار از عمل برای مثال اتحادیه اروپا به نهایی کردن قانون هوش مصنوعی خود بسیار نزدیک است. یکی از بزرگترین دعواها در حال حاضر بین قانونگذاران این است که آیا به شرکت های فناوری قدرت بیشتری برای تنظیم مدل های پیشرفته هوش مصنوعی داده شود یا خیر.

هیئت مدیره OpenAI به عنوان سوئیچ کشتن داخلی و مکانیزم حاکمیتی این شرکت برای جلوگیری از راه اندازی فناوری های مضر طراحی شده است. درام اتاق هیئت مدیره هفته گذشته نشان داد که نتیجه همیشه در این شرکت ها غالب خواهد بود. همچنین بررسی اینکه چرا باید به آنها در مورد خودتنظیمی اعتماد کرد، دشوارتر خواهد شد. قانونگذاران توجه داشته باشید