AIs will be useless if they learn from other AIs

TRAINING artificialintelligences using text and images fromother AIs,whichhave also beentrained onAI outputs,may eventually make themfunctionallyuseless. AIs suchasChatGPT, known as large languagemodels (LLMs), use vast repositories ofhumanwrittentextfromthe internet to create a statisticalmodel of humanlanguage. This allows themto predictwhichwords aremostlikely to comenextina sentence. Since LLMshave been available,the internethas become awashwithAI-generated text, butthe effectthiswillhave on futureAIs isunclear. Ilia Shumailov atthe University of Oxford andhis colleagues simulatedhowAImodelswould develop iftheywere trainedusing the outputs of otherAIs. They found thatthemodelswould becomeheavily biased, overly simplistic and disconnected fromreality – a problemthey callmodel collapse. The study suggests this failure happens because oftheway that AImodels statistically represent text.AnAIthat sees a phrase or sentencemany timeswill be likely to repeatthis phrase inan output, and less likely to produce something ithas rarely seen. Whennewmodels are then trained ontextfromotherAIs, they see only a smallfractionof the originalAI’s possible outputs. This subsetisunlikely to contain rarer outputs and so thenewAI won’tfactor theminto its own possible outputs. Them odel also has noway of telling whether the AI-generated textit sees corresponds to reality, which could introduce even more misinformation than currentmodels,the study found (arXiv, doi.org/kfpw). Alack of sufficiently diverse training data may be compounded by deficiencies in the models themselves and the way they are trained,whichdon’t always perfectly represent the-underlying data in the first place. Shumailov andhis teamshowed thatthis results inmodel collapse for a variety of different AI models. “As this process is repeating, ultimately we are converging into this state of madness where it’s just errors, errors and errors, and the magnitude of errors are much-higher than anything else,” says Shumailov. How quickly this process happens depends on the amount ofAI-generated content in an AI’s training data and what kind of modelituses, but all models exposed toAI data do collapse eventually,the team found. The only way to get around this would be to label and exclude theAI-generated outputs, says Shumailov.Butthis is impossible to do reliably,unless you own interfaces enter text, suchas Google searchor OpenAI’sChatGPT – a dynamic that could entrench the financial and computational advantages of big tech-companies. Some of the errors might be mitigated by instructing AIs to give preference to training data from before AI content flooded the web, says VinuSadasivanat the University of Maryland. It is also possible that humans will editAI content before posting it to the internet, says Florian Tramèr at the Swiss Federal Institute of Technology IN Zurich, which might lessen the problem. 

اگر هوش مصنوعی از سایر هوش مصنوعی ها یاد بگیرند بی فایده خواهند بود

آموزش هوش مصنوعی با استفاده از متن و تصاویر سایر ها، که در خروجی های AI نیز آموزش دیده اند، ممکن است در نهایت آنها را از نظر عملکردی بی استفاده کند. هوش مصنوعی‌هایی مانند ChatGPT که به عنوان مدل‌های زبانی بزرگ (LLM) شناخته می‌شوند، از مخازن وسیعی از متن نوشتاری انسانی از اینترنت برای ایجاد یک مدل آماری از زبان انسان استفاده می‌کنند. این به آن‌ها اجازه می‌دهد تا پیش‌بینی کنند که کدام واژه‌ها به احتمال زیاد عبارت‌اند از. از زمانی که LLMshave در دسترس است، اینترنت پر از متن تولید شده توسط AI شده است، اما تأثیر آن بر هوش مصنوعی های آینده نامشخص است. ایلیا شومیلوف در دانشگاه آکسفورد و همکارانش شبیه سازی کردند که اگر مدل ها با استفاده از خروجی های هوش مصنوعی دیگر آموزش ببینند، چگونه توسعه می یابند. آنها دریافتند که این مدل‌ها به شدت مغرضانه، بیش از حد ساده‌گرایانه و جدا از واقعیت می‌شوند - مشکلی که آن‌ها آن را فروپاشی مدل می‌نامند. این مطالعه نشان می‌دهد که این شکست به این دلیل اتفاق می‌افتد که مدل‌های AI از نظر آماری متن را نشان می‌دهند. اگر یک عبارت یا جمله را بارها ببیند، احتمالاً این عبارت را در خروجی تکرار می‌کند، و احتمال کمتری دارد که چیزی را تولید کند که به ندرت دیده می‌شود. هنگامی که مدل‌های جدید بر روی متن‌های هوش مصنوعی مادر آموزش داده می‌شوند، تنها بخش کوچکی از خروجی‌های احتمالی هوش مصنوعی اصلی را می‌بینند. این زیرمجموعه احتمالاً حاوی خروجی‌های کمیاب‌تر است و بنابراین AI آن‌ها را در خروجی‌های احتمالی خودش فاکتور نمی‌کند. آنها همچنین به هیچ وجه نمی توانند تشخیص دهند که متن تولید شده توسط هوش مصنوعی با واقعیت مطابقت دارد یا خیر، که می تواند اطلاعات نادرست بیشتری را نسبت به مدل های فعلی ایجاد کند (arXiv, doi.org/kfpw). فقدان داده‌های آموزشی به اندازه کافی متنوع ممکن است با کمبودهای خود مدل‌ها و نحوه آموزش آن‌ها همراه شود، که در وهله اول همیشه داده‌های اساسی را کاملاً نشان نمی‌دهند. Shumailov و تیم او نشان دادند که این باعث فروپاشی مدل برای انواع مدل‌های مختلف هوش مصنوعی می‌شود. شومیلوف می‌گوید: «از آنجایی که این فرآیند در حال تکرار است، در نهایت ما به این حالت جنون نزدیک می‌شویم که در آن فقط خطاها، خطاها و خطاها وجود دارد، و بزرگی خطاها بسیار بیشتر از هر چیز دیگری است. این تیم چقدر سریع اتفاق می‌افتد به میزان محتوای تولید شده توسط هوش مصنوعی در داده‌های آموزشی هوش مصنوعی و نوع مدل‌سازی بستگی دارد، اما همه مدل‌هایی که در معرض داده‌های هوش مصنوعی قرار می‌گیرند در نهایت از بین می‌روند. شومیلوف می‌گوید تنها راه برای دور زدن این موضوع برچسب‌گذاری و حذف خروجی‌های تولید شده توسط هوش مصنوعی است. اما انجام این کار به‌طور قابل اعتماد غیرممکن است، مگر اینکه شما دارای رابط‌هایی باشید که متن را وارد کنید، مانند جستجوگر Google OpenAI'sChatGPT - پویایی که می‌تواند باعث تثبیت مالی و اقتصادی شود. مزایای محاسباتی شرکت های بزرگ فناوری VinuSadasivanat از دانشگاه مریلند می‌گوید برخی از خطاها ممکن است با دستور دادن به هوش مصنوعی برای اولویت دادن به داده‌های آموزشی از قبل از هجوم محتوای AI به وب کاهش یابد. فلوریان ترامر در موسسه فناوری فدرال سوئیس در زوریخ می‌گوید: همچنین ممکن است انسان‌ها محتوای هوش مصنوعی را قبل از ارسال آن به اینترنت ویرایش کنند، که ممکن است این مشکل را کاهش دهد.