Многие компании по всему миру активно используют технологию генеративного ИИ (GPT, Stable Diffusion, Midjourney и так далее) для работы, создания контента и продукции. Данные, на основе которых искусственный интеллект генерирует новые тексты или изображения, были созданы людьми, но с ростом числа ИИ появится все больше контента, созданного самими машинами.
Что случится, когда генеративные модели станут обучаться на материалах, созданных их собратьями? На этот вопрос ответ ответили исследователи из Великобритании и Канады.
Проанализировав проблему, ученые пришли к выводу: «Обучение на основе данных, созданных другими моделями, вызовет коллапс моделей — процесс вырождения, при котором со временем модели забудут настоящее распределение данных. <…> Этот процесс неизбежен даже в случаях с почти идеальными условиями для долгосрочного обучения».
То есть постепенно ошибки в моделях будут накапливаться и станут воспринимать реальность все менее адекватно. Например, модель обучили на наборе данных из 100 котов: десять из них были с голубой шерстью, 90 — с рыжей. Модель понимает, что рыжие коты встречаются чаще, но также представляет голубых котов более желтоватыми, выдавая иногда результаты с зелеными котами, когда ее просят создать новые данные.
Со временем оригинальная черта — голубой мех — «выветривается» в повторяющихся циклах: от голубого к зеленому, от зеленого к желтому. Это постепенное растворение и потеря минорных характеристик и есть коллапс модели.
Есть ли возможность избежать краха? Авторы исследования предложили несколько решений этой проблемы, среди них — сохранение копии оригинального набора данных, созданного исключительно или номинально человеком, и избегание загрязнения данными, сгенерированными ИИ. А также введение в обучение ИИ новых, чистых, сгенерированных человеком наборов данных.
= = =
Вот, например, как выглядят, по мнению ИИ, радиолюбители на Полевом дне:
Попав в интернет, эта картинка, сгенерированная ИИ, попала в базу данных. В следующий раз, когда ИИ обратится к базе, он будет уверен, что радиолюбители на Полевом дне обычно так и выглядят – седобородые пожилые люди с планшетами, в окружении чего-то напоминающего вышки сотовой связи. Дальше - больше, сложно даже представить, какими мы станем в представлении ИИ через некоторое время :)
Да очень похоже ) Седые (не обязательно седобородые) пожилые люди с планшетами и ноутами, в окружении чего-то, напоминающего вышки сотовой связи - не только для AI, но и для обычного обывателя это так ) Ну, может ещё с бутылками )
ОтветитьУдалитьНу, не поспоришь.. :)
ОтветитьУдалить