Текст към изображение AI е създал свой собствен таен език, твърди изследовател

Ето нещо успокояващо да помислите: изследователите, използващи изкуствен интелект (AI) с машинно обучение, често не знаят как точно техните алгоритми решават проблемите, с които са натоварени.

Вземете например AI, който може идентифицират расата от рентгеновите лъчи където никой човек не може да види как, или AI във Facebook започва да развива свой собствен език. Присъединяването към тях може да бъде любимият генератор на текст към изображение, DALLE-2.

Докторантът по компютърни науки Джанис Дарас забеляза, че системата DALLE-2, която създава изображения въз основа на подкана за въвеждане на текст, при определени обстоятелства ще върне безсмислени думи като текст.

„Известно ограничение на DALLE-2 е, че се бори с текста“, пише той в статия публикуван на сървъра за предпечат Arxiv. „Например, текстови подкани като: „Изображение на думата самолет“ често водят до генерирани изображения, които изобразяват безсмислен текст.“

“Откриваме, че този произведен текст не е случаен, а по-скоро разкрива скрит речник, който моделът изглежда е разработил вътрешно. Например, когато се захранва с този безсмислен текст, моделът често произвежда самолети.”

В една илюстрация, публикувана в Twitter, Дарас обяснява, че когато бъде помолен да субтитрира разговор между двама фермери, той показва, че говорят, но балончетата са пълни с нещо, което изглежда като пълна глупост.

Въпреки това, на Дарас му хрумна мисълта да върне тези глупости в системата, за да види дали ИИ им е присвоил собствените си значения. Когато направил това, той установил, че думите изглежда имат собствено значение за ИИ: фермерите говорят за зеленчуци и птици.

Ако Дарас е прав, той вярва, че това би имало последици за сигурността на генератора на текст към изображение.

„Първият проблем със сигурността е свързан с използването на тези безсмислени подкани като съревнователни атаки на задната врата или начини за заобикаляне на филтъра“, пише той в своя документ. „Понастоящем системите за обработка на естествен език филтрират текстовите подкани, които нарушават правилата на политиката, и безсмислените подкани могат да се използват за заобикаляне на тези филтри.“

„По-важното е, че абсурдните подсказки, които постоянно генерират изображения, предизвикват нашето доверие в тези големи генеративни модели.“

Въпреки това – въпреки че е показано, че други алгоритми създават свои собствени езици – тази статия все още не е рецензирана и други изследователи поставят под въпрос твърденията на Дарас. Анализаторът Бенджамин Хилтън помоли генератора да покаже два кита, които говорят за храна, със субтитри. След като първите няколко резултата не върнаха дешифрируем текст, без значение или не, той продължи, докато не го направи.

— Какво си мисля аз? Хилтън написа в Twitter. „„Evve waeles“ е или глупост, или изкривяване на думата „китове“. Джанис извади късмет, когато неговите китове казаха „Wa ch zod rea“ и това се случи да генерира снимки на храна.“

Освен това добавянето на други фрази като „3D изобразяване“ към други фрази дава различни резултати, което предполага, че те не означават постоянно едно и също нещо.

Може да се окаже, че езикът е по-скоро по линия на шума, поне в някои случаи. Ще знаем повече, когато статията бъде рецензирана, но все още може да се случи нещо, за което не знаем.

Хилтън добави, че фразата „Apoploe vesrreaitais“ връща изображения на птици всеки път, „така че със сигурност има нещо в това“.