Научаване на повече за генеративен AI и AAC символи

Сложността на създаването на символи за комуникация и начинът, по който работят, за да подкрепят говорения и писмен език, никога не е бил лесен. Идеите около догадката или иконичността и прозрачността, за да се помогне на ученето или запомнянето, са само едната страна на монетата от гледна точка на дизайна. Има и въпроси около стил, размер, тип контури и цвят, сред много други дизайнерски проблеми, които трябва внимателно да се обмислят, и цялата схема или набор от правила, които съществуват за определен AAC комплект символи. Това са аспекти, които рядко се обсъждат подробно, освен от тези, които разработват изображенията.

Въпреки това, когато се опитвате да работите с компютърни алгоритми, за да правите адаптации от едно изображение към друго, начална точка може да бъде разпознаването на изображение към текст, за да се открие колко добре избраните данни за обучение ще работят. Възможно е да се види дали системите могат да се справят с липсата на фон и други детайли, които обикновено помагат да се даде контекст на изображенията, но често липсват в AAC комплекти символи. Компютърът няма начин да знае дали животно е вълк или куче, освен ако няма допълнителни елементи, като нашийник или дива природна зона около животното, като гора в сравнение с стая в къща. Ако е възможно да се предостави форма на алтернативен текст като визуално описание, не различно от използваното от потребителите на екранни четци при преглеждане на изображения в уеб страници, предоставените данни за обучение може тогава да работят за ситуация от изображение към изображение.

Остава нуждата да се съберат достатъчно данни, за да позволят на AI системите да опитат да предскажат какво точно искате. Системите, използвани от Stable Diffusion и DALL-E 2, са събрали уеб за масиви от изображения в различни стилове, но изглежда не са подбрали AAC комплекти символи! Също така е фактът, че всяка категория теми на символи в комплекта символи склонна да има различни стилове, въпреки че контурите и някои цветове може да са подобни, и хората обикновено са способни да разпознават прилики в комплект символи, които не могат непременно да бъдат уловени от разработения AI модел. Винаги ще се нуждаят от повече настройки заедно с повече данни за обучение, докато резултатите се оценяват.

Изображението по-горе сравнява групи от символи от комплектите ARASAAC, Mulberry, Sclera и Blissymbolics.

Другият проблем е, че повечето генеративни изкуствен интелект (AI) системи, използващи нещо като Stable Diffusion и DALL-E 2, са проектирани да предоставят уникални изображения в избран стил, дори когато въведете същата текстова подсказка. Следователно всеки резултат ще изглежда различно от вашия първи или втори опит. С други думи, има много малко последователност в това как детайлите на картината могат да се съберат, освен че общият преглед ще изглежда сякаш има определен стил. Така че, ако поставите в полето за редактиране на текстова подсказка, че искате "Женски учител пред бяла дъска с математическо уравнение", системата може да генерира колкото изображения искате, но никое няма да бъде точно същото.

Създадено чрез DALL-E 2

Въпреки това, Чаохай Динг успя да създаде примери за AI генерирани символи Mulberry AAC чрез използване на Stable Diffusion с добавянето на Dreambooth, който използва минимален брой изображения в по-последователен стил. Все още има множество опции, достъпни от същата текстова подсказка, но "външният вид и усещането" на тези автоматично генерирани изображения ни карат да искаме да продължим да работим с тези идеи, за да подкрепим идеята за персонализирани AAC адаптации на символи.

В стила на категорията професии в комплекта символи Mulberry тези три изображения имаха текстова подсказка на състезателен пилот, приятел и астронавт.

Бихме искали да благодарим на Стив Лий, че ни позволи да използваме комплекта символи Mulberry в Global Symbols и Института за уеб науки на Университета в Саутхемптън Stimulus Fund, че ни даде възможността да сътрудничим по този проект с екипа на професор Майк Уолд.