Навлизане в света на AI, разпознаване на икони, човешко възприятие и AAC символи.

През последните няколко месеца изследвахме как непоследователността може да възпре автоматичното разпознаване на изображения след предварителна обработка и абстракция на характеристики, но появата на Stable Diffusion като модел за дълбоко обучение ни позволява да включим визуални текстови описания на изображения заедно с процеси за разпознаване от изображение към изображение, за да подкрепим нашите идеи за разпознаване и създаване от символ към символ.

Stable Diffusion - "Входното изображение вляво може да произведе няколко нови изображения (вдясно). Този нов модел може да се използва за синтез от изображение към изображение, запазващ структурата, и синтез на изображения, условен от формата." https://stability.ai/blog/stable-diffusion-v2-release

Освен това, с помощта на професор Ирен Репа и нейния проект екип, изследващ "Разработване на достъпен, разнообразен и инклюзивен дигитален визуален език", открихме много припокривания в работата, която те правят със стандартизация на икони. Работейки заедно, може да можем да адаптираме нашите оригинални критерии за гласуване, за да предоставим по-гранулиран подход за осигуряване, че автоматично генерираните AAC символи в стила на определен комплект символи позволяват "догадка" (прозрачност) и лекота на учене, като също ги прави привлекателни въз основа на много по-инклюзивен набор от критерии. Последните са използвани от много повече оценяващи през последните 8 години, както се споменава в този блог "Когато става трудно, красивите продължават напред."

Едно важно откритие от предишните изследвания на проф. Репа беше, че когато "иконите бяха сложни, абстрактни или непознати, имаше ясно предимство за по-естетически привлекателните цели. За разлика, когато иконите бяха визуално прости, конкретни или познати, естетическата привлекателност вече нямаше значение." Изследователският екип сега разглежда още повече атрибути, като последователност, сложност и абстрактност, за да илюстрира защо и как визуалното възприятие на иконите се променя в групи и в различни ситуации или среди.

В миналото използвахме проста система за гласуване с пет критерия, използвайки скала на Ликерт с опция за коментар върху символа, и оценяващите са били опитни AAC потребители или тези, работещи в областта (които са малко на брой). При предишни случаи на проучване на символи обикновено е било възприятието на отделния оценяващ на символа, както се вижда в текстов коментар, което предостави най-добрата информация. Но коментарите са били малко на брой и когортите не са непременно представителни за по-широка популация от комуникатори.

Няма съмнение в ума ми, че трябва да продължим да изследваме начини за подобряване на техниките ни за оценка, като научим повече от изследванията, базирани на икони, докато сме наясно с различните нужди на AAC потребителите, където символите може да имат по-абстрактно представяне на концепция. Този процес може също да ни помогне по-добре да категоризираме нашите символи в хранилището Global Symbols, за да помогнем на текстово базираните и визуални търсения за тези, които разработват комуникационни графики, дъски и книги на хартия, както и свързване към хранилището чрез AAC приложения като PiCom и Cboard.