Entrer dans le monde de l'IA, reconnaissance d'icônes, perception humaine et symboles AAC.

Au cours des derniers mois nous avons recherché comment l'incohérence peut entraver la reconnaissance d'image automatisée après pré-traitement et abstraction de caractéristiques, mais l'avènement de Stable Diffusion comme modèle d'apprentissage profond nous permet d'inclure des descriptions textuelles d'images visuelles aux côtés des processus de reconnaissance image à image pour soutenir nos idées de reconnaissance et création symbole à symbole.

Stable Diffusion - "L'image d'entrée à gauche peut produire plusieurs nouvelles images (à droite). Ce nouveau modèle peut être utilisé pour la synthèse image-à-image préservant la structure et la synthèse image conditionnée par la forme." https://stability.ai/blog/stable-diffusion-v2-release

De plus, avec l'aide du professeur Irene Reppa et son équipe de projet recherchant “Le développement d'un langage visuel numérique accessible, divers et inclusif” nous avons découvert beaucoup de chevauchements dans le travail qu'ils font avec la standardisation d'icônes. Travaillant ensemble nous pouvons être capables d'adapter nos critères de vote originaux pour fournir une approche plus granulaire pour assurer que les symboles AAC générés automatiquement dans le style d'un ensemble particulier de symboles permettent la ‘devinabilité’ (transparence) et facilité d'apprentissage tout en les rendant attrayants basés sur un ensemble beaucoup plus inclusif de critères. Ces derniers ont été utilisés par beaucoup plus d'évaluateurs au cours des 8 dernières années comme mentionné dans ce blog “Quand ça devient difficile les beaux avancent.”

Une découverte importante des recherches précédentes du professeur Reppa était que quand “les icônes étaient complexes, abstraites, ou inconnues, il y avait un avantage clair pour les cibles plus esthétiquement attrayantes. Par contraste, quand les icônes étaient visuellement simples, concrètes, ou familières, l'attrait esthétique n'avait plus d'importance.” L'équipe de recherche regarde maintenant encore plus d'attributs, tels que cohérence, complexité et abstraction, pour illustrer pourquoi et comment la perception visuelle des icônes change dans les groupes et dans différentes situations ou environnements. 

Dans le passé nous avons utilisé un système de vote simple avec cinq critères utilisant une échelle Likert avec une option de commenter le symbole et les évaluateurs ont été des utilisateurs AAC expérimentés ou ceux travaillant dans le domaine (qui est petit en nombre). Lors d'occasions d'enquête de symboles précédentes c'était habituellement la perception individuelle de l'évaluateur du symbole, comme vu dans un commentaire textuel, qui fournissait les meilleures informations. Mais, les commentaires ont été petits en nombre et les cohortes pas nécessairement représentatives d'une population plus large de communicateurs.

Il n'y a aucun doute dans mon esprit que nous devons continuer à explorer des moyens d'améliorer nos techniques d'évaluation en apprenant plus de la recherche basée sur les icônes, tout en étant conscients des besoins différents des utilisateurs AAC, où les symboles peuvent avoir une représentation plus abstraite d'un concept. Ce processus peut aussi nous aider à mieux catégoriser nos symboles dans le dépôt Global Symbols pour aider les recherches basées sur le texte et visuelles pour ceux développant des tableaux de communication papier, cartes et livres ainsi que liant au dépôt à travers des apps AAC telles que PiCom et Cboard.