Apprendre plus sur l'IA générative et les symboles AAC

Les complexités de créer des symboles pour la communication et la façon dont ils fonctionnent pour soutenir le langage parlé et écrit n'ont jamais été faciles. Les idées autour de la devinabilité ou iconicité et transparence pour aider l'apprentissage ou le souvenir sont juste un côté de la pièce en termes de conception. Il y a aussi les questions autour du style, taille, type de contours et couleur parmi beaucoup d'autres problèmes de conception qui doivent être soigneusement considérés et le schéma entier ou ensemble de règles qui existe pour un ensemble particulier de symboles AAC. Ces aspects sont rarement discutés en détail autre que par ceux développant les images.

Cependant, quand essayant de travailler avec des algorithmes informatiques pour faire des adaptations d'une image à une autre un point de départ peut être la reconnaissance image à texte afin de découvrir à quel point les données d'entraînement choisies vont fonctionner. Il est possible de voir si les systèmes peuvent traiter le manque d'arrière-plan et d'autres détails qui aident normalement à donner du contexte aux images, mais sont souvent manquants dans les ensembles de symboles AAC. L'ordinateur n'a aucun moyen de savoir si un animal est un loup ou chien à moins qu'il y ait des éléments supplémentaires, tels qu'un collier ou une zone naturelle sauvage autour de l'animal comme une forêt comparée à une pièce dans une maison. Si il est possible de fournir une forme de texte alternatif comme description visuelle, pas dissimilar à celui utilisé par les utilisateurs de lecteur d'écran quand visualisant des images sur des pages web, les données d'entraînement fournies peuvent alors fonctionner pour une situation image à image.

Il reste le besoin de rassembler assez de données pour permettre aux systèmes IA d'essayer de prédire ce que vous voulez. Les systèmes utilisés par Stable Diffusion et DALL-E 2 ont gratté le web pour des masses d'images dans divers styles, mais ils ne semblent pas avoir ramassé sur les ensembles de symboles AAC ! Il y a aussi le cas que chaque catégorie de sujet de symbole dans l'ensemble de symboles tend à avoir différents styles même si les contours et certaines couleurs peuvent être similaires et les humains sont généralement capables de reconnaître des similarités dans un ensemble de symboles qui ne peuvent pas nécessairement être capturées par le modèle IA qui a été développé. Plus d'ajustements seront toujours nécessaires avec plus de données d'entraînement car les résultats sont évalués.

L'image ci-dessus compare des groupes de symboles des ensembles ARASAAC, Mulberry, Sclera et Blissymbolics.

L'autre problème est que la plupart des systèmes d'intelligence artificielle générative (IA) utilisant quelque chose comme Stable Diffusion et DALL-E 2 sont conçus pour fournir des images uniques dans un style choisi, même quand vous entrez la même invite textuelle. Par conséquent chaque résultat regardera différent de votre première ou deuxième tentative. En d'autres mots il y a très peu de cohérence dans comment les détails de l'image peuvent être mis ensemble autre que l'aperçu regardera comme s'il a un certain style. Donc si vous mettez dans la boîte d'invite textuelle que vous voulez "Une enseignante féminine devant un tableau blanc avec une équation mathématique", le système peut générer autant d'images que vous voulez, mais aucune ne sera exactement la même.

Créé utilisant DALL-E 2

Néanmoins, Chaohai Ding a réussi à créer des exemples de symboles AAC Mulberry générés par IA en utilisant Stable Diffusion avec l'ajout de Dreambooth qui utilise un nombre minimal d'images dans un style plus cohérent. Il y a encore des options multiples disponibles de la même invite textuelle, mais le 'look and feel' de ces images automatiquement générées nous fait vouloir continuer à travailler avec ces idées afin de soutenir l'idée d'adaptations de symboles AAC personnalisées.

Dans le style de la catégorie professions dans l'ensemble de symboles Mulberry ces trois images avaient l'invite textuelle de pilote de course, ami et astronaute.

Nous aimerions remercier Steve Lee pour nous permettre d'utiliser l' ensemble de symboles Mulberry sur Global Symbols et le Fonds de stimulation de l'Institut des sciences web de l'Université de Southampton pour nous donner la chance de collaborer sur ce projet avec l'équipe du professeur Mike Wald.