En apprendre davantage sur la Generative AI et les symboles AAC

Les complexités de la création de symboles pour la communication et la façon dont ils soutiennent le langage parlé et écrit n’ont jamais été simples. Les idées autour de la devinabilité ou de l’iconicité et de la transparence pour aider l’apprentissage ou la mémorisation ne sont qu’un côté de la médaille en matière de conception. Il y a aussi les questions de style, de taille, de type de contours et de couleur, parmi de nombreuses autres questions de conception qui doivent être soigneusement considérées, et l’ensemble du schéma ou des règles qui existent pour un jeu de symboles AAC particulier. Ce sont des aspects rarement discutés en détail, sauf par ceux qui développent les images.

Cependant, lorsqu’on essaie de travailler avec des algorithmes informatiques pour faire des adaptations d’une image à une autre, un point de départ peut être la reconnaissance image vers texte afin de découvrir dans quelle mesure des données d’entraînement bien choisies fonctionneront. Il est possible de voir si les systèmes peuvent gérer l’absence de fond et d’autres détails qui aident normalement à donner un contexte aux images, mais qui manquent souvent dans les jeux de symboles AAC. L’ordinateur n’a aucun moyen de savoir si un animal est un loup ou un chien, sauf s’il y a des éléments supplémentaires, comme un collier ou un environnement naturel sauvage autour de l’animal, comme une forêt, par rapport à une pièce d’une maison. S’il est possible de fournir une forme de texte alternatif comme description visuelle, pas sans rapport avec celle utilisée par les utilisateurs de lecteurs d’écran lorsqu’ils consultent des images sur des pages web, les données d’entraînement fournies peuvent alors fonctionner pour une situation image vers image.

Il reste le besoin de rassembler assez de données pour permettre aux systèmes AI d’essayer de prédire ce que vous voulez. Les systèmes utilisés par Stable Diffusion et DALL-E 2 ont parcouru le web pour des masses d’images dans divers styles, mais ils ne semblent pas avoir saisi les jeux de symboles AAC ! Il y a aussi le cas que chaque catégorie thématique de symboles au sein du jeu tend à avoir des styles différents même si les contours et certaines couleurs peuvent être similaires, et les humains sont généralement capables de reconnaître des similitudes au sein d’un jeu de symboles qui ne peuvent pas nécessairement être capturées par le modèle AI développé. Davantage d’ajustements seront toujours nécessaires, ainsi que davantage d’entraînement de données, à mesure que les résultats sont évalués.

L’image ci-dessus compare des groupes de symboles des jeux ARASAAC, Mulberry, Sclera et Blissymbolics.

L’autre problème est que la plupart des systèmes d’artificial intelligence (AI) générative utilisant quelque chose comme Stable Diffusion et DALL-E 2 sont conçus pour fournir des images uniques dans un style choisi, même lorsque vous saisissez la même invite textuelle. Par conséquent, chaque résultat sera différent de votre première ou deuxième tentative. En d’autres termes, il y a très peu de cohérence dans la façon dont les détails de l’image peuvent être assemblés, sauf que l’ensemble donnera l’impression d’avoir un certain style. Donc si vous indiquez dans la zone d’invite textuelle que vous voulez "Une enseignante devant un tableau blanc avec une équation mathématique", le système peut générer autant d’images que vous voulez, mais aucune ne sera exactement la même.

Créé avec DALL-E 2

Néanmoins, Chaohai Ding a réussi à créer des exemples de symboles AAC Mulberry générés par AI en utilisant Stable Diffusion avec l’ajout de Dreambooth qui utilise un nombre minimal d’images dans un style plus cohérent. Il reste plusieurs options disponibles à partir de la même invite textuelle, mais le 'look and feel' de ces images générées automatiquement nous donne envie de continuer à travailler avec ces idées afin de soutenir l’idée d’adaptations personnalisées de symboles AAC.

Dans le style de la catégorie des professions du jeu Mulberry Symbol, ces trois images avaient l’invite textuelle de pilote de course, ami et astronaute.

Nous tenons à remercier Steve Lee de nous avoir permis d’utiliser le jeu Mulberry Symbol sur Global Symbols et le University of Southampton Web Science Institute Stimulus Fund de nous avoir donné la chance de collaborer sur ce projet avec l’équipe du Professor Mike Wald.