Mehr über Generative KI und AAC-Symbole lernen

Die Komplexitäten der Erstellung von Symbolen für Kommunikation und die Art und Weise, wie sie funktionieren, um gesprochene und geschriebene Sprache zu unterstützen, waren nie einfach. Ideen rund um Erratbarkeit oder Ikonizität und Transparenz, um Lernen oder Erinnern zu unterstützen, sind nur eine Seite der Medaille in Bezug auf Design. Es gibt auch Fragen rund um Stil, Größe, Art der Umrisse und Farbe unter vielen anderen Designproblemen, die sorgfältig berücksichtigt werden müssen, und das gesamte Schema oder die Reihe von Regeln, die für einen bestimmten AAC-Symbolsatz existieren. Dies sind Aspekte, die selten im Detail diskutiert werden, außer von denen, die die Bilder entwickeln.

Wenn man jedoch versucht, mit Computeralgorithmen zu arbeiten, um Anpassungen von einem Bild zum anderen vorzunehmen, kann ein Ausgangspunkt Bild-zu-Text-Erkennung sein, um zu entdecken, wie gut gewählte Trainingsdaten funktionieren werden. Es ist möglich zu sehen, ob die Systeme mit dem Mangel an Hintergrund und anderen Details umgehen können, die normalerweise helfen, Bildern Kontext zu geben, aber oft in AAC-Symbolsätzen fehlen. Der Computer hat keine Möglichkeit zu wissen, ob ein Tier ein Wolf oder ein Hund ist, es sei denn, es gibt zusätzliche Elemente, wie ein Halsband oder ein wildes natürliches Gebiet um das Tier herum, wie ein Wald im Vergleich zu einem Raum in einem Haus. Wenn es möglich ist, eine Form von Alternativtext als visuelle Beschreibung bereitzustellen, nicht unähnlich der, die von Screenreader-Benutzern verwendet wird, wenn sie Bilder auf Webseiten betrachten, können die bereitgestellten Trainingsdaten dann für eine Bild-zu-Bild-Situation funktionieren.

Es bleibt die Notwendigkeit, genügend Daten zu sammeln, um den KI-Systemen zu ermöglichen, vorherzusagen, was Sie wollen. Die von Stable Diffusion und DALL-E 2 verwendeten Systeme haben das Web nach Massen von Bildern in verschiedenen Stilen durchsucht, aber sie scheinen nicht auf AAC-Symbolsätze gestoßen zu sein! Es gibt auch den Fall, dass jede Symbolthemenkategorie innerhalb des Symbolsatzes tendenziell unterschiedliche Stile hat, obwohl die Umrisse und einige Farben ähnlich sein mögen, und Menschen sind im Allgemeinen in der Lage, Ähnlichkeiten innerhalb eines Symbolsatzes zu erkennen, die nicht unbedingt vom entwickelten KI-Modell erfasst werden können. Mehr Anpassungen werden immer zusammen mit mehr Datentraining benötigt, während die Ergebnisse bewertet werden.

Das obige Bild vergleicht Gruppen von Symbolen aus den ARASAAC, Mulberry, Sclera und Blissymbolics Sets.

Das andere Problem ist, dass die meisten generativen künstlichen Intelligenz (KI) Systeme, die etwas wie Stable Diffusion und DALL-E 2 verwenden, darauf ausgelegt sind, einzigartige Bilder in einem gewählten Stil bereitzustellen, auch wenn Sie denselben Texteingabeaufforderung eingeben. Daher wird jedes Ergebnis anders aussehen als Ihr erster oder zweiter Versuch. Mit anderen Worten, es gibt sehr wenig Konsistenz darin, wie die Details des Bildes zusammengesetzt werden können, außer dass die Übersicht so aussehen wird, als hätte sie einen bestimmten Stil. Wenn Sie also in das Texteingabeaufforderungs-Bearbeitungsfeld eingeben, dass Sie "Eine weibliche Lehrerin vor einem Whiteboard mit einer Mathegleichung" wollen, kann das System so viele Bilder generieren, wie Sie wollen, aber keines wird genau dasselbe sein.

Erstellt mit DALL-E 2

Dennoch hat Chaohai Ding es geschafft, Beispiele für KI-generierte Mulberry AAC-Symbole zu erstellen, indem er Stable Diffusion mit dem Zusatz von Dreambooth verwendet, das eine minimale Anzahl von Bildern in einem konsistenteren Stil verwendet. Es gibt immer noch mehrere Optionen, die aus derselben Texteingabeaufforderung verfügbar sind, aber das "Look and Feel" dieser automatisch generierten Bilder macht uns Lust, weiter mit diesen Ideen zu arbeiten, um die Idee personalisierter AAC-Symbolanpassungen zu unterstützen.

Im Stil der Berufskategorie im Mulberry-Symbolset hatten diese drei Bilder die Texteingabeaufforderung Rennfahrer, Freund und Astronaut.

Wir möchten Steve Lee dafür danken, dass er uns erlaubt hat, das Mulberry-Symbolset auf Global Symbols zu verwenden, und dem University of Southampton Web Science Institute Stimulus Fund dafür, dass er uns die Chance gegeben hat, an diesem Projekt mit Professor Mike Walds Team zusammenzuarbeiten.