Meer leren over Generatieve AI en AAC-symbolen

De complexiteit van het creëren van symbolen voor communicatie en de manier waarop ze werken om gesproken en geschreven taal te ondersteunen, is nooit gemakkelijk geweest. Ideeën rond raadbaarheid of iconiciteit en transparantie om leren of onthouden te helpen, zijn slechts één kant van de medaille in termen van ontwerp. Er zijn ook vragen rond stijl, grootte, type contouren en kleur onder vele andere ontwerpvraagstukken die zorgvuldig moeten worden overwogen en het hele schema of de set regels die bestaan voor een bepaalde AAC-symbolenset. Dit zijn aspecten die zelden in detail worden besproken, behalve door degenen die de afbeeldingen ontwikkelen.

Echter, bij het proberen te werken met computeralgoritmes om aanpassingen van één afbeelding naar een andere te maken, kan een startpunt beeld-naar-tekstherkenning zijn om te ontdekken hoe goed gekozen trainingsdata zal werken. Het is mogelijk om te zien of de systemen kunnen omgaan met het gebrek aan achtergrond en andere details die normaal helpen om afbeeldingen context te geven, maar vaak ontbreken in AAC-symbolensets. De computer heeft geen manier om te weten of een dier een wolf of hond is, tenzij er extra elementen zijn, zoals een halsband of een wild natuurlijk gebied rond het dier, zoals een bos vergeleken met een kamer in een huis. Als het mogelijk is om een vorm van alternatieve tekst te bieden als een visuele beschrijving, niet ongelijk aan die gebruikt door schermlezergebruikers bij het bekijken van afbeeldingen op webpagina's, kan de verstrekte trainingsdata dan werken voor een beeld-naar-beeld situatie.

Er blijft de behoefte om voldoende data te verzamelen om de AI-systemen te laten proberen te voorspellen wat je wilt. De systemen gebruikt doorStable DiffusionenDALL-E 2hebben het web geschraapt voor massa's afbeeldingen in verschillende stijlen, maar ze lijken geen AAC-symbolensets te hebben opgepikt! Er is ook het geval dat elke symboolonderwerpcategorie binnen de symbolenset de neiging heeft verschillende stijlen te hebben, ook al kunnen de contouren en sommige kleuren vergelijkbaar zijn, en mensen zijn over het algemeen in staat om overeenkomsten binnen een symbolenset te herkennen die niet noodzakelijkerwijs kunnen worden vastgelegd door het AI-model dat is ontwikkeld. Meer aanpassingen zullen altijd nodig zijn, samen met meer datatraining naarmate de resultaten worden geëvalueerd.

De afbeelding hierboven vergelijkt groepen symbolen van de ARASAAC, Mulberry, Sclera en Blissymbolics sets.

Het andere probleem is dat de meeste generatieve kunstmatige intelligentie (AI) systemen die iets gebruiken zoalsStable DiffusionenDALL-E 2zijn ontworpen om unieke afbeeldingen te bieden in een gekozen stijl, zelfs wanneer je dezelfde tekstprompt invoert. Daarom zal elk resultaat er anders uitzien dan je eerste of tweede poging. Met andere woorden, er is zeer weinig consistentie in hoe de details van de afbeelding kunnen worden samengesteld, behalve dat het overzicht eruit zal zien alsof het een bepaalde stijl heeft. Dus als je in het tekstpromptbewerkingsvak invoert dat je "Een vrouwelijke leraar voor een wit bord met een wiskundevergelijking" wilt, kan het systeem zoveel afbeeldingen genereren als je wilt, maar geen enkele zal precies hetzelfde zijn.

Gemaakt met DALL-E 2

Desondanks isChaohai Dingerin geslaagd voorbeelden te creëren van AI-gegenereerde Mulberry AAC-symbolen door Stable Diffusion te gebruiken met de toevoeging vanDreamboothdat een minimaal aantal afbeeldingen gebruikt in een meer consistente stijl. Er zijn nog steeds meerdere opties beschikbaar van dezelfde tekstprompt, maar de "look and feel" van die automatisch gegenereerde afbeeldingen maakt dat we willen doorgaan met werken met deze ideeën om het idee van gepersonaliseerde AAC-symboolaanpassingen te ondersteunen.

In de stijl van de beroepencategorie in de Mulberry Symbol-set hadden deze drie afbeeldingen de tekstprompt van racerijbestuurder, vriend en astronaut.

We willen Steve Lee bedanken voor het toestaan om deMulberry Symbol-set op Global Symbolste gebruiken en hetUniversity of Southampton Web Science Institute Stimulus Fundvoor het geven van de kans om samen te werken aan dit project methet team van professor Mike Wald.