Amerikansk tegnsprog (ASL) er den tredje mest udbredte sprog i USA, men der er en betydelig mangel på AI-værktøjer udviklet med ASL-data sammenlignet med de mange ressourcer, der findes for landets dominerende sprog, engelsk og spansk. For at lukke denne kløft har NVIDIA, American Society for Deaf Children og det kreative bureau Hello Monday indgået et partnerskab for at skabe Signs, en interaktiv webplatform designet til at facilitere læring af ASL og dannelse af tilgængelige AI-applikationer. Platformen tilbyder brugere et valideret bibliotek af ASL-tegn, der gør det muligt for sprogindlærere at forbedre deres ordforråd med hjælp fra en 3D-avatar, der illustrerer hvert tegn. Den indeholder også et AI-værktøj, der analyserer webcamoptagelser og giver realtidsfeedback på brugernes tegnfærdigheder. Personer på ethvert færdighedsniveau kan bidrage ved at tegne bestemte ord, hvilket hjælper med at opbygge en open source video dataset til ASL. NVIDIA sigter mod at udvide denne dataset til 400. 000 videoklip, der viser 1. 000 tegnede ord, hvor flydende ASL-brugere og tolke validerer hvert tegn for at sikre nøjagtighed. Dette vil skabe en visual ordbog af høj kvalitet og undervisningsressource. "De fleste døve børn er født af hørende forældre. At tilbyde tilgængelige værktøjer som Signs til familiemedlemmer, så de tidligt kan begynde at lære ASL, giver dem mulighed for at etablere effektiv kommunikation med børn så unge som seks til otte måneder, " kommenterede Cheri Dowling, administrerende direktør for American Society for Deaf Children. "Med al ordforråd på platformen valideret af professionelle ASL-uddannede, kan brugerne stole på, hvad de lærer. " NVIDIA har til hensigt at udnytte denne dataset til yderligere at fremme AI-applikationer, der nedbryder kommunikationsbarrierer mellem døve og hørende samfund. Dataene vil blive offentligt tilgængelige som en ressource til udvikling af inkluderende teknologier, såsom AI-agenter, digitale menneske-applikationer og videokonferenceværktøjer.

De kan også bruges til at forbedre Signs-platformen, der giver realtids, AI-drevet støtte og feedback til ASL-applikationer i hele økosystemet. **Forbedring af ASL-uddannelse og adressering af sprognyancer** Under sin dataindsamlingsfase fungerer Signs allerede som en robust platform for indlæring af ASL, der giver brugerne mulighed for at lære og øve et essentielt sæt af 100 tegn, der forbedrer deres evne til at kommunikere med venner eller familiemedlemmer, der bruger ASL. "Signs læringsplatform kan hjælpe familier med døve børn med hurtigt at søge efter specifikke ord og observere de tilknyttede tegn. Det er et praktisk værktøj til at forbedre deres daglige brug af ASL uden for formelle klasser, " sagde Dowling. "Jeg ser for mig, at både børn og forældre udforsker det sammen og har det sjovt. " Mens Signs i øjeblikket understreger håndbevægelser og fingerplaceringer for hvert tegn, inkluderer ASL også ansigtsudtryk og hovedbevægelser, der formidler betydning. Teamet bag Signs ser på, hvordan disse ikke-manual signaller kan observeres og integreres i fremtidige versioner af platformen. De undersøger også metoder til at inkorporere andre nuancer, såsom regionale variationer og slang, i Signs, hvilket beriger dens ASL-database. I samarbejde med forskere ved Rochester Institute of Technology’s Center for Accessibility and Inclusion Research sigter de mod at evaluere og forbedre brugeroplevelsen af Signs-platformen for døve og hørehæmmede brugere. "At forbedre ASL-tilgængelighed er en kontinuerlig bestræbelse, " sagde Anders Jessen, medstifter af Hello Monday/DEPT, der udviklede Signs webplatformen og tidligere samarbejdede med American Society for Deaf Children om Fingerspelling. xyz, en app der underviser i ASL-alfabetet. "Signs er designet til at imødekomme efterspørgslen efter avancerede AI-værktøjer, der hjælper med at bygge bro over kommunikationskløfter mellem døve og hørende samfund. " Datasettet, der understøtter Signs, forventes at blive udgivet senere på året.