Bahasa Isyarat Amerika (ASL) menduduki tempat ketiga sebagai bahasa yang paling banyak digunakan di Amerika Syarikat, tetapi terdapat kekurangan ketara alat AI yang dibangunkan dengan data ASL jika dibandingkan dengan sumber yang melimpah untuk bahasa utama negara itu, iaitu Bahasa Inggeris dan Bahasa Sepanyol. Untuk merapatkan jurang ini, NVIDIA, Persatuan Kanak-Kanak Pekak Amerika, dan agensi kreatif Hello Monday telah bekerjasama untuk mencipta Signs, sebuah platform web interaktif yang direka untuk memudahkan pembelajaran ASL dan penghasilan aplikasi AI yang boleh diakses. Platform ini menawarkan pengguna sebuah perpustakaan tanda ASL yang telah disahkan, membolehkan pelajar bahasa meningkatkan perbendaharaan kata mereka dengan bantuan avatar 3D yang menunjukkan setiap tanda. Selain itu, ia mempunyai alat AI yang menganalisis rakaman webcam, memberikan maklum balas masa nyata mengenai kemahiran isyarat pengguna. Individu pada apa jua tahap kemahiran boleh menyumbang dengan menandakan kata-kata tertentu, membantu untuk membina dataset video sumber terbuka untuk ASL. NVIDIA bercadang untuk mengembangkan dataset ini kepada 400, 000 klip video yang memaparkan 1, 000 kata yang ditandakan, dengan pengguna ASL yang fasih dan penafsir mengesahkan setiap tanda untuk memastikan ketepatan. Ini akan mewujudkan kamus visual yang berkualiti tinggi dan sumber pengajaran. “Sebahagian besar kanak-kanak pekak dilahirkan kepada ibu bapa yang mendengar. Menyediakan alat yang boleh diakses seperti Signs untuk ahli keluarga memulakan pembelajaran ASL lebih awal membolehkan mereka menjalin komunikasi yang berkesan dengan anak-anak yang berusia enam hingga lapan bulan, ” komen Cheri Dowling, pengarah eksekutif Persatuan Kanak-Kanak Pekak Amerika. “Dengan semua perbendaharaan kata di platform ini telah disahkan oleh pendidik ASL profesional, pengguna boleh mempercayai apa yang mereka pelajari. ” NVIDIA berhasrat untuk menggunakan dataset ini untuk memajukan lagi aplikasi AI yang menghapuskan halangan komunikasi antara komuniti pekak dan mendengar. Data ini akan disediakan secara terbuka sebagai sumber untuk membangunkan teknologi inklusif, seperti agen AI, aplikasi manusia digital, dan alat persidangan video.

Ia juga mungkin digunakan untuk meningkatkan platform Signs, menyediakan sokongan dan maklum balas masa nyata yang dipacu AI untuk aplikasi ASL di seluruh ekosistem. **Meningkatkan Pendidikan ASL dan Menangani Nuansa Bahasa** Semasa fasa pengumpulan datanya, Signs sudah berfungsi sebagai platform yang kukuh untuk akuisisi bahasa ASL, memberikan pengguna peluang untuk belajar dan berlatih set tanda yang penting sebanyak 100 tanda yang meningkatkan kemampuan mereka untuk berkomunikasi dengan rakan atau ahli keluarga yang menggunakan ASL. “Platform pembelajaran Signs boleh membantu keluarga dengan anak-anak pekak mencari kata-kata tertentu dengan cepat dan melihat tanda-tanda yang berkaitan. Ia adalah alat praktikal untuk meningkatkan penggunaan harian mereka terhadap ASL di luar kelas formal, ” kata Dowling. “Saya membayangkan kedua-dua kanak-kanak dan ibu bapa menerokai bersama dan berseronok. ” Walaupun Signs kini menekankan pergerakan tangan dan penempatan jari untuk setiap tanda, ASL juga termasuk ekspresi wajah dan gerakan kepala yang menyampaikan makna. Pasukan di belakang Signs sedang mencari cara untuk memerhatikan dan mengintegrasikan isyarat bukan manual ini ke dalam iterasi platform yang akan datang. Mereka juga sedang mengkaji kaedah untuk mengintegrasikan nuansa lain, seperti variasi serantau dan slanga, ke dalam Signs, dengan itu memperkayakan pangkalan data ASL-nya. Bekerjasama dengan penyelidik di Pusat Penyelidikan Aksesibiliti dan Inklusi di Rochester Institute of Technology, mereka bertujuan untuk menilai dan meningkatkan pengalaman pengguna platform Signs untuk pengguna pekak dan kurang pendengaran. “Meningkatkan aksesibiliti ASL adalah usaha yang berterusan, ” kata Anders Jessen, rakan pengasas Hello Monday/DEPT, yang membangunkan platform web Signs dan sebelum ini bekerjasama dengan Persatuan Kanak-Kanak Pekak Amerika dalam Fingerspelling. xyz, sebuah aplikasi yang mengajar abjad ASL. “Signs direka untuk memenuhi permintaan bagi alat AI yang maju yang membantu merapatkan jurang komunikasi antara komuniti pekak dan mendengar. ” Dataset yang menyokong Signs dijadualkan akan dilancarkan akhir tahun ini.