미국 수화(ASL)는 미국에서 세 번째로 널리 사용되는 언어로 자리잡고 있지만, 주 언어인 영어와 스페인어에 비해 ASL 데이터를 활용한 AI 도구는 현저히 부족하다. 이러한 격차를 해소하기 위해 NVIDIA, 아메리칸 데프 차일드 소사이어티, 그리고 창의적 에이전시 헬로 먼데이가 협력하여 ASL 학습을 촉진하고 접근 가능한 AI 애플리케이션을 만들기 위한 인터랙티브 웹 플랫폼인 Signs를 개발하였다. 이 플랫폼은 사용자가 검증된 ASL 동작 라이브러리를 제공하여 언어 학습자들이 3D 아바타의 도움으로 각 동작을 설명받으며 어휘를 향상시킬 수 있도록 한다. 또한 웹캠 녹화를 분석하여 사용자의 수화 기술에 대한 실시간 피드백을 제공하는 AI 도구도 특징으로 한다. 모든 수준의 개인이 특정 단어를 수화하여 기여할 수 있으며, 이를 통해 ASL에 대한 오픈 소스 비디오 데이터셋을 구축하는 데 도움이 된다. NVIDIA는 이 데이터셋을 1, 000개의 동작 단어를 보여주는 400, 000개의 비디오 클립으로 확장할 계획이며, 유창하게 ASL을 사용하는 사용자와 통역사가 각 동작을 검증하여 정확성을 보장할 것이다. 이를 통해 고품질 시각 사전과 교육 자원을 만들 예정이다. “대부분의 청각장애 아동은 청각인 부모에게 태어납니다. Signs와 같은 접근 가능한 도구를 통해 가족 구성원들이 일찍 ASL을 배우기 시작할 수 있도록 하면, 6~8개월 된 아이들과 효과적으로 소통할 수 있습니다, ”라고 아메리칸 데프 차일드 소사이어티의 전무 이사인 체리 대우링이 말했다. “플랫폼의 모든 어휘는 전문 ASL 교육자에 의해 검증되므로, 사용자는 자신이 배우고 있는 내용에 신뢰를 가질 수 있습니다. ” NVIDIA는 이 데이터셋을 활용하여 청각장애인과 비청각인 커뮤니티 간의 소통 장벽을 허물기 위한 AI 애플리케이션을 더욱 발전시킬 계획이다.

이 데이터는 포괄적인 기술 개발을 위한 자원으로 공개될 예정이며, AI 에이전트, 디지털 휴먼 애플리케이션, 비디오 회의 도구와 같은 포괄적인 기술 개발에 사용될 수 있다. 또한 Signs 플랫폼을 개선하여 ASL 애플리케이션에 대해 실시간 AI 기반 지원과 피드백을 제공할 수 있다. **ASL 교육 강화 및 언어 미세감독 해결** 데이터 수집 단계에서 Signs는 이미 ASL 언어 습득을 위한 강력한 플랫폼 역할을 하며, 사용자가 ASL을 사용하는 친구 또는 가족과 소통할 수 있는 능력을 향상시키는 100개의 핵심 동작을 배우고 연습할 수 있는 기회를 제공한다. “Signs 학습 플랫폼은 청각장애 아동이 있는 가족들이 특정 단어를 신속히 검색하고 관련된 동작을 관찰하는 데 도움을 줄 수 있습니다. 이는 공식 수업 외에 일상적으로 ASL을 사용하는 데 유용한 도구입니다, ”라고 대우링이 밝혔다. “아이들과 부모가 함께 이를 탐색하고 즐기는 모습을 상상합니다. ” 현재 Signs는 각 동작에 대한 손 움직임과 손가락 위치에 중점을 두고 있지만, ASL은 의미를 전달하는 얼굴 표정과 머리 움직임을 포함한다. Signs 팀은 이러한 비수화 신호를 관찰하고 향후 플랫폼 버전에 통합할 방법을 모색하고 있다. 또한 지역적 변형 및 속어와 같은 다른 미세한 요소를 Signs에 통합하여 ASL 데이터베이스를 풍부하게 할 방법을 조사하고 있으며, 로체스터 공과대학교의 접근성 및 포용 연구 센터와 협력하여 청각장애인과 난청 사용자들을 위한 Signs 플랫폼의 사용자 경험을 평가하고 개선할 계획이다. “ASL 접근성을 향상시키는 것은 지속적인 노력입니다, ”라고 Signs 웹 플랫폼을 개발하고 아메리칸 데프 차일드 소사이어티와 함께 ASL 알파벳을 가르치는 앱인 Fingerspelling. xyz를 공동 작업한 헬로 먼데이/DEPT의 창립 파트너인 앤더스 예센이 말했다. “Signs는 청각장애인과 비청각인 커뮤니티 간의 소통 격차를 줄이는 데 도움을 주는 고급 AI 도구에 대한 수요를 충족시키기 위해 설계되었습니다. ” Signs를 지원하는 데이터셋은 올해 늦게 공개될 예정이다.