목요일, OpenAI는 Computer-Using Agent(CUA)라는 새로운 AI 모델로 구동되는 웹 자동화 도구 "Operator"의 연구 미리 보기를 공개했습니다. 이 도구는 사용자가 버튼 및 텍스트 필드와 같은 화면 요소와 상호작용하여 작업을 수행함으로써 컴퓨터를 시각적 인터페이스를 통해 제어할 수 있게 합니다. 이는 인간의 행동과 유사한 방식입니다. 현재 Operator는 월 $200의 ChatGPT Pro 요금제 구독자들을 위해 operator. chatgpt. com에서 사용할 수 있으며, 향후 Plus, Team, 및 Enterprise 사용자에게도 접근을 확장할 계획입니다. OpenAI는 이러한 기능을 ChatGPT에 통합하고 개발자들을 위한 API를 통해 CUA를 제공하는 것을 목표로 하고 있습니다. Operator는 화면 내용을 실시간으로 모니터링하고, 가상 키보드 및 마우스 작업을 통해 명령을 실행합니다. 스크린샷을 분석하여 컴퓨터의 상태를 이해하고, 그에 따라 클릭, 타이핑 및 스크롤 등의 결정을 내립니다. 이번 출시로 인해, 기술 기업들이 사용자 대신 행동할 수 있는 "에이전틱" AI 시스템을 탐색하는 추세에 부합하게 되었습니다. 구글은 2024년 12월 웹 자동화를 위한 Mariner 프로젝트를 선보였고, Anthropic은 비슷한 목적을 위한 "컴퓨터 사용"(Computer Use) 도구를 2024년 10월에 출시했습니다. AI 연구자인 사이먼 윌리슨은 Operator 인터페이스가 Anthropic의 Claude Computer Use 데모와 유사하다고 언급하며, 채팅 패널과 상호작용하는 시각적 인터페이스가 함께 제공된다고 밝혔습니다. CUA는 스크린샷을 캡처하고, 이를 분석하여 픽셀 데이터를 평가하며 GPT-4o의 비전 기능을 활용해 필요한 조치를 결정하고 가상 입력을 실행합니다. 이러한 피드백 루프를 통해 오류를 수정하고 다양한 애플리케이션에서 복잡한 작업을 관리할 수 있습니다.

사용 중에는 소형 브라우저 창이 Operator의 행동을 보여줍니다. 기술이 발전하고 있음에도 불구하고 여전히 한계가 있으며, 반복적인 웹 작업에서는 뛰어나지만 익숙하지 않은 인터페이스나 복잡한 텍스트 편집에서는 어려움을 겪고 있습니다—내부 테스트에서 단 40%의 성공률을 기록했습니다. Operator는 WebVoyager 벤치마크에서 87%의 성공률을 달성했지만 WebArena 벤치마크에서는 오프라인 학습 사이트에 대해 58. 1%로 떨어졌습니다. OSWorld 벤치마크에서는 38. 1%의 성능을 보였습니다. OpenAI는 시스템의 기능을 향상시키기 위해 사용자 피드백을 요청하고 있으며, CUA가 모든 시나리오에서 신뢰할 수 없음을 이해하고 시간을 두고 versatility를 개선할 계획입니다. Operator가 사용자 활동을 관찰하고 제어할 수 있기 때문에 개인 정보 보호와 안전이 중요한 우려사항입니다. OpenAI는 민감한 작업에 대해 사용자 확인을 요구하는 안전 조치를 시행했으며, 도박 및 성인 콘텐츠와 같은 특정 사이트 카테고리에 대한 접근을 방지하기 위한 브라우징 제한을 설정했습니다. OpenAI는 또한 전복 시도를 방지하기 위해 실시간 조정을 통합하고 있지만, 윌리슨은 새로운 위협 가능성 때문에 장기적인 보안에 대해 회의적이라는 입장을 나타냈습니다. 적극적인 조치에도 불구하고, OpenAI는 문서에서 모델링의 복잡성과 진화하는 적대적 위협으로 인해 여전히 도전 과제가 남아있음을 인정하고 있습니다. Operator가 OpenAI의 클라우드 서버에 스크린샷을 전송함에 따라 개인 정보 보호에 대한 우려가 발생하고 있으며, 사용자는 모델 학습을 위한 데이터 선택 해지, 한 번의 클릭으로 데이터 삭제, 민감한 작업을 위한 세션 관리와 같은 회사의 개인 정보 보호 조치를 신뢰하도록 권장 받고 있습니다. 윌리슨은 사용자가 자격 증명을 보호하기 위해 별도의 작업을 위해 새 세션을 시작하고, 결제 정보를 제공할 때 주의할 것을 권장하며, 그러한 작업 후에는 빠른 정리를 추천했습니다.