På torsdag præsenterede OpenAI en forskningspreview af "Operator", et webautomatiseringsværktøj drevet af en ny AI-model kaldet Computer-Using Agent (CUA). Dette værktøj giver brugerne mulighed for at kontrollere computere gennem en visuel grænseflade og udføre opgaver ved at interagere med elementer på skærmen, såsom knapper og tekstfelter, ligesom menneskelig adfærd. I øjeblikket er Operator tilgængelig for abonnenter af ChatGPT Pro-planen til 200 USD om måneden på operator. chatgpt. com, med planer om at udvide adgangen til Plus-, Team- og Enterprise-brugere i fremtiden. OpenAI sigter mod at integrere disse funktioner i ChatGPT og tilbyde CUA gennem en API til udviklere. Operator overvåger skærninhold i realtid og udfører kommandoer gennem simulerede tastatur- og musehandlinger. Det analyserer skærmbilleder for at forstå computerens tilstand, hvilket gør det muligt at træffe beslutninger om klik, skrivning og scrolling derefter. Denne udgivelse følger en trend blandt teknologivirksomheder, der udforsker "agentisk" AI-systemer, der er i stand til at handle på brugerens vegne. Google introducerede Project Mariner i december 2024 til automatiserede webopgaver, mens Anthropic lancerede et værktøj kaldet "Computer Use" i oktober 2024 til lignende formål. Simon Willison, en AI-forsker, bemærkede, at Operator-grænsefladen ligner Anthropic’s Claude Computer Use-demo med et chatpanel ved siden af en interaktiv visuel grænseflade. CUA fungerer ved at tage skærmbilleder, analysere dem for at vurdere pixeldata med GPT-4o's visionsevner, beslutte om nødvendige handlinger og udføre virtuelle inputs. Denne feedbackloop gør det muligt at rette fejl og håndtere komplekse opgaver på tværs af forskellige applikationer.

Under brug vises Operator's handlinger i et miniaturebrowservindue. På trods af sine evner er teknologien stadig i udvikling og har begrænsninger; den excellerer i repetitive webopgaver, men har vanskeligheder med ukendte grænseflader og kompleks tekstredigering – den rapporterer kun 40 procent succesrate i interne tests. Operator opnåede en succesrate på 87 procent på WebVoyager benchmarken, men faldt til 58, 1 procent på WebArena benchmarken for offline træningssteder. Dens præstation på OSWorld benchmark var 38, 1 procent. OpenAI søger brugerfeedback for at forbedre systemets funktionalitet, idet de forstår, at CUA ikke vil være pålidelig i alle scenarier og planlægger at forbedre dens alsidighed over tid. Privatliv og sikkerhed er nøglebekymringer, da Operator kan observere og kontrollere brugeraktiviteter. OpenAI har implementeret sikkerhedsforanstaltninger, der kræver brugerbekræftelse for følsomme handlinger, med browsingbegrænsninger etableret for at forhindre adgang til bestemte kategorier af websteder, såsom spil og voksenindhold. OpenAI integrerer også realtidsmoderation for at forhindre forsøg på subversion, selvom Willison udtrykte skepsis over for dens langsigtede sikkerhed på grund af muligheden for nye trusler. På trods af proaktive foranstaltninger indrømmer OpenAI i sin dokumentation, at udfordringerne stadig er der på grund af modelkompleksitet og udviklende modtrusler. Bekymringer om privatliv opstår fra det faktum, at Operator sender skærmbilleder til OpenAIs cloud-servere; brugerne opfordres til at stole på virksomhedens privatlivsforanstaltninger, som tillader datatilbagetrækning til modeltræning, datatilbagekaldelse med ét klik og sessionshåndtering for følsomme opgaver. Willison rådede brugerne til at starte nye sessioner for separate opgaver for at beskytte deres legitimationsoplysninger og opfordrede til forsigtighed ved fornævnelse af betalingsoplysninger, idet han anbefalede en hurtig oprydning efter sådanne handlinger.