Ve čtvrtek OpenAI představila výzkumnou ukázku "Operátora, " nástroje pro automatizaci webu poháněného novým AI modelem nazvaným Computer-Using Agent (CUA). Tento nástroj umožňuje uživatelům ovládat počítače prostřednictvím vizuálního rozhraní, přičemž vykonává úkoly interakcí s prvky na obrazovce, jako jsou tlačítka a textová pole, podobně jako lidé. Aktuálně je Operátor přístupný předplatitelům měsíčního plánu ChatGPT Pro za 200 dolarů na adrese operator. chatgpt. com, s plány na rozšíření přístupu pro uživatele Plus, Team a Enterprise v budoucnu. OpenAI si klade za cíl integrovat tyto funkce do ChatGPT a poskytnout CUA prostřednictvím API pro vývojáře. Operátor sleduje obsah obrazovky v reálném čase, vykonává příkazy prostřednictvím simulovaných akcí klávesnice a myši. Analyzuje snímky obrazovky, aby pochopil stav počítače, což mu umožňuje rozhodovat o klikání, psaní a rolování podle potřeby. Tento krok odpovídá trendu mezi technologickými firmami zkoumajícími „agentické“ AI systémy schopné jednat jménem uživatele. Google v prosinci 2024 představil projekt Mariner pro automatizované webové úkoly, zatímco Anthropic v říjnu 2024 spustil nástroj nazvaný "Computer Use" pro podobné účely. Simon Willison, výzkumník AI, poznamenal, že rozhraní Operátora připomíná demo Claude Computer Use od Anthropic, obsahující chatovací panel vedle interaktivního vizuálního rozhraní. CUA funguje tak, že zachycuje snímky obrazovky, analyzuje je, aby posoudil data pixelů pomocí vizuálních schopností GPT-4o, rozhoduje o potřebných akcích a vykonává virtuální vstupy. Tento feedback loop mu umožňuje opravovat chyby a spravovat složité úkoly napříč různými aplikacemi.

Během používání se v mini prohlížeči zobrazuje akce Operátora. Navzdory svým schopnostem technologie stále vyvíjí a má omezení, exceluje v opakovaných webových úkolech, ale má potíže s neznámými rozhraními a složitou textovou editací, přičemž v interních testech vykázala pouhých 40 procent úspěšnosti. Operátor dosáhl 87 procent úspěšnosti na benchmarku WebVoyager, ale klesl na 58, 1 procenta na benchmarku WebArena pro offline tréninkové weby. Jeho výkon na benchmarku OSWorld činil 38, 1 procenta. OpenAI hledá zpětnou vazbu uživatelů, aby zlepšila funkčnost systému, protože chápe, že CUA nebude spolehlivé ve všech scénářích, a plánuje zlepšit jeho univerzálnost v průběhu času. Ochrana soukromí a bezpečnost jsou klíčové otázky, protože Operátor může sledovat a řídit uživatelské aktivity. OpenAI zavedla bezpečnostní opatření, která vyžadují potvrzení uživatele pro citlivé akce, a stanovila limity pro procházení, aby zabránila přístupu k určitým kategoriím webových stránek, jako jsou hazardní hry a obsah pro dospělé. OpenAI také integruje moderaci v reálném čase, aby zabránila pokusům o podvržení, přičemž Willison vyjádřil skepticismus ohledně dlouhodobé bezpečnosti kvůli potenciálním novým hrozbám. Navzdory proaktivním opatřením OpenAI v dokumentaci přiznává, že kvůli složitosti modelování a vyvíjejícím se protivníkovým hrozbám zůstávají výzvy. Obavy o soukromí vyvstávají z faktu, že Operátor odesílá snímky obrazovky na cloudové servery OpenAI; uživatele se vyzývá, aby důvěřovali opatřením na ochranu soukromí společnosti, která umožňují opt-out z dat pro trénink modelu, jednoduché odstranění dat jedním kliknutím a správu relací pro citlivé úkoly. Willison doporučil uživatelům zahájit nové relace pro oddělené úkoly, aby ochránili své údaje a varoval před opatrností při poskytování platebních údajů, s doporučením na rychlé vyčištění po takových akcích.