Kunstig intelligens (KI)-utviklere skaper KI "agenter" som kan ta autonome beslutninger, et steg mot generell kunstig intelligens (AGI) som kan overgå menneskelige kognitive oppgaver. I motsetning til chatbots som krever konstant menneskelig innputt, er KI-agenter designet for å utføre oppgaver med minimal overvåking. OpenAI planlegger å lansere en slik agent, "Operator, " som forutser en fremtid der KI-agenter langt overgår antallet mennesker, som forutsagt av Meta-CEO Mark Zuckerberg. Mens KI-selskaper som Google DeepMind og Salesforce fremmer agenter for å forbedre produktiviteten ved å redusere kjedelige oppgaver, advarer KI-eksperter at rask kommersialisering kan gå på bekostning av sikkerhet. Disse KI-verktøyene kan revolusjonere personlige og forretningsmiljøer ved å håndtere oppgaver og tilpasse seg preferanser. For eksempel kan kommende agenter planlegge ferier eller utføre kundeservice autonomt. Likevel reiser deres integrasjon betydelige juridiske og etiske spørsmål.

Nå bistår agenter i felt som økonomi, og utløser debatter om ansvar når de gjør feil. Dette innebærer komplekse juridiske og moralske problemstillinger, som om KI bør ha en form for juridisk personlighet, eller hvordan man sikrer at deres handlinger samsvarer med menneskelige etiske standarder. KIs raske fremgang, drevet av økonomiske interesser, risikerer å overgå reguleringsrammene. Sammenligninger med tidligere teknologiske utviklinger som sosiale medier illustrerer potensielle farer ved mangel på kontroll. En forsiktig tilnærming oppfordrer til å innføre reguleringer som de som finnes innen legemidler eller luftfart før man fullstendig kommersialiserer kraftige KI-systemer. Til tross for innledende reguleringsforsøk mangler det omfattende rammer. Det er et presserende behov for å balansere risiko med innovasjon, sikre at KI utvikler seg i samsvar med samfunnets verdier og samtidig unngå irreversible skader.