Google is van plan om volgende week in de VS en Canada haar Gemini AI-chatbot voor kinderen onder de 13 jaar te lanceren, met een later release in Australië dit jaar. Toegang wordt beperkt tot gebruikers met Google Family Link-accounts, die ouders in staat stellen controle uit te oefenen over inhoud en app-gebruik, zoals op YouTube. Ouders maken deze accounts door persoonlijke gegevens te verstrekken, zoals de naam en geboortedatum van het kind, wat enige privacyzorgen oproept; Google verzekert echter dat de gegevens van kinderen niet voor AI-training worden gebruikt. De chatbot zal standaard actief zijn, waarbij ouders deze moeten uitschakelen als ze de toegang willen beperken. Kinderen kunnen de AI vragen om tekstuele antwoorden of beeldgeneratie. Google erkent dat de chatbot fouten kan maken en benadrukt het belang van het beoordelen van de nauwkeurigheid en betrouwbaarheid van de inhoud, aangezien AI kan "hallucineren" of bedachte informatie kan geven. Dit is vooral belangrijk wanneer kinderen de antwoorden van de chatbot gebruiken voor huiswerk, wat feitelijke controle met betrouwbare bronnen vereist. In tegenstelling tot traditionele zoekmachines, die gebruikers doorverwijzen naar originele materialen zoals nieuwsartikelen of tijdschriften, analyseert generatieve AI patronen in gegevens om nieuwe tekst of beelden te creëren op basis van gebruikersaanwijzingen. Bijvoorbeeld, als een kind de chatbot vraagt om „een kat te tekenen”, genereert het systeem een nieuw beeld door kat-achtige kenmerken te combineren die het heeft geleerd. Het begrijpen van het verschil tussen AI-gegenereerde inhoud en opgezochte zoekresultaten zal een uitdaging zijn voor jonge gebruikers. Onderzoek wijst uit dat zelfs volwassenen, inclusief professionals zoals advocaten, kunnen worden misleid door valse informatie die door AI-chatbots wordt geproduceerd. Google beweert dat de chatbot beveiligingsmaatregelen bevat om ongepaste of gevaarlijke inhoud te blokkeren; echter, dergelijke filters kunnen onbedoeld legitieme, leeftijdsgeschikte materialen blokkeren — bijvoorbeeld informatie over de puberteit kan worden geblokkeerd als bepaalde zoekwoorden worden beperkt.

Omdat veel kinderen bedreven zijn in het navigeren en omzeilen van app-controles, kunnen ouders niet alleen vertrouwen op deze ingebouwde beveiligingen. Ze moeten actief de inhoud beoordelen, hun kinderen informeren over hoe de chatbot werkt, en hen helpen kritisch te evalueren of de informatie juist is. Er zijn aanzienlijke risico’s verbonden aan AI-chatbots voor kinderen. De eSafety-commissie heeft gewaarschuwd dat AI-metgezellen schadelijke inhoud kunnen delen, de realiteit kunnen vervormen of gevaarlijk advies kunnen geven, wat vooral zorgwekkend is voor jonge kinderen die nog bezig zijn met het ontwikkelen van kritisch denkvermogen en levensvaardigheden om manipulatie door computertools te herkennen. Onderzoek naar diverse AI-chatbots zoals ChatGPT en Replika laat zien dat deze systemen menselijke sociale gedragingen of "gevoelregels" (zoals bedanken of sorry zeggen) nabootsen om vertrouwen op te bouwen. Deze mensachtige interactie kan kinderen verwarren, waardoor ze valse inhoud vertrouwen of denken dat ze met een echt persoon communiceren in plaats van een machine. De timing van deze uitrol is opvallend, aangezien Australië plannen heeft om vanaf december dit jaar een verbod in te voeren op social mediaprofielen voor kinderen onder 16 jaar. Hoewel dit verbod bedoeld is om kinderen te beschermen, vallen generatieve AI-tools zoals Gemini’s chatbot buiten dit bereik, wat aangeeft dat de uitdagingen rond online veiligheid verder gaan dan traditionele social mediaplatforms. Daarom moeten Australische ouders alert blijven, voortdurend leren over nieuwe digitale hulpmiddelen en de beperkingen van social media-restricties begrijpen in de bescherming van hun kinderen. Als reactie op deze ontwikkelingen zou het dringend nodig zijn om een digitaal zorgplicht op te leggen aan grote technologiebedrijven zoals Google, zodat zij prioriteit geven aan de veiligheid van kinderen bij het ontwerpen en inzetten van AI-technologieën. Ouders en educators moeten proactief zijn in het begeleiden van kinderen in een veilige en geïnformeerde omgang met AI-chatbots, waarbij technische beveiligingen worden aangevuld met educatie en toezicht om de risico’s te beperken.