Pastaruoju metu „Google“ atnaujino savo robotų. txt dokumentaciją su naujomis gairėmis, skirtomis valdyti gilųjį nuorodų naudojimą – URL, nukreipiantį naudotojus į konkrečius, detalius svetainės puslapius, o ne tik į pagrindinį puslapį. Šis atnaujinimas yra svarbus svetainių savininkams ir kūrėjams, siekiantiems kontroliuoti, kaip paieškos varikliai žiūri ir indeksuoja tokį turinį. Tinkamai valdant gilias nuorodas, užtikrinama, kad paieškos varikliai indeksuotų pačias aktualiausias svetainės vietas ir nukreiptų naudotojus į geriausiai atitinkantį turinį jų užklausų kontekste. Patobulinta dokumentacija pateikia detalias instrukcijas ir geriausias praktikas nustatant taisykles robotų. txt faile, kad būtų galima kontroliuoti gilųjį nuorodų turinį ir jo indeksavimą. Šis žingsnis siekia suteikti tinklalapių administratoriui aiškesnes gaires optimizuoti paieškos matomumą, tuo pat metu gerbiant svetainių savininkų pasirinkimus, kokias svetainės dalis gali pasiekti paieškos varikliai. Naujosios taisyklės leidžia nurodyti komandas, leidžiančias arba draudžiančias paieškos varikliams pasiekti tam tikras gilias nuorodas, ypač naudinga sudėtingoms svetainėms ar didelėms duomenų bazėms, kur kai kurios svetainės dalys gali būti mažiau svarbios ar nereikalingos. Efektyvus žiniatinklio žiniatinklio valdymas užtikrina geresnį SEO našumą ir pagerina naudotojų patirtį, nes prioritetą teikia vertingam ir turtingam turiniui. Šalia „Google“ techninių atnaujinimų Europos Sąjunga pasiūlė reguliavimo priemones, skirtas platesnei paieškos ekosistemai. ES ragina „Google“ dalintis paieškos duomenimis su konkurentais ir dirbtinio intelekto pagrindu veikiamomis pokalbių robotais siekiant skatinti didesnę konkurenciją ir inovacijas. Šis pasiūlymas kyla iš susirūpinimo dėl „Google“ dominuojančios rinkos pozicijos ir siekia sukurti teisingesnę skaitmeninę žaidimo aikštelę.

Reikalaujant duomenų dalijimosi, ES siekia išvengti monopolistinio elgesio, suteikdama mažesnėms paieškos sistemoms ir DI priemonėms galimybę plėsti savo galimybes ir pasiūlyti naudotojams įvairesnes, novatoriškas paieškos galimybes. Šis reglamentinis požiūris atspindi platesnes pasaulines tendencijas, kuriose valdžios institucijos siekia suderinti didžiųjų technologijų įmonių galią su poreikiu skatinti konkurenciją ir inovacijas. ES skatinimas skaidrumo ir duomenų prieinamumo yra skirtas paskatinti technologinį progresą kartu apsaugant vartotojų interesus ir užtikrinant sąžiningą skaitmeninių rinkų veiklą. Šie pokyčiai turi plačių pasekmių tinklalapių administratoriui, SEO specialistams, technologijų įmonėms ir naudotojams. „Google“ patobulintos „robots. txt“ gairės suteikia svetainių valdytojams tikslesnę kontrolę bei leidžia geriau valdyti gilųjį nuorodų turinį, skatinant strateginį turinio valdymą, geresnius paieškos reitingus ir didesnį naudotojų įsitraukimą. Tuo pačiu, ES duomenų dalijimosi pasiūlymas gali pakeisti konkurencinius žaidimo principus paieškos rinkoje, skatindamas bendradarbiavimą tarp didžiųjų įmonių ir startuolių DI ir paieškos srityje, bei spartintų pažangių DI pokalbių robotų kūrimą, siūlantį turtingesnes, kontekstualią paieškos patirtį. Tačiau šie iniciatyvos taip pat kelia susirūpinimą dėl privatumo, duomenų saugumo ir etinio paieškos duomenų panaudojimo. Pusiausvyros tarp atvirumo ir jautrių duomenų apsaugos išsaugojimas išlieka sudėtingu iššūkiu, kai įmonės ir reguliatoriai derina duomenų dalijimosi ir indeksavimo politiką. Žvelgiant į ateitį, šie pokyčiai pabrėžia kintančią skaitmeninę aplinką, kurioje technologiniai pasiekimai, reguliavimo priežiūra ir naudotojų lūkesčiai nuolat veikia informacijos prieinamumą ir pateikimą. Svetainių savininkai ir teisės strategai turi nuolat būti informuoti, kad galėtų efektyviai išnaudoti paieškos variklio technologijas ir išlikti konkurencingi. Apibendrinant, „Google“ atnaujinimai „robots. txt“ dokumentacijoje pagerina gilios nuorodų indeksavimo kontrolę, pabrėždami įsipareigojimą gerinti paieškos kokybę ir remti svetainių administratorių veiklą. Tuo pačiu metu ES siūlymas dėl privalomo duomenų dalijimosi siekia demokratizuoti prieigą, skatinti inovacijas ir konkurenciją šioje srityje. Šios iniciatyvos sudaro svarbius žingsnius link ateities, kuriose paieškos technologijos bus skaidresnės, teisingesnės ir labiau atliepsiančios naudotojų bei verslo poreikius.