lang icon English
Oct. 20, 2025, 2:12 p.m.
395

Судалгаа үнэнч мэдээллийн сайтууд ба ташаа мэдээллийн сайтуудаас хиймэл оюуны crawler-ийн хандалтын ялгааг илрүүллээ

Сүүлийн үеийн судалгаа нь нэр хүндтэй мэдээллийн вэбсайтууд болон мэдээллийн алдаатай сайтнуудын AI хайгч роботуудад нэвтрэхийг хэрхэн тодорхойлж байгааг харуулж байна, энэ нь робот. тексл хэмээх вэб протоколыг ашиглан хайгчийн эрхийг хянадаг. Эдгээр хоёр төрлийн сайтуудын өгөгдлийн санг шинжлэхэд, нэр хүндтэй мэдээллийн сайтнуудын 60% нь дор хаяж нэг AI хайгчийг хаадаг бол мэдээллийн алдаатай сайтнуудын зөвхөн 9. 1% нь ийм хязгаарлалт үзүүлдэг болох нь илэрсэн. Ерөнхийд нь авч үзвэл, нэр хүндтэй сайтнууд ойролцоогоор 15. 5 AI хэрэглэгчийн агентийг хаадаг бөгөөд энэ нь автомат дата цуглуулахыг хориглох томоохон, санаатай оролдлогыг илтгэнэ. Харин мэдээллийн алдаатай сайтнууд нь ихэвчлэн нэгээс илүүгүй AI хайгчийг хязгаарлах нь цөөхөн байдаг. Мөн судалгаа нь идэвхтэй хаах арга хэмжээнүүдийг—онлайнаар AI хайгчдыг эсэргүүцэх хурдан хамгаалалтууд—шинжлэн үзсэн бөгөөд аль аль нь төрлийн сайтууд энэ төрлийн арга хэмжээг хэрэгжүүлдэг ч, нэр хүндтэй мэдээллийн сайтнууд илүү тогтмол өөрсдийн robots. txt бодлогуудыг дагаж мөрддөг болох нь харагдсан. Эдгээр зөрсөн бодлогууд нь AI загваруудад зориулсан онлайн контентиудын нээлттэй байдалд нөлөөлдөг. AI нь веб өгөгдөл ихээр ашигладаг тул, нэр хүндтэй эх үүсвэрүүдийн илүү хатуу хориглолтууд чанартай өгөгдөл авах боломжийг хязгаарлаж болзошгүй бол, илүү нээлттэй мэдээллийн сайтнууд нь итгэмжлээгүй агуулгыг AI сургах явцыг гажуудуулах эрсдэлтэй байдаг. Энэ зөрчил нь ёс зүй, ил тод байдалд чухал сэдвүүдийг гаргаж ирдэг бөгөөд, AI загварууд хуурай, буруу мэдээллээс илүү ихийг суралцаж, тэдний найдвартай байдал, шударга байдалд харшилж болзошгүй юм. Судалгааны үр дүн нь контентын хангагчид, ялангуяа туршлагатай хэвлэл мэдээллийн байгууллагуудын үүрэг хариуцлагыг онцолсон бөгөөд, эдгээр нь mêдээллийн хандалт, эзэмшлийг хамгаалахын тулд хайгчийн нэвтрэхийг зохицуулах шаардлагатай эсэхийг харуулж байна.

Бас AI хөгжүүлэгчид эдгээр нэвтрэх хязгаартай байдлыг ойлгож, өөрсдийн загваруудад үүсч болзошгүй хазайлт, зөрчилдөөгүй байдалд анхаарах хэрэгтэй. Нийгэмд AI нэгдэх үйл явц өргөжиж буй энэ үед, сургалтын өгөгдлийн эх сурвалж, ёс зүйн талаарх ил тод байдал чухал болоод байна. Судалгаа нь нэр хүндтэй сайтнууд болон мэдээллийн алдаатай сайтнуудын үйл ажиллагааны зөрчлүүдийг илрүүлж, агуулгыг хүлээн авах байдал, хариуцлагатай AI хөгжүүлэх чиглэлийг судлах шаардлагатайг онцолж байна. Контент бүтээгчид, AI судлаачид, бодлого боловсруулах байгууллагууд, иргэд хамтран ажиллан, төлөвлөлттэй, хариуцлагатай шийдлүүдийг боловсруулж, агуулгын эрхийг хүндэтгэж, үнэн зөв, ёс зүйтэй AI боловсруулалтыг урамшуулах шаардлагатай. Үүний нэг жишээ нь, AI хайгч роботуудад зориулсан стандартжсан robots. txt зааварчилгаа, AI сургалтын өгөгдлийн ил тод байдал нэмэгдүүлэх, хувь иргэдэд AI бүтээсэн агуулгын нөлөөлөл, өөрчлөлтийн талаар мэдээлэх явдал юм. Дүгнэж хэлэхэд, судалгаа нь AI хайгчдын хяналт тогтмол сайжирч буйг баталгаажуулж байна: нэр хүндтэй хэвлэл мэдээлэл идэвхтэй хязгаарлаж байгаа бол мэдээллийн алдаатай сайтнууд ихэвчлэн зөвшөөрөлтэй байна. Энэ байдал нь AI-ийн сургалтын датасетуудыг бүрдүүлж буй, мөн AI-ийн боловсруулсан үр дүнгийн чанар, зөрчилдөөнд нөлөөлдөг. Ухаалаг, хамтын ажиллагаанд суурилсан арга хэмжээнүүд нь AI-ийн нийгэмд аюулгүй, шударга байдлаар хөгжихөд зайлшгүй шаардлагатай.



Brief news summary

Саяхан хийсэн судалгаа нь нэр хүндтэй мэдээллийн сайтауд ба мэдээлэгчд зөвшөөрөлгүй உள்ள AI скрайлэрийн хандалтыг роботу.txt файлууд ашиглан хэрхэн хянаж байгааг онцолж байна. Судлаачид илэрхийлсэнд, нэр хүндтэй мэдээллийн 60%-иас дээш нь дор хаяж нэг AI скрайлерийг хориглодог бөгөөд эдгээр нь ихэвчлэн 15.5 хэрэглэгчийн агентийг блоклодог бол, мэдээлэгчд сайтгууд зөвхөн 9.1%-д нь ийм хязгаарлалт тавьж, дунджаар нэгээс бага скрайлерийг хаадаг байна. Нэр хүндтэй сайтауд эдгээр хязгаарлалтын дүрмийг идэвхтэй баримталдаг бөгөөд энэ нь хиймэл оюуны сургалтын загварыг боловсруулж буй өгөгдөлд нөлөөлж, илүү хялбар хандаж буй мэдээлэлд улмаар алдаатай байдал үүсгэж болзошгүй. Энэ нь хиймэл оюуны ил тод байдал, шударга байдал, алдаагүй байдал гэх мэт ёсзүйн асуудлуудыг тавихад хүргэж, контентыг эзэмшигчдийн эрхийг хамгаалах, AI хөгжүүлэгчдийг хандалтын зөрүүг шийдвэрлэх шаардлага гарч байна. Судалгаа нь вэб бүтээгдүүлэгчид, AI судлаачид, бодлого боловсруулагчид хоорондын хамтын ажиллагааг урих бөгөөд эдгээр нь зөв зүйтэй, итгэмжлэгдсэн үр дүн гаргах, контент эзэмшигчдийн эрхийг хүндэтгэн хамгаалах зорилгоор стандартчилсан удирдамжийг бий болгохыг зорьж байна.

Watch video about

Судалгаа үнэнч мэдээллийн сайтууд ба ташаа мэдээллийн сайтуудаас хиймэл оюуны crawler-ийн хандалтын ялгааг илрүүллээ

Try our premium solution and start getting clients — at no cost to you

I'm your Content Creator.
Let’s make a post or video and publish it on any social media — ready?

Language

Hot news

Oct. 20, 2025, 2:25 p.m.

Америкийн "Хаан байхгүй" бүлгийн видео хуучин зур…

AI-ийн “хонгорох” болон Ням гаригийн Газагийн дэлбэрэлтүүдийг шалгах Томас Копеланд, BBC Verify Live сэтгэл зүйч Энэ амьд бэлтгэлийг хаахад бэлдэж байхад, өнөөдрийн гол түүхүүдийн товчийг танилцуулж байна

Oct. 20, 2025, 2:20 p.m.

AI-ийн нууц байгаль орчны зардал: одоо л маркетин…

Өнөөдөр маркетеруудын ургамжлах сорилт нь хиймэл оюуны боломжийг нөөцлөх бөгөөд тогтвортой байдлын зорилгод хохирол учруулахаас сэргийлэх явдал юм – энэ асуултыг бид Brandtech-тэй хамтран харилцагчид болон салбарын түншүүдтэйгээ судалж байна.

Oct. 20, 2025, 2:15 p.m.

Гартнер 2028 он гэхэд борлуулалтын хамтрагчдын 10…

2028 он гэхэд, зайлшгүй шаардлагагүйгээр олон ажлын байр эзэмших “хэт ажлын байртай байдал” (overemployment) нь нийт борлуулалтын мэргэжилтний 10 хувьд хамаарах болж магадгүй байна.

Oct. 20, 2025, 2:12 p.m.

Broadcom хамгийн сүүлийн үеийн томоохон нөхөр бол…

OpenAI хурдхан цаг хугацаанд ур чадварлагуу шилдэг технологийн болон инфра бүтэц компаниудтай стратегийн хамтын ажиллагаа зохиосноор хиймэл оюуны чиглэлд тэргүүлэгч хүчин зүйл болсон.

Oct. 20, 2025, 10:21 a.m.

Трамп хиймэл оюун ухаан ашиглан өөрийнхөө дүртэй …

Бямба гаригт Ерөнхийлөгч Дональд Трамп өөрийн хиймэл оюун ухаанаар үүсгэгдсэн видеог хуваалцжээ.

Oct. 20, 2025, 10:20 a.m.

Nvidia нь AI зах зээлд давамгайлахын тулд өөрийн …

Nvidia корпораци нь Samsung Electronics компанитай стратегийн хамтарч, өөрийн онцгой x86 биш төв процессор (CPU) ба тусгай XPUs-ийг хөгжүүлснээр өрсөлдөх чадвартай AI тоног төхөөрөмжийн зах зээлд өөрийн байр сууриа бэхжүүлж байна.

Oct. 20, 2025, 10:17 a.m.

AI агентууд Microsoft Энэтхэгийн борлуулалтын баг…

Microsoft Энэтхэгийн борлуулалтын үйл ажиллагаанд хиймэл оюун ухаан (ХОУ)-ийг нэвтрүүлж буй нь гайхалтай үр дүнд хүрч, компанийн хамгийн орлого нэмэгдүүлэх, гэрээ хийх хугацааг түргэсгэж байна.

All news

AI team for your Business

Automate Marketing, Sales, SMM & SEO

and get clients on autopilot — from social media and search engines. No ads needed

and get clients today