Barashada Qoto Dheer ee Go'aan Qaadashada Fiidiyowyada Warkan ee Waxsoosaarka leh: ResNet ayaa ka fiican Moodooyinka Waqtiga
Brief news summary
Soo guud iyo soo helidda muuqaalada wararka waa hawl adag sababtoo ah dabeecaddiisa aan dhisaneyn, taas oo u baahan kala sooc otomaatig ah si loo helo kaydinta warbaahinta si hufan, shakhsiyeednimada, iyo raadinta garaadka leh. Daraasad dhowaan ah ayaa qiimayn ku sameysay classifiers-ka barashada qoto dheer ee shanta qayb ee caadiga ah ee wararka—xayeysiisyada, sheekooyinka wararka, sawirada studio, beddelka, iyo muuqaalada—iyagoo isticmaalaya 1,832 clip oo ka socda 41 muuqaalada wararka ee la calaamadeeyay. Moodellada la tijaabiyey waxaa ka mid ah classifiers-ku salaysan sawirka sida ResNet, qaababka waqtiga sida ViViT iyo Audio Spectrogram Transformer, iyo qaababka badan ee is-dhafan. Natiijooyinka ayaa muujiyey in classifiers-ka salaysan sawirka, gaar ahaan ResNet, ay ka fiicnaayeen qaababka waqtiga ee复杂 ah, iyadoo la gaaray 84.34% saxnaan ah iyo waxtar xisaabeed oo sareeya. Sidoo kale, classifiers binaadir ah oo gaar ah oo loo sameeyay ogaanshaha beddelka iyo xayeysiisyada ayaa gaaray saxnaan ah oo ah 94.23% iyo 92.74%, siday u kala horreeyaan. Arimahani waxay muujinayaan in classifiers-ka sawirka laga qaato hal-frame ay la jaan qaadi karaan ama ka fiicnaan karaan hababka waqtiga ee waxqabadka, iyagoo bixiya faa'iidooyin muuqda oo ku habboon habaynta baaxadda weyn ee warbaahinta. Daraasaddu waxay iftiiminaysaa awoodda ResNet ee qaybinta wararka muuqaalada badan, kaas oo taageeraya kaydinta warbaahinta oo la hagaajiyey, bixinta muuqaalada gaar ah, iyo raadinta waxtarka leh, iyadoo dhiirrigelinaysa sahaminta dheeraadka ah ee qaababka badan iyo kuwa si fiican loo habeeyey.Hagaajinta uruurinta iyo helitaanka muuqaalada wararka ah ayaa weli ah arrin caqabad ku ah sababta oo ah dabiicadda aan tooska ahayn ee xogta muuqaalka. Nidaamyada otomaatiga ah ee si sax ah u qaybiya muuqaalada wararka qaybaha macnayaasha leh ayaa muhiim u ah kaydinta warbaahinta, gaarsiinta nuxurka khaaska ah, iyo raadinta caqliga leh. Cilmi baaris dhawaan ah ayaa wax ka qabata caqabadahan iyada oo la barbardhigayo noocyada kala duwan ee barashada qoto dheer ee loo qaabeeyey in otomaatig looga dhigo qaybinta muuqaalada wararka. Waxay diiradda saareysaa in la kala saaro shanta nooc ee caadiga ah ee qaybaha muuqaalada wararka: xayeysiisyada, sheekooyinka wararka, muuqaalada hoolka studio-ga, isbeddelada, iyo sawir-gacmeedyada. Qaybinta saxda ah ee qaybahan ayaa kor u qaadaysa maaraynta iyo helitaanka kaydka wararka. Cilmi baaristu waxay sameysay oo qiimeysay dhowr hab oo casri ah oo barashada qoto dheer ah, oo ay ku jirto noocyada sawirka ku salaysan iyo kuwa waqtiyeed sida ResNet, ViViT, Turjumaanka Spectrogram-ka Audio (AST), iyo qaabdhismeedyada is-dulmar ah ee isku dara noocyo kala duwan oo modalado ah. Tababarka iyo qiimeynta ayaa lagu sameeyay xog ururin si taxadar leh loo magacaabay oo ka kooban 41 muuqaal oo warar ah, kuwaas oo loo qaybiyay 1, 832 goobo muuqaal ah, mid kasta oo calaamadsan iyadoo loo eegayo shanta nooc ee qaybaha, si loo helo saldhig adag oo loogu qiimeeyo algorithms-ka.
Noocyada waxaa lagu tijaabiyay saxnaanta, waxtarka xisaabeed, iyo in si dhab ah loo adeegsado. Natiijooyinka muhiimka ah ayaa muujiyey in classifiers-ka ku salaysan sawirka, gaar ahaan ResNet, ay ka fiicnaadeen noocyada waqtiyeed ee isku dhafan saxnaantooda guud oo dhan oo ah 84. 34%. Tani ayaa ka saraysay moodello sida ViViT, oo ay ku jiraan xog waqtiyeed gaar ahaan u baahan kayd xisaabeed badan. Waxqabadka xooggan ee ResNet, oo ay weheliso baahida yar ee ilaha, ayaa ka dhigaya mid ku habboon hababka warbaahinta ballaaran. Si gaar ah, hawlaha kala soocida binary ee ku saabsan isbeddelada iyo xayeysiisyada ayaa gaaray saxnaan sare oo ah 94. 23% iyo 92. 74%, taas oo muujineysa qiimaha classifiers-ka khaaska ah ee hawlaha sida ogaanshaha xayaysiiska iyo soo koobidda nuxurka. Cilmi baaristan waxay bixisaa aragtiyo muhiim ah oo ku saabsan qaabdhismeedyada barashada qoto dheer ee qaybinta muuqaalada wararka. Inkasta oo moodellada waqtiyeed ay si fikradeed u bixiyaan macluumaad badan iyada oo loo marayo dhaqaaqa iyo taxanaha, waxay muujinaysaa in classifiers-ka muuqaalka hal sawir ah ay gaadhi karaan waxqabad la siman ama ka fiican iyadoo leh kakanaanta yar—arrin muhiim u ah hababka otomaatiga ah ee waafaqsan, waxtarnimada, iyo ballaarinta. Dhinaca kuwa isticmaala, natiijooyinkan waxay faa'iido u leeyihiin warshadaha warbaahinta iyaga oo fududeynaya kaydinta muuqaalada iyada oo la habeynayo kaydka muuqaalaha, lana fududeynayo gaarsiinta nuxurka khaaska ah iyadoo laga soo qaatayo qaybaha muhiimka ah ee ku habboon isticmaalayaasha, iyo inay taageeraan raadinta muuqaalka caqliga leh ee si degdeg ah u helaysa nuxurka gaarka ah ee kaydka weyn ee wararka. Gaba-gabadii, cilmi baaristu waxay muujinaysaa in classifiers-ka barashada qoto dheer ee ku salaysan sawirka, gaar ahaan ResNet, ay yihiin kuwo wax ku ool ah oo wax ku qabta qaybinta muuqaalada wararka. Saxnaantoodooda sareysa iyo isticmaalka ilaha wax ku oolka ah ayaa bixiya xalal rajo leh oo loogu talagalay hababka otomaatiga ah ee nuxurka warbaahinta. Shaqadani waxay aas asteen u tahay cilmi baaris dheeri ah oo sahmaysa hababka multimodal ah iyo hagaajinta classifiers si loo ballaariyo waxqabadka iyo dabacsanaanta farsamada qaybinta muuqaalada wararka.
Watch video about
Barashada Qoto Dheer ee Go'aan Qaadashada Fiidiyowyada Warkan ee Waxsoosaarka leh: ResNet ayaa ka fiican Moodooyinka Waqtiga
Try our premium solution and start getting clients — at no cost to you
