Једнократно учење (рачунарска визија)

Једнократно учење је проблем категоризације објеката, углавном заступљен у рачунарској визији . Док већина алгоритама за категоризацију објеката заснованих на машинском учењу захтева обуку на стотинама или хиљадама примера, једнократно учење има за циљ да класификује објекте на основу једног или само неколико примера. За проблеме овог типа се такође користи термин учење са неколико покушаја посебно у случајевима када када је потребно више примера за тренирање.

Мотивација

Способност катеоризације објеката на основу неколико познатих примера је демонстрирана код људи. Процењено је да дете до своје шесте године научи између 10 и 30 хиљада категорија објеката у свету. Ово није последица само велике моћи људског ума, већ и могућности да створи и научи нове категорије објеката на основу познатих информација о различитим, претходно наученим категоријама. Имајући два примера из две категорије објеката, где прву категорију чини непознат објекат састављен од познатих облика, а другу категорију чини непознат, безобличан облик; људима је знатно лакше да препознају прву категорију, што инсинуира да људи ослањају на познате категорије приликом учења нових. Главни подстрек приликом разумевања учења са једним покушајем, јесте чињеница да системи, попут људи, могу искористити претходно знање о познатим објектима приликом класификације нових.

Позадина

Као и код већине класификационих шема, једнократно учење укључује три главна изазова:

• Репрезентација: Како треба описати објекте и категорије?
• Учење: Како се могу направити такви описи?
• Препознавање: Како се познати објекат може филтрирати од нереда који га окружује, без обзира на блокаду, тачку гледишта и осветљење?

Једнократно учење се разликује од препознавања појединачних објеката и стандардних алгоритама за препознавање категорија по свом нагласку на преносу знања (енгл. knowledge transfer), који користи претходно научене категорије.

• Параметри модела: Поново користи параметре модела, на основу сличности између старих и нових категорија. Категорије се најпре уче на основу бројних тренинг примера, након чега се за учење нових категорија примењују трансформације параметара модела иницијалних категорија, или се бирају параметри за класификатор. Категорије се прво уче на бројним примерима обуке, а затим се нове категорије уче коришћењем трансформација параметара модела из тих почетних категорија или одабиром одговарајућих параметара за класификатор.
• Дељење функција: Врши поделу делова или карактеристика објеката по категоријама. Један алгоритам издваја "дијагностичке информације" у сегментима из већ научених категорија тако што максимизира заједничке информације сегмената, а затим примењује ове карактеристике на учење нове категорије. На пример, категорија пса се лако може научити у једном покушају на основу претходног знања о категоријама коња и крава, из разлога што категорија пас може да саржи сличне раздвајајуће закрпе.
• Контекстуалне информације: Позива се на глобално познавање сцене у којој се објекат појављује. Такве глобалне информације могу се користити за расподелу фреквенција у условним насумичним пољима (енгл. conditional random field) Алтернативно, контекст може узети у обзир висину камере и геометрију сцене. Алгоритми овог типа имају две предности. Прво, уче категорије објеката које су релативно различите; и друго, за ову сврху показују добре перформансе у ситуацијама где слика није ручно изрезана и поравната.

Теорија

Бајесов алгоритам за учење са једним покушајем представља први план и позадину слика параметризованих различитим моделима. које су параметризоване мешавином груписаних модела. Током фазе учења, параметри ових модела се уче коришћењем параметра густине апостериорне вероватноће и алгоритма очекивања-максимизације код варијационог Бајеса. У овој фази претходно научене категорије објеката информишу избор параметара модела путем преноса контекстуалног значења. За препознавање објеката на новим сликама, апостериорна вероватноћа добијена током фазе учења се користи у Бајесовом систему доношења одлуке зарад процене односа п(објекат | тест, воз) према п(неред у позадини | тест, воз), где је п вероватноћа излаза.

Примена Бајесове теореме

Узимајући у обзир задатак проналажења одређеног објекта на слици , општи циљ Бајесовог алгоритма једнократног учења је да упореди вероватноћу да је објекат присутан са вероватноћом да је присутан само "неред" у позадини. Ако је вероватноћа постојања објекта на слици већа, алгоритам пријављује његово присуство. Да би се израчунале поменуте вероватноће, неопходно је да је класа објекта моделирана из скупа од (1 ~ 5) слика за тренирање које садрже примере.

Зарад формализовања ових идеја, нека је $I$ слика коју је потребно класификовати, односно упитна слика која садржи или пример категорије у првом плану $O_{fg}$ или сам неред генеричке позадинске категорије $O_{bg}$ . Такође, нека је $I_{t}$ скуп слика за тренинг које се користе као категорија у првом плану. Одлука да ли $I$ садржи објекат из категорије првог плана, или је само неред из категорије позадине :

$R={\frac {p(O_{fg}|I,I_{t})}{p(O_{bg}|I,I_{t})}}={\frac {p(I|I_{t},O_{fg})p(O_{fg})}{p(I|I_{t},O_{bg})p(O_{bg})}},$

где су класе постериори $p(O_{fg}|I,I_{t})$ и $p(O_{bg}|I,I_{t})$ проширени Бајесовом теоремом, резултујући односом вероватноће и односом априорних вероватноћа категорије објеката . Доноси се одлука да слика $I$ садржи објекат из класе првог плана ако $R$ прелази одређени праг $T$ . Затим се уводе параметарски модели за категорије првог плана и позадинских категорија са параметрима $\theta$ и $\theta _{bg}$, респективно. Овај параметарски модел у првом плану се учи током фазе учења од $I_{t}$, као на основу претходних информација научених категорија. За модел позадине се претпоставља да је униформан на свим сликама. Изостављајући константан однос приора катеогирја, ${\frac {p(O_{fg})}{p(O_{bg})}}$, и параметризовање преко $\theta$ и $\theta _{bg}$ приноси

$R\propto {\frac {\int {p(I|\theta ,O_{fg})p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg},O_{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(I|\theta )p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}$, упростиштено $p(I|\theta ,O_{fg})$ и $p(I|\theta ,O_{bg})$ да $p(I|\theta _{fg})$ и $p(I|\theta _{bg}).$

Апостериорна расподела параметара модела на основу познатих слика за тренирање, $p(\theta |I_{t},O_{fg})$ процењује се у фази учења. У овој процени, једнократно учење се веома разликује од традиционалних Бајесових модела процене који апроксимирају интеграл као $\delta (\theta ^{ML})$ . Уместо тога, користи се варијациони приступ користећи претходне информације из претходно научених категорија. Традиционална процена максималне вероватноће параметара модела се користи за позадински модел и категорије научене унапред кроз обуку.

Модел категорије објеката

За сваку слику упита $I$ и слике за тренирање $I_{t}$, за представљање се користи модел констелације (енгл. constellation model). Да бисте добили овај модел за дату слику $I$, прво се на слици детектује скуп од N региона интереса помоћу Кадир-Брадијевог детектора салиенци (енгл. Kadir-Brady saliency detector). Сваки изабрани регион је представљен локацијом на слици, $X_{i}$ и описом његовог изгледа, $A_{i}$ . Ако су

$X=\sum _{i=1}^{N}X_{i},A=\sum _{i=1}^{N}A_{i}$ и $X_{t}$ и $A_{t}$ аналогне репрезентације слика за обуку, израз за R постаје:

$R\propto {\frac {\int {p(X,A|\theta ,O_{fg})p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg},O_{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}\,d\theta _{bg}}}$

Вероватноће $p(X,A|\theta )$ и $p(X,A|\theta _{bg})$ представљене су као мешавине модела констелације. Типичан модел констелације има P(3 ~ 7) делова, са N(~100) региона интереса. Тако P-димензионални вектор h додељује један регион интереса (од N постојећих региона) сваком делу модела (за P делове). Тако h означава хипотезу (додељивање региона интереса деловима модела) за модел, а модел пуне констелације је представљен сумацијом свих могућих хипотеза h у простору хипотеза $H$ . Коначно је написана формула вероватноће

$p(X,A|\theta )=\sum _{\omega =1}^{\Omega }\sum _{{\textbf {h}}\in H}p(X,A,{\textbf {h}},\omega |\theta ).$

Другачији $\omega$ параметри представљају различите конфигурације делова, док различите хипотезе h представљају различите доделе региона деловима, датим делом модела $\omega$ . Претпоставка да су облик модела (представљеним преко $X$, колекција локација делова) и појаве независни омогућавају разматрање израза вероватноће $p(X,A,{\textbf {h}},\omega |\theta )$ као две одвојене вероватноће појаве и облика.

Појава

Појава сваке карактеристике је представљена тачком у простору појављивања (о којој се говори у наставку, у поглављу примене). „Сваки део $p$ у моделу констелације има Гаусову густину унутар овог простора са средњим и прецизним параметрима $\theta _{p,\omega }^{A}={\mu _{p,\omega }^{A},\Gamma _{p,\omega }^{A}}$ Из њих се горе описана вероватноћа појављивања израчунава као производ Гауссових преко делова модела за дату хипотезу h и компоненту композиције $\omega$ .

Облик

Облик модела за дату композитну компоненту $\omega$ а хипотезу х је представљен као заједничка Гаусова густина локација карактеристика. Ове карактеристике се трансформишу у скали и транслационо инваријантном простору пре моделирања релативне локације делова помоћу 2(P - 1)-димензионалног Гаусовог простора. Из овога добијамо вероватноћу облика, употпунивши нашу репрезентацију $p(X,A,{\textbf {h}},\omega |\theta )$ . У циљу смањења броја хипотеза у простору хипотеза $H$, разматрају се само оне хипотезе које задовољавају ограничење уређења да је x-координата сваког дела монотоно растућа. Ово елиминише $P!$ хипотеза из $H$ .

Густина конјуговане вредности

Да би се израчунала вредност $R$, потребно је решити интеграл $\int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta$ који је аналитички нерешив. Претходно поменут модел категорије објекта пружа информацију о $p(X,A|\theta )$, те је преостало прегледати $p(\theta |X_{t},A_{t},O)$, а постериор за $\theta$ и пронаћи довољно добру апроксимацију за поменути интеграл. Претходни радови апроксимирају а постериори вероватноћу путем $\delta$ функције са центром у $\theta ^{*}$, сводећи интеграл на $p(X,A|\theta ^{*})$. $\theta ^{*}$ се уобичајено процењује методом процене максималне вероватноће ($\theta ^{*}=\theta ^{ML}$) или максимум а постериори ($\theta ^{*}=\theta ^{MAP}$) процедурама. Међутим, с обзиром да се код учења користи свега неколико примера за тренинг, расподела неће бити изражена, као што се и претпоставља апроксимацијом путем $\delta$ функције. Из тог разлога уместо традиционалне апроксимације, Бајесов алгоритам учења са једним покушајем тежи да "пронађе параметарску форму $p(\theta )$ тако да је учење p$p(\theta |X_{t},A_{t},O_{fg})$ изводљиво". Алгоритам примењује нормалану Вишартову расподелу (енгл. Normal-Wishart distribution) као априор конјуговане вредности $p(\theta |X_{t},A_{t},O_{fg})$, а у фази учења, варијационеБајесове методе са истом рачунском сложеношћу, као што се методе максималне вероватноће користе за учење хиперпараметара расподеле. Затим, с обзиром да је p $p(X,A|\theta )$ производ Гаусових вредности, постављеним у оквиру модела категорије објеката, интеграл се своди на мултиваријациону t-анализу (енгл. multivariate Stundent's T distribution) и може се проценити.

Имплементација

Откривање и представљање карактеристика

Да би се откриле карактеристике на слици тако да се она може представити моделом констелације, Кадир-Брејдијев детектор истакнутости се користи на сивим сликама, проналазећи истакнуте делове слике. Ови региони се затим групишу, резултујући низом карактеристика (кластера) и параметром облика $X$, састављеним од центара кластера. Кадир-Брејдијев детектор је изабран зато што производи мањи број истакнутије регионе, за разлику од детектора као што је више скаларни Харис, који производи бројне, мање значајне регионе.

Учење

Да би се одржао претходни облик и изглед, три категорије (мачке, лица и авиони) се уче коришћењем процене максималне вероватноће. Параметри ових категорија објеката се касније користе за процену хиперпараметара жељених а приора.

С обзиром на скуп примера обуке, алгоритам покреће детектор карактеристика на овим сликама и одређује параметре модела из истакнутих региона. Индекс хипотезе х који додељује особине деловима онемогућава затворено решење линеарног модела, тако да задња $p(\theta |X_{t},A_{t},O_{fg})$ процењује се варијационим Бајесовим алгоритмом очекивања–максимизација, који се изводи до конвергенције параметара после ~ 100 итерација. Учење категорије на овај начин траје мање од једног минута на 2.8 GHz машина са моделом од 4 дела и < 10 слика за обуку.

Експериментални резултати

Пример мотоцикла

Да бисте научили категорију мотоцикла:

• Изабрано је шест тренинг слика из категорије мотоцикала из Калтек 4 скупа података и примењен је Кадир–Брејдијев детектор, резултујући са $X_{t}$ и $A_{t}$ добијенпреко анализе главних компоненти.
• Затим, априорни параметри модела се израчунавају из 30 модела $\theta _{t}$, по 10 из сваке од три научене категорије: уочене мачке, лица и авиони. Априори енкодирају знање да "модели којима фали визуелни континуитет окупирају различити део простора параметара у односу на кохерентне моделе"
• У учењу, које се изводи следеће, важи $p(\theta |X_{t},A_{t},O_{fg})$ ка деловима параметарског простора који одговарају кохерентним моделима. Користи се само једна компонента мешавине, па је $\Omega =1$ . Процена задњег дела је приказана у наставку.
• Коначно, слике испод приказују научени модел мотоцикла са обликом и изгледом делова и одговарајућим карактеристикама.
• За тестове препознавања, горе поменути модел се примењује на 50 слика које садрже моторе и 50 које не садрже. Слика испод приказује ROC криву, која мери вероватноћу детекције у односу на вероватноћу лажне детекције, као и неке препознате примере.

Заједничке густине на трансформацијама

Још један алгоритам користи пренос знања преко параметара модела да би научио нову категорију објекта која је по изгледу слична претходно наученим категоријама. Слика је представљена или као текстура и облик, или као латентна слика која је трансформисана, означена са $I=T(I_{L})$ .

Сијамска неуронска мрежа (енгл. Siamese neural network) ради у заједно на два различита улазна вектора да би израчунала упоредиве излазне векторе.

Згушњавања

У овом контексту, згушњавање је „истовремена векторизација сваке од сета слика једне према другој“. За скуп слика за обуку одређене категорије, згушњавање итеративно трансформише сваку слику како би се минимизирале заједничке пикселне ентропије E слика, где је

$E=\sum _{p=1}^{P}H(\nu (p)),$

„где је $\nu (p)$ бинарна случајна променљива дефинисана вредностима одређеног пиксела p на свим сликама, $H()$ је дискретна ентропијска функција те променљиве, и $1\leq p\leq P$ је скуп индекса пиксела за слику."

Алгоритам згрушавања почиње скупом слика $I_{i}$ и одговарајућом матрицом трансформације $U_{i}$, који ће на крају алгоритма представљати трансформацију од $I_{i}$ у $I_{L_{i}}$ . Ови латентни $I_{L_{i}}$ минимизираЈУ заједничке ентропије у пикселима. Стога је задатак алгоритма за згушњавање да процени трансформације $U_{i}$ .

Скица алгоритма:

• Иницијализација $U_{I}$ матрица
• Израчунавање заједничких ентропија по пикселима тренутног скупа слика.
• За сваку слику $I_{i}$, итерирати кроз све могуће афине трансформације $A$ (ротација, x-транслација, y-транслација, x-скала, y-скала, x-смицање, y-смицање) и тестирати да ли $AU_{i}$ смањује заједничку ентропију у пикселима. Ако смањује наведену ентропију, поставити $U_{i}=AU_{i}$ .
• Поновити претходне кораке док не дође до конвергенције.

На крају алгоритма, $U_{i}(I)=I_{L_{i}}$, и $T=U_{i}^{-1}$ трансформише латентну слику назад у првобитно посматрану слику.

Класификација

Да би се овај модел користио за класификацију, неопходно је да се изврши његова процена максималном апостериорном вероватноћом уз дату посматрану слику $I$ . Применом Бајесовог правилаа на $P(c_{j}|I)$ и параметризацијом трансформације $T$ добијамо тежак интеграл који се мора апроксимирати, а затим је потребно пронаћи најбољу трансформацију $T$ (оно што пресликава тест слику на њену латентну слику). Једном када се ова трансформација пронађе, тест слика се може трансформисати у њену латентну, а класификатор најближег komšije заснован на Хаусдорфовој удаљености између слика може класификовати латентну (а тиме и тест слику) као да припада одређеној класи $c_{j}$ .

За проналазак $T$, пробна слика I се убацује у тренинг скуп за процес згрушавања. Пошто је тест слика извучена из једне од категорија $c_{j}$, згушњавање резултује са $T_{\text{test}}=U_{\text{test}}^{-1}$ које мапира пробну слику I у свој латент. Латентни се тада могу класификовати.

Класификација са једним примером

С обзиром на скуп трансформација $B_{i}$ добијен згушњавањем више слика одређене категорије, класификатор се може проширити на случај када је дозвољен само један тренинг пример $I_{t}$ нове категорије $c$. Примењујући све трансформације $B_{i}$ секвенцијално на $I_{t}$ ствара вештачки тренинг сет за категорију $c$ . Овај вештачки скуп података може се повећати позајмљивањем трансформација из многих већ познатих категорија. Када се добије овај скуп података, пример $I$, тест инстанца категорије $c$, може се класификовати као у уобичајеном поступку класификације. Кључна претпоставка је да су категорије довољно сличне да се трансформације из једне могу применити на другу.

Види још

• Алгоритам очекивања-максимизације
• Бајесово закључивање
• Учење правилом асоцијације
• Учење без иједног покушаја

Литература

• Li, Fei Fei (2006). „Knowledge transfer in learning to recognize visual object classes” (PDF). International Conference on Development and Learning (ICDL). 
• Li, Fei Fei; Fergus, R.; Perona, P. (2006). „One-Shot learning of object categories” (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 28 (4): 594—611. PMID 16566508. S2CID 6953475. doi:10.1109/TPAMI.2006.79. 
• Miller; Matsakis; Viola (2000). „Learning from One Example through Shared Densities on Transforms” (PDF). Proc. Computer Vision and Pattern Recognition. 
• Li, F.F.; VanRullen, R.; Coch, C.; Perona, P. (2002). „Rapid natural scene categorization in the near absence of attention”. PNAS. 99 (14): 9596—9601. Bibcode:2002PNAS...99.9596L. PMC 123186 . PMID 12077298. doi:10.1073/pnas.092277599 . 
• Thorpe, S.; Fize, D.; Marlot, C. (1996). „Speed of processing in the human visual system” (PDF). Nature. 381 (6582): 520—522, 1996. Bibcode:1996Natur.381..520T. PMID 8632824. S2CID 4303570. doi:10.1038/381520a0. 
• Biederman, I. (1987). „Recognition-by-Components: a theory of human understanding” (PDF). Psychological Review. 94 (2): 115—147. PMID 3575582. doi:10.1037/0033-295X.94.2.115. 
• Fink, M. (2004). „Object classification from a single example utilizing class relevance pseudo-metrics”. NIPS. CiteSeerX 10.1.1.91.7461 . 
• Bart; Ullman (2005). „Cross-generalization: learning novel classes from a single example by feature replacement” (PDF). CVPR. 
• Murphy, K.; Torralba, A.; Freeman, W.T. (2004). „Using the forest to see the trees: a graphical model relating features, objects, and scenes” (PDF). NIPS. 
• Hoiem, D.; Efros, A.A.; Herbert, M. (2005). „Geometric context from a single image” (PDF). ICCV. 
• Attias, H. (1999). „Inferring Parameters and Structure of Latent Variable Models by Variational Bayes”. Proc. Of the 15th Conf. In Uncertainty in Artificial Intelligence: 21—30. arXiv:1301.6676 . 
• Burl, M.; Weber, M.; Perona, P. (1996). „A Probabilistic Approach to Object Recognition Using Local Photometry and Global Geometry” (PDF). Proc. European Conf. Computer Vision. Lecture Notes in Computer Science. 1407: 628—641. ISBN 978-3-540-64613-6. doi:10.1007/BFb0054769. 
• Fergus, R.; Perona, P.; Zisserman, A. (2003). „Object Class Recognition by Unsupervised Scale-Invariant Learning” (PDF). Proc. Computer Vision and Pattern Recognition: 264—271. 
• Weber, M.; Welling, M.; Perona, P. (2000). „Unsupervised Learning of Models for Recognition” (PDF). Proc. European Conf. Computer Vision. Lecture Notes in Computer Science. 1842: 101—108. ISBN 978-3-540-67685-0. doi:10.1007/3-540-45054-8_2. 
• Kadir, T.; Brady, M. (2001). „Scale, Saliency, and Image Description”. International Journal of Computer Vision. 45 (2): 83—105. S2CID 825395. doi:10.1023/A:1012460413855.