Процена максималне веродостојности

Процена максималне веродостојности (енгл. maximum likelihood estimation - MLE) је метод процењивања параметара расподеле вероватноће максимизовањем функције веродостојности, тако да су по претпостављеном статистичком моделу уочени подаци највероватнији. Тачка у параметарском простору која максимизира функцију веродостојности назива се проценом максималне веродостојности.^[1] Логика максималне веродостојности је интуитивна и флексибилна, и као таква метода је постала доминантно средство статистичког закључивања.^[2]^[3]^[4]

Ако је функција вероватноће диференцијабилна, може се применити дериватни тест за одређивање максима. У неким случајевима се услови првог реда функције веродостојности могу експлицитно решити; на пример, процењивач обичних најмањих квадрата максимизира вероватноћу линеарног регресионог модела.^[5] Међутим, у већини околности, нумеричке методе су неопходне да би се пронашао максимум функције веродостојности.

Са становишта Бајесовог закључивања, МЛЕ је посебан случај максималне постериорне процене (МАП) који претпоставља униформну приорну расподелу параметара. У фреквенционистичком закључивању, МЛЕ је посебан случај процењивача екстрема, чија је објективна функција вероватноћа.

Принципи

Са статистичког становишта, дати скуп запажања је случајни узорак из непознате популације. Циљ процене максималне веродостојности је да се изведу закључци о популацији из које је узорак највероватније генерисн,^[6] специфично о заједничкој расподели вероватноће случајних променљивих $\left\{y_{1},y_{2},\ldots \right\}$ , које нису нужно независно и идентично дистрибуиране. Са сваком дистрибуцијом вероватноће повезан је јединствени вектор $\theta =\left[\theta _{1},\,\theta _{2},\ldots \,,\theta _{k}\right]^{\mathsf {T}}$ параметара који индексирају расподелу вероватноће унутар породице параметара $\{f(\cdot \,;\theta )\mid \theta \in \Theta \}$ , где се $\Theta$ назива простором параметара, који је коначно димензионални подскуп Еуклидског простора. Процена заједничке густине на посматраном узорку података $\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})$ даје реално-вредносну функцију,

L_{n}(\theta )=L_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )

која се назива функцијом веродостојности. За независне и идентично расподељене случајне променљиве, $f_{n}(\mathbf {y} ;\theta )$ ће бити производ униваријантних функција густине.

Циљ процене максималне веродостојности је да се пронађу вредности параметара модела које максимизирају функцију веродостојности у простору параметара,^[6] то јест

{\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\ {\widehat {L}}_{n}(\theta \,;\mathbf {y} )

Интуитивно, овим се бирају вредности параметара које чине посматране податке највероватнијим. Специфична вредност ${\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta$ која максимизује функцију веродостојности $L_{n}$ се зове процена максималне веродостојности. Даље, ако је функција ${\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta$ тако дефинисана да је мерљива, онда се она назива процењивачем максималне веродостојности. То је генерално функција дефинисана над простором узорка, тј. она узима одређени узорак као свој аргумент. Довољан али не и неопходан услов за њено постојање је да функција веродостојности буде континуирана на параметарском простору $\Theta$ који је компактан.^[7] За отворено $\Theta$ функција веродостојности се може повећати без премашивања супремумске вредности.

У пракси је често прикладно радити с природним логаритамом функције веродостојности, званим логаритамска веродостојност^[8]:

\ell (\theta \,;\mathbf {y} )=\ln L_{n}(\theta \,;\mathbf {y} ).

Пошто је логаритам монотона функција, максимум од $\ell (\theta \,;\mathbf {y} )$ се јавља на истој вредности $\theta$ као и максимум од $L_{n}$ .^[9] Ако је $\ell (\theta \,;\mathbf {y} )$ диференцијабилно у $\theta$ , потребни услови за појављивање максимума (или минимума) су

{\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0,

што је познато као једначина вероватноће. За неке моделе, ове једначине могу се експлицитно решити за ${\widehat {\theta \,}}$ , али генерално решења затвореног облика за проблеме максимизације нису позната или доступна, а МЛЕ се може пронаћи само нумеричком оптимизацијом. Још један проблем је што у коначним узорцима може постојати више корена за једначине вероватноће.^[10] Да ли је идентификовани корен ${\widehat {\theta \,}}$ једначине вероватноће заиста (локални) максимум, зависи од тога да ли је матрица другог реда парцијалних и унакрсно парцијалних деривата,

\mathbf {H} ({\widehat {\theta \,}})={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}},

позната као Хесијан негативно полудефинитивна у ${\widehat {\theta \,}}$ , што даје индикацију о постојању локалне конкавности. Повољно је да су најчешће расподеле вероватноће - нарочито експоненцијална породица - логаритамски конкавне.^[11]^[12]

Референце

^ Росси, Рицхард Ј. (2018). Матхематицал Статистицс : Ан Интродуцтион то Ликелихоод Басед Инференце. Неw Yорк: Јохн Wилеy & Сонс. стр. 227. ИСБН 978-1-118-77104-4.
^ Хендрy, Давид Ф.; Ниелсен, Бент (2007). Ецонометриц Моделинг: А Ликелихоод Аппроацх. Принцетон: Принцетон Университy Пресс. ИСБН 978-0-691-13128-3.
^ Цхамберс, Раyмонд L.; Стеел, Давид Г.; Wанг, Суојин; Wелсх, Алан (2012). Маxимум Ликелихоод Естиматион фор Сампле Сурвеyс. Боца Ратон: ЦРЦ Пресс. ИСБН 978-1-58488-632-7.
^ Wард, Мицхаел Дон; Ахлqуист, Јохн С. (2018). Маxимум Ликелихоод фор Социал Сциенце : Стратегиес фор Аналyсис. Неw Yорк: Цамбридге Университy Пресс. ИСБН 978-1-107-18582-1.
^ Пресс, W. Х.; Фланнерy, Б. П.; Теуколскy, С. А.; Веттерлинг, W. Т. (1992). „Леаст Сqуарес ас а Маxимум Ликелихоод Естиматор”. Нумерицал Реципес ин ФОРТРАН: Тхе Арт оф Сциентифиц Цомпутинг (2нд изд.). Цамбридге: Цамбридге Университy Пресс. стр. 651—655. ИСБН 978-0-521-43064-7.
^ ^а ^б Мyунг, I. Ј. (2003). „Туториал он Маxимум Ликелихоод Естиматион”. Јоурнал оф Матхематицал Псyцхологy. 47 (1): 90—100. дои:10.1016/С0022-2496(02)00028-7.
^ Гоуриероуx, Цхристиан; Монфорт, Алаин (1995). Статистицс анд Ецонометрицс Моделс. Цамбридге Университy Пресс. стр. 161. ИСБН 978-0-521-40551-5.
^ Лог-ликелихоод
^ Кане, Едwард Ј. (1968). Ецономиц Статистицс анд Ецонометрицс. Неw Yорк: Харпер & Роw. стр. 179. ИСБН.
^ Смалл, Цхристопер Г.; Wанг, Јинфанг (2003). „Wоркинг wитх Роотс”. Нумерицал Метходс фор Нонлинеар Естиматинг Еqуатионс. Оxфорд Университy Пресс. стр. 74—124. ИСБН 978-0-19-850688-1.
^ Касс, Роберт Е.; Вос, Паул W. (1997). Геометрицал Фоундатионс оф Асyмптотиц Инференце. Неw Yорк: Јохн Wилеy & Сонс. стр. 14. ИСБН 978-0-471-82668-2.
^ Пападопоулос, Алецос (25. 9. 2013). „Wхy wе алwаyс пут лог() бефоре тхе јоинт пдф wхен wе усе МЛЕ (Маxимум ликелихоод Естиматион)?”. Стацк Еxцханге.

Литература

Црамер, Ј. С. (1986). Ецонометриц Апплицатионс оф Маxимум Ликелихоод Метходс. Неw Yорк: Цамбридге Университy Пресс. ИСБН 978-0-521-25317-8.
Елиасон, Сцотт Р. (1993). Маxимум Ликелихоод Естиматион : Логиц анд Працтице. Неwбурy Парк: Саге. ИСБН 978-0-8039-4107-6.
Кинг, Гарy (1989). Унифyинг Политицал Метходологy : тхе Ликехоод Тхеорy оф Статистицал Инференце. Цамбридге Университy Пресс. ИСБН 978-0-521-36697-7.
Ле Цам, Луциен (1990). „Маxимум ликелихоод : Ан Интродуцтион”. ИСИ Ревиеw. 58 (2): 153—171. ЈСТОР 1403464.
Магнус, Јан Р. (2017). „Маxимум Ликелихоод”. Интродуцтион то тхе Тхеорy оф Ецонометрицс. Амстердам: ВУ Университy Пресс. стр. 53—68. ИСБН 978-90-8659-766-6.
Миллар, Русселл Б. (2011). Маxимум Ликелихоод Естиматион анд Инференце. Хобокен: Wилеy. ИСБН 978-0-470-09482-2.
Пицклес, Андреw (1986). Ан Интродуцтион то Ликелихоод Аналyсис. Норwицх: W. Х. Хутцхинс & Сонс. ИСБН 978-0-86094-190-3.
Северини, Тхомас А. (2000). Ликелихоод Метходс ин Статистицс. Неw Yорк: Оxфорд Университy Пресс. ИСБН 978-0-19-850650-8.
Wард, Мицхаел D.; Ахлqуист, Јохн С. (2018). Маxимум Ликелихоод фор Социал Сциенце : Стратегиес фор Аналyсис. Цамбридге Университy Пресс. ИСБН 978-1-316-63682-4.
Едгеwортх, Ф. Y. (јун 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (2): 381—397. ЈСТОР 2339461. дои:10.2307/2339461.
Едгеwортх, Ф. Y. (септембар 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс (Цонтд.)”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (3): 499—512. ЈСТОР 2339293. дои:10.2307/2339293.
Едгеwортх, Ф. Y. (децембар 1908). „Он тхе Пробабле Еррорс оф Фреqуенцy-Цонстантс (Цонтд.)”. Јоурнал оф тхе Роyал Статистицал Социетy. 71 (4): 651—678. ЈСТОР 2339378. дои:10.2307/2339378.
Фриеден, Б. Р.. Сциенце фром Фисхер Информатион: А Унифицатион. Цамбридге Университy Пресс. 2004. ISBN 978-0-521-00911-9..
Фриеден, Б. Роy; Гатенбy, Роберт А. (2013). „Принципле оф маxимум Фисхер информатион фром Хардy'с аxиомс апплиед то статистицал сyстемс”. Пхyсицал Ревиеw Е. 88 (4): 042144. Бибцоде:2013ПхРвЕ..88д2144Ф. ПМИД 24229152. арXив:1405.0007 . дои:10.1103/ПхyсРевЕ.88.042144.
Халд, А. (мај 1999). „Он тхе Хисторy оф Маxимум Ликелихоод ин Релатион то Инверсе Пробабилитy анд Леаст Сqуарес”. Статистицал Сциенце. 14 (2): 214—222. ЈСТОР 2676741. дои:10.1214/сс/1009212248.
Халд, А. (1998). А Хисторy оф Матхематицал Статистицс фром 1750 то 1930. Неw Yорк: Wилеy. ИСБН 978-0-471-17912-2.
Лехманн, Е. L.; Цаселла, Г. (1998). Тхеорy оф Поинт Естиматион (2нд изд.). Спрингер. ИСБН 978-0-387-98502-2.
Ле Цам, Луциен (1986). Асyмптотиц Метходс ин Статистицал Децисион Тхеорy. Спрингер-Верлаг. ИСБН 978-0-387-96307-5.
Пратт, Јохн W. (мај 1976). „Ф. Y. Едгеwортх анд Р. А. Фисхер он тхе Еффициенцy оф Маxимум Ликелихоод Естиматион”. Анналс оф Статистицс. 4 (3): 501—514. ЈСТОР 2958222. дои:10.1214/аос/1176343457.
Саваге, L. Ј. (мај 1976). „Он Ререадинг Р. А. Фисхер”. Анналс оф Статистицс. 4 (3): 441—500. ЈСТОР 2958221. дои:10.1214/аос/1176343456.
Сцхервисх, Марк Ј. (1995). Тхеорy оф Статистицс. Неw Yорк: Спрингер. ИСБН 978-0-387-94546-0.
Стиглер, С. M. (1986). Тхе Хисторy оф Статистицс: Тхе Меасуремент оф Унцертаинтy бефоре 1900. Харвард Университy Пресс. ИСБН 978-0-674-40340-6.
Стиглер, С. M. (1978). „Францис Yсидро Едгеwортх, Статистициан”. Јоурнал оф тхе Роyал Статистицал Социетy, Сериес А. 141 (3): 287—322. ЈСТОР 2344804. дои:10.2307/2344804.
Стиглер, С. M. (1999). Статистицс он тхе Табле: Тхе Хисторy оф Статистицал Цонцептс анд Метходс. Харвард Университy Пресс. ИСБН 978-0-674-83601-3.
Ван Треес, Х. L. (1968). Детецтион, Естиматион, анд Модулатион Тхеорy, Парт I. Неw Yорк: Wилеy. ИСБН 978-0-471-09517-0.

Спољашње везе

Хазеwинкел Мицхиел, ур. (2001). „Маxимум-ликелихоод метход”. Енцyцлопаедиа оф Матхематицс. Спрингер. ISBN 978-1556080104.
Пурцелл, С. „Маxимум Ликелихоод Естиматион”. Архивирано из оригинала 27. 10. 2019. г. Приступљено 23. 12. 2019.
Саргент, Тхомас; Стацхурски, Јохн. „Маxимум Ликелихоод Естиматион”. Qуантитативе Ецономицс wитх Пyтхон. Архивирано из оригинала 21. 06. 2019. г. Приступљено 23. 12. 2019.
Тоомет, Отт; Хеннингсен, Арне (19. 5. 2019). „маxЛик: А пацкаге фор маxимум ликелихоод естиматион ин Р”.

[1] Росси, Рицхард Ј. (2018). Матхематицал Статистицс : Ан Интродуцтион то Ликелихоод Басед Инференце. Неw Yорк: Јохн Wилеy & Сонс. стр. 227. ИСБН 978-1-118-77104-4.

[2] Хендрy, Давид Ф.; Ниелсен, Бент (2007). Ецонометриц Моделинг: А Ликелихоод Аппроацх. Принцетон: Принцетон Университy Пресс. ИСБН 978-0-691-13128-3.

[3] Цхамберс, Раyмонд L.; Стеел, Давид Г.; Wанг, Суојин; Wелсх, Алан (2012). Маxимум Ликелихоод Естиматион фор Сампле Сурвеyс. Боца Ратон: ЦРЦ Пресс. ИСБН 978-1-58488-632-7.

[4] Wард, Мицхаел Дон; Ахлqуист, Јохн С. (2018). Маxимум Ликелихоод фор Социал Сциенце : Стратегиес фор Аналyсис. Неw Yорк: Цамбридге Университy Пресс. ИСБН 978-1-107-18582-1.

[5] Пресс, W. Х.; Фланнерy, Б. П.; Теуколскy, С. А.; Веттерлинг, W. Т. (1992). „Леаст Сqуарес ас а Маxимум Ликелихоод Естиматор”. Нумерицал Реципес ин ФОРТРАН: Тхе Арт оф Сциентифиц Цомпутинг (2нд изд.). Цамбридге: Цамбридге Университy Пресс. стр. 651—655. ИСБН 978-0-521-43064-7.

[:0-6] а ^б Мyунг, I. Ј. (2003). „Туториал он Маxимум Ликелихоод Естиматион”. Јоурнал оф Матхематицал Псyцхологy. 47 (1): 90—100. дои:10.1016/С0022-2496(02)00028-7.

[7] Гоуриероуx, Цхристиан; Монфорт, Алаин (1995). Статистицс анд Ецонометрицс Моделс. Цамбридге Университy Пресс. стр. 161. ИСБН 978-0-521-40551-5.

[8] Лог-ликелихоод

[9] Кане, Едwард Ј. (1968). Ецономиц Статистицс анд Ецонометрицс. Неw Yорк: Харпер & Роw. стр. 179. ИСБН.

[10] Смалл, Цхристопер Г.; Wанг, Јинфанг (2003). „Wоркинг wитх Роотс”. Нумерицал Метходс фор Нонлинеар Естиматинг Еqуатионс. Оxфорд Университy Пресс. стр. 74—124. ИСБН 978-0-19-850688-1.

[11] Касс, Роберт Е.; Вос, Паул W. (1997). Геометрицал Фоундатионс оф Асyмптотиц Инференце. Неw Yорк: Јохн Wилеy & Сонс. стр. 14. ИСБН 978-0-471-82668-2.

[12] Пападопоулос, Алецос (25. 9. 2013). „Wхy wе алwаyс пут лог() бефоре тхе јоинт пдф wхен wе усе МЛЕ (Маxимум ликелихоод Естиматион)?”. Стацк Еxцханге.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

п р у Статистика
Дескриптивна статистика	аритметичка средина, геометријска средина - медијана - модус - моћ теста - варијанса - стандардна девијација
Аналитичка (инференцијална) статистика	тестирање хипотеза - значај - нулта хипотеза/алтернативна хипотеза - грешка - З-тест - Студентова т-статистика - максимална веродостојност - Стандард сцоре/З сцоре - П-вредност - анализа варијансе
Анализа преживљавања	Функција преживљавања - Каплан-Мејер - Мантел-Коксов тест - стопа кварења - модели пропорционалних ризика
Расподеле вероватноће	нормална - Поасонова - Бернулијева расподела
Корелација	Цонфоундинг вариабле - Пирсонов коефицијент корелације - ранг корелације (Спеарман'с ранк цоррелатион цоеффициент, Кендалов тау коефицијент)
регресиона анализа	линеарна регресија - нелинеарна регресија - логистичка регресија