Мултиваријантна нормална расподела

Мултиваријантна нормална расподела

Функција густине вероватноће Многштво узорака са мултиваријантном нормалном дистрибуцијом са ${\boldsymbol {\mu }}=\left[{\begin{smallmatrix}0\\0\end{smallmatrix}}\right]$ и ${\boldsymbol {\Sigma }}=\left[{\begin{smallmatrix}1&3/5\\3/5&2\end{smallmatrix}}\right]$, приказани заједно са 3-сигма елипсе, две маргиналне дистрибуције, и два 1-д хистограма.
Нотација	${\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }})$
Параметри	μ ∈ Rk — локација Σ ∈ Rk × k — коваријанса (позитивна полудефинитивна матрица)
Носитељ	x ∈ μ + span(Σ) ⊆ Rk
ПДФ	$(2\pi )^{-{\frac {k}{2}}}\det({\boldsymbol {\Sigma }})^{-{\frac {1}{2}}}\,e^{-{\frac {1}{2}}(\mathbf {x} -{\boldsymbol {\mu }})^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}^{-1}(\mathbf {x} -{\boldsymbol {\mu }})},$ постоји само кад је Σ поситивна-дефинитивна
Просек	μ
Модус	μ
Варијанса	Σ
Ентропија	${\frac {1}{2}}\ln \det \left(2\pi \mathrm {e} {\boldsymbol {\Sigma }}\right)$
МГФ	$\exp \!{\Big (}{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} +{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
ЦФ	$\exp \!{\Big (}i{\boldsymbol {\mu }}^{\!{\mathsf {T}}}\mathbf {t} -{\tfrac {1}{2}}\mathbf {t} ^{\!{\mathsf {T}}}{\boldsymbol {\Sigma }}\mathbf {t} {\Big )}$
Кулбек-Лајблерова дивергенција	погледајте испод

У теорији вероватноће и статистици, мултиваријантна нормална расподела, мултиваријантна Гаусова расподела, или заједничка нормална расподела је генерализација једнодимензионалне (униваријантне) нормалне дистрибуције на више димензија. Једна дефиниција је да се рандомни вектор сматра к-варијантно нормално дистрибуираним ако свака линеарна комбинација његових k компонената има униваријантну нормалну дистрибуцију. Њен значај проистиче углавном из мултиваријантне централне граничне теореме. Мултиваријантна нормална дистрибуција често се користи за описивање, барем приближно, било којег скупа (могућих) корелисаних реално-вредносних радомних променљивих, од којих се свака групише око средње вредности.

Нотација и параметризација

Мултиваријантна нормална дистрибуција k-димензионалног рандомног вектора $\mathbf {X} =(X_{1},\ldots ,X_{k})$ може се записати на следећи начин:

$\mathbf {X} \ \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

или да се нагласи да је X k-димензионо,

$\mathbf {X} \ \sim \ {\mathcal {N}}_{k}({\boldsymbol {\mu }},\,{\boldsymbol {\Sigma }}),$

са k-димензионим средњим вектором

${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]=(\operatorname {E} [X_{1}],\operatorname {E} [X_{2}],\ldots ,\operatorname {E} [X_{k}]),$

и $k\times k$ коваријантном матрицом

$\Sigma _{i,j}:=\operatorname {E} [(X_{i}-\mu _{i})(X_{j}-\mu _{j})]=\operatorname {Cov} [X_{i},X_{j}]$

таквом да $1\leq i,j\leq k.$ Инверзна матрица коваријантне матрице се зове матрица прецизности и означава се са ${\boldsymbol {Q}}={\boldsymbol {\Sigma }}^{-1}$.

Дефиниције

Стандардни нормални рандомни вектор

Реални рандомни вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ се зове стандардни нормални рандомни вектор ако су све његове компоненте $X_{n}$ независне и свака је нормално дистрибуирана рандомна променљива са нултом средњом вредности и јединичном варијансом, и.е. ако $X_{n}\sim \ {\mathcal {N}}(0,1)$ за свако $n$.

Центрирани нормални рандомни вектор

Реални рандомни вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ се зове центрирани нормални рандомни вектор ако постоји детерминистичка $k\times \ell$ матрица ${\boldsymbol {A}}$ таква да ${\boldsymbol {A}}\mathbf {Z}$ има исту дистрибуцију као $\mathbf {X}$ где је $\mathbf {Z}$ стандардни нормални рандомни вектор са $\ell$ компонената.

Нормални рандомни вектор

Реални рандомни вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{\mathrm {T} }$ се зове нормални рандомни вектор ако постоји рандомни $\ell$-вектор $\mathbf {Z}$, који је стандардни нормални рандомни вектор, $k$-вектор $\mathbf {\mu }$, и $k\times \ell$ матрица ${\boldsymbol {A}}$, таква да је $\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu }$.

Формално:

$\mathbf {X} \ \sim \ {\mathcal {N}}(\mathbf {\mu } ,{\boldsymbol {\Sigma }})\quad \iff \quad {\text{postoji }}\mathbf {\mu } \in \mathbb {R} ^{k},{\boldsymbol {A}}\in \mathbb {R} ^{k\times \ell }{\text{ takvo da je }}\mathbf {X} ={\boldsymbol {A}}\mathbf {Z} +\mathbf {\mu } {\text{ za }}Z_{n}\sim \ {\mathcal {N}}(0,1),{\text{i.i.d.}}$

Коваријантна матрица је ${\boldsymbol {\Sigma }}={\boldsymbol {A}}{\boldsymbol {A}}^{\mathrm {T} }$.

У дегенеративном случају где је коваријантна матрица сингуларна, кореспондирајућа дистрибуција нема густину. Овај случај се често појављује у статистици; на пример, у расподели вектора резидуала у регресији обичних најмањих квадрата. Такође треба имати на уму да $X_{i}$ углавном нису независни; они се могу видети као резултат примене матрице ${\boldsymbol {A}}$ на колекцију независних Гаусових променљивих $\mathbf {Z}$.

Еквивалентне дефиниције

Следеће дефиниције су еквивалентне са горњом дефиницијом. Рандомни вектор $\mathbf {X} =(X_{1},\ldots ,X_{k})^{T}$ има мултиваријатну нормалну дистрибуцију ако задовољава један од следећих услова.

• Свака линеарна комбинација $Y=a_{1}X_{1}+\cdots +a_{k}X_{k}$ његових компоненти је нормално дистрибуирана. Другим речима, за сваки константни вектор $\mathbf {a} \in \mathbb {R} ^{k}$, рандомна променљива $Y=\mathbf {a} ^{\mathrm {T} }\mathbf {X}$ има униваријатну нормалну дистрибуцију, где је униваријатна нормална дистрибуција са нултом варијансом тачка масе на својој средњој вредности.
• Постоји k-вектор $\mathbf {\mu }$ и симетрична, позитивна полудефинитивна $k\times k$ матрица ${\boldsymbol {\Sigma }}$, таква да карактеристична функција од $\mathbf {X}$ је

$\varphi _{\mathbf {X} }(\mathbf {u} )=\exp {\Big (}i\mathbf {u} ^{T}{\boldsymbol {\mu }}-{\tfrac {1}{2}}\mathbf {u} ^{T}{\boldsymbol {\Sigma }}\mathbf {u} {\Big )}.$

Сферина нормална дистрибуција може да буде карактерисана као јединствена дистрибуција, при чему су компоненте независне у сваком ортогоналном координатном систему.

Литература

• Ренцхер, А.C. (1995). Метходс оф Мултивариате Аналyсис. Неw Yорк: Wилеy. 
• Тонг, Y. L. (1990). Тхе мултивариате нормал дистрибутион. Спрингер Сериес ин Статистицс. Неw Yорк: Спрингер-Верлаг. ИСБН 978-1-4613-9657-4. дои:10.1007/978-1-4613-9655-0. 
• Даwид, А.П. (1981). „Соме матриx-вариате дистрибутион тхеорy: Нотатионал цонсидератионс анд а Баyесиан апплицатион”. Биометрика. 68 (1): 265–274. ЈСТОР 2335827. МР 614963. дои:10.1093/биомет/68.1.265. 
• Дутиллеул, П (1999). „Тхе МЛЕ алгоритхм фор тхе матриx нормал дистрибутион”. Јоурнал оф Статистицал Цомпутатион анд Симулатион. 64 (2): 105–123. дои:10.1080/00949659908811970. 
• Арнолд, С.Ф. (1981), Тхе тхеорy оф линеар моделс анд мултивариате аналyсис, Неw Yорк: Јохн Wилеy & Сонс, ИСБН 0471050652 
• Гоодман, Н.Р. (1963). „Статистицал аналyсис басед он а цертаин мултивариате цомплеx Гауссиан дистрибутион (ан интродуцтион)”. Тхе Анналс оф Матхематицал Статистицс. 34 (1): 152—177. ЈСТОР 2991290. дои:10.1214/аомс/1177704250 . 
• Пицинбоно, Бернард (1996). „Сецонд-ордер цомплеx рандом вецторс анд нормал дистрибутионс”. ИЕЕЕ Трансацтионс он Сигнал Процессинг. 44 (10): 2637—2640. дои:10.1109/78.539051. 
• Wоллсцхлаегер, Даниел. "СхотГроупс." Хоyт. РДоцументатион, н.д. Wеб. https://www.rdocumentation.org/packages/shotGroups/versions/0.7.1/topics/Hoyt.
• Галлагер, Роберт Г (2008). "Цирцуларлy-Сyмметриц Гауссиан Рандом Вецторс." (н.д.): н. паг. Пре-принт. Wеб. 9 http://www.rle.mit.edu/rgallager/documents/CircSymGauss.pdf.
• Махаланобис, Прасанта Цхандра (1936). „Он тхе генералисед дистанце ин статистицс” (ПДФ). Процеедингс оф тхе Натионал Институте оф Сциенцес оф Индиа. 2 (1): 49—55. Приступљено 2016-09-27. 
• Де Маессцхалцк, Р.; Јоуан-Римбауд, D.; Массарт, D. L. (2000). „Тхе Махаланобис дистанце”. Цхемометрицс анд Интеллигент Лабораторy Сyстемс. 50 (1): 1—18. дои:10.1016/с0169-7439(99)00047-7. 
• Ким, M. Г. (2000). „Мултивариате оутлиерс анд децомпоситионс оф Махаланобис дистанце”. Цоммуницатионс ин Статистицс – Тхеорy анд Метходс. 29 (7): 1511—1526. С2ЦИД 218567835. дои:10.1080/03610920008832559. 
• Кессy, Агнан; Леwин, Алеx; Стриммер, Корбиниан (2018-10-02). „Оптимал Wхитенинг анд Децоррелатион”. Тхе Америцан Статистициан. 72 (4): 309—314. ИССН 0003-1305. С2ЦИД 55075085. дои:10.1080/00031305.2016.1277159. 
• Хуберт, Миа; Дебруyне, Мицхиел (2010). „Минимум цоварианце детерминант”. WИРЕс Цомпутатионал Статистицс (на језику: енглески). 2 (1): 36—43. ИССН 1939-5108. С2ЦИД 123086172. дои:10.1002/wицс.61. 
• Ван Аелст, Стефан; Роуссееуw, Петер (2009). „Минимум волуме еллипсоид”. Wилеy Интердисциплинарy Ревиеwс: Цомпутатионал Статистицс (на језику: енглески). 1 (1): 71—82. ИССН 1939-5108. С2ЦИД 122106661. дои:10.1002/wицс.19. 
• Етхерингтон, Тхомас Р. (2021-05-11). „Махаланобис дистанцес фор ецологицал ницхе моделлинг анд оутлиер детецтион: имплицатионс оф сампле сизе, еррор, анд биас фор селецтинг анд параметерисинг а мултивариате лоцатион анд сцаттер метход”. ПеерЈ (на језику: енглески). 9: е11436. ИССН 2167-8359. дои:10.7717/пеерј.11436. 
• МцЛацхлан, Геоффреy (4. 8. 2004). Дисцриминант Аналyсис анд Статистицал Паттерн Рецогнитион. Јохн Wилеy & Сонс. стр. 13—. ИСБН 978-0-471-69115-0. ЦС1 одржавање: Формат датума (веза)
• Етхерингтон, Тхомас Р. (2019-04-02). „Махаланобис дистанцес анд ецологицал ницхе моделлинг: цоррецтинг а цхи-сqуаред пробабилитy еррор”. ПеерЈ (на језику: енглески). 7: е6678. ИССН 2167-8359. ПМЦ 6450376 . ПМИД 30972255. дои:10.7717/пеерј.6678. 
• Фарбер, Орен; Кадмон, Ронен (2003). „Ассессмент оф алтернативе аппроацхес фор биоцлиматиц моделинг wитх специал емпхасис он тхе Махаланобис дистанце”. Ецологицал Моделлинг (на језику: енглески). 160 (1–2): 115—130. дои:10.1016/С0304-3800(02)00327-7 . 
• Критзман, M.; Ли, Y. (2019-04-02). „Скуллс, Финанциал Турбуленце, анд Риск Манагемент”. Финанциал Аналyстс Јоурнал (на језику: енглески). 66 (5): 30—41. С2ЦИД 53478656. дои:10.2469/фај.в66.н5.3. 
• „Портфолио Оптимизер”. портфолиооптимизер.ио/. Приступљено 2022-04-23. 
• Котз, Самуел; Надарајах, Саралеес (2004). Мултивариате т Дистрибутионс анд Тхеир Апплицатионс. Цамбридге Университy Пресс. ИСБН 978-0521826549. 
• Цхерубини, Умберто; Луциано, Елиса; Веццхиато, Wалтер (2004). Цопула метходс ин финанце. Јохн Wилеy & Сонс. ИСБН 978-0470863442. 
• Ротх, Мицхаел (17. 4. 2013). „Он тхе Мултивариате т Дистрибутион” (ПДФ). Аутоматиц Цонтрол гроуп. Линкöпин Университy, Сwеден. Архивирано (ПДФ) из оригинала 31. 7. 2022. г. Приступљено 1. 6. 2022. ЦС1 одржавање: Формат датума (веза)
• Ботев, З. I.; L'Ецуyер, П. (6. 12. 2015). „Еффициент пробабилитy естиматион анд симулатион оф тхе трунцатед мултивариате студент-т дистрибутион”. 2015 Wинтер Симулатион Цонференце (WСЦ). Хунтингтон Беацх, ЦА, УСА: ИЕЕЕ. стр. 380—391. дои:10.1109/WСЦ.2015.7408180. ЦС1 одржавање: Формат датума (веза)
• Генз, Алан (2009). Цомпутатион оф Мултивариате Нормал анд т Пробабилитиес. Лецтуре Нотес ин Статистицс. 195. Спрингер. ИСБН 978-3-642-01689-9. дои:10.1007/978-3-642-01689-9. Архивирано из оригинала 2022-08-27. г. Приступљено 2017-09-05. 
• Муирхеад, Робб (1982). Аспецтс оф Мултивариате Статистицал Тхеорy. УСА: Wилеy. стр. 32—36 Тхеорем 1.5.4. ИСБН 978-0-47 1-76985-9. 
• Цорнисх, Е А (1954). „Тхе Мултивариате т-Дистрибутион Ассоциатед wитх а Сет оф Нормал Сампле Девиатес.”. Аустралиан Јоурнал оф Пхyсицс. 7: 531—542. дои:10.1071/ПХ550193 .