Хи-квадратни тест

Хи-квадратни тест, такође написан као $χ 2$ тест, јесте тест статистичке хипотезе где је дистрибуција узорка тестиране статистике хи-квадратна дистрибуција кад је нулта хипотеза истинита. Без друге квалификације, хи-квадратни тест често се користи као замена за Пирсонов хи-квадратни тест.^[2] Хи-квадратни тест се користи да се утврди да ли постоји значајна разлика између очекиваних фреквенција и посматраних фреквенција у једној или више категорија.

У стандардним применама овог теста, запажања су сврстана у међусобно искључиве класе, и постоји нека теорија, или нулта хипотеза, која даје вероватноћу да било које опажање падне у одговарајућу класу. Сврха теста је да се процени колико су вероватне опсервације, под претпоставком да је нулта хипотеза тачна.

Хи-квадратни тестови се обично конструишу из суме квадрираних грешака, или помоћу варијансе узорка. Статистика теста која следи хи-квадратну дистрибуцију произилази из претпоставке независних нормално дистрибуираних података,^[3]^[4]^[5]^[6] која је у многим случајевима валидна због централне граничне теореме. Хи-квадратни тест може се користити за покушај одбацивања нулте хипотезе да су подаци независни.

Историја

У 19. веку, статистичке аналитичке методе углавном су примењиване у анализи биолошких података и било је уобичајено да истраживачи претпостављају да су запажања пратила нормалну дистрибуцију, као што су то чинили Сер Џорџ Ери и професор Мериман, чије је радове критиковао Карл Пирсон у свом раду из 1900. године.^[7]

До краја 19. века, Пирсон је уочио постојање значајне асиметрије унутар неких биолошких посматрања. Да би моделовао запажања независно од тога да ли су нормална или асиметрична, Пирсон је у низу чланака објављених од 1893 до 1916,^[8]^[9]^[10]^[11] осмислио Пирсонову дистрибуцију, породицу непрекидних расподела вероватноће, која укључује нормалну дистрибуцију и многе асиметричне дистрибуције. Он је предложио метод статистичке анализе који се састоји од употребе Пирсонове дистрибуције за моделовање посматрања и вршења теста доброг уклапања како би се утврдило колико се модел и посматрање заиста уклапају.

Пирсонов хи-квадратни тест

Године 1900, Пирсон је објавио публикацију^[7] о $χ 2$ тесту, која се сматра једним од фундаменталних радова у модерној статистици.^[12] У том раду, Пирсон је истражио тест адекватности уклапања.

Ако се претпостави да је $н$ опажања случајног узорка из популације класификовано у $к$ међусобно искључујућих класа са одговарајућим посматраним бројевима $x и$ (за $и = 1,2,\dots, к$ ), а да нулта хипотеза даје вероватноћу $п и$ да ће опажање пасти у $и$ -ту класу. Дакле, доступни су очекивани бројеви $м и = нп и$ за свако $и$ , где

{\begin{aligned}\sum _{i=1}^{k}{p_{i}}&=1\\[8pt]\sum _{i=1}^{k}{m_{i}}&=n\sum _{i=1}^{k}{p_{i}}=\sum _{i=1}^{k}x_{i}\end{aligned}}

Пирсон је предложио да у случају да је нулта хипотеза тачна као $н \to \infty$ , ограничавајућа дистрибуција наведене количине је расподела $χ 2$ .

X^{2}=\sum _{i=1}^{k}{\frac {(x_{i}-m_{i})^{2}}{m_{i}}}=\sum _{i=1}^{k}{{\frac {x_{i}^{2}}{m_{i}}}-n}

Пирсон се прво бавио случајем у којем су очекивани бројеви $м и$ довољно велики познати бројеви у свим ћелијама под претпоставком да се сваки $x и$ може узети као нормално расподељен, и постигао је резултат да, на граници када $н$ постане велико, $X 2$ следи $χ 2$ расподелу са $к - 1$ степени слободе.

Пирсон је затим размотрио случај у којем очекивани бројеви зависе од параметара који се морају проценити из узорка. Он је предложио да кад $м и$ означава праве очекиване бројеве, а $м' и$ процењене очекиване бројева, разлика

X^{2}-{X'}^{2}=\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m_{i}}}-\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m'_{i}}}

обично бива позитивна и довољно мала да се може занемарити. У закључку, Пирсон је тврдио да ако се сматра да је $X' 2$ такође расподељена као $χ 2$ дистрибуција са $к - 1$ степени слободе, грешка у овој апроксимацији неће утицати на практичне одлуке. Овај закључак изазвао је одређене контроверзе у практичним применама и то није било рарешено током 20 година, до објављивања Фишерових публикација из 1922. и 1924. године.^[13]^[14]

Апликације

У криптоанализи, хи-квадратни тест се користи за упоређивање дистрибуције отвореног текста и (могућег) декриптовања шифротекста. Најнижа вредност теста значи да је дешифровање било успешно са великом вероватноћом.^[15]^[16] Ова метода се може генерализовати за решавање савремених криптографских проблема.^[17]

У биоинформатици, хи-квадратни тест се користи за упоређивање расподеле одређених својстава гена (нпр. геномског садржаја, брзине мутације, интеракционе мреже кластеровања итд.) које припадају различитим категоријама (нпр. гени болести, основни гени, гени на одређеном хромозому итд.).^[18]^[19]

Референце

^ M.А. Сандерс. „Цхарацтеристиц фунцтион оф тхе централ цхи-сqуаре дистрибутион” (ПДФ). Архивирано из оригинала (ПДФ) 15. 7. 2011. г. Приступљено 6. 3. 2009.
^ Пеарсон, Карл (1900). „Он тхе цритерион тхат а гивен сyстем оф девиатионс фром тхе пробабле ин тхе цасе оф а цоррелатед сyстем оф вариаблес ис суцх тхат ит цан бе реасонаблy суппосед то хаве арисен фром рандом самплинг” (ПДФ). Пхилосопхицал Магазине. Сериес 5. 50 (302): 157—175. дои:10.1080/14786440009463897.
^ Абрамоwитз, Милтон; Стегун, Ирене Анн, ур. (1983) [јун 1964]. „поглавље 26”. Хандбоок оф Матхематицал Фунцтионс wитх Формулас, Грапхс, анд Матхематицал Таблес. Апплиед Матхематицс Сериес. 55 (Нинтх репринт wитх аддитионал цоррецтионс оф тентх оригинал принтинг wитх цоррецтионс (Децембер 1972); фирст изд.). Wасхингтон D.C.; Неw Yорк: Унитед Статес Департмент оф Цоммерце, Натионал Буреау оф Стандардс; Довер Публицатионс. стр. 940. ИСБН 978-0-486-61272-0. ЛЦЦН 64-60036. МР 0167642. ЛЦЦН 65-12253.
^ НИСТ (2006). Енгинееринг Статистицс Хандбоок – Цхи-Сqуаред Дистрибутион
^ Јохнсон, Н. L.; Котз, С.; Балакрисхнан, Н. (1994). „Цхи-Сqуаре Дистрибутионс инцлудинг Цхи анд Раyлеигх”. Цонтинуоус Унивариате Дистрибутионс. 1 (Сецонд изд.). Јохн Wилеy анд Сонс. стр. 415—493. ИСБН 978-0-471-58495-7.
^ Моод, Алеxандер; Граyбилл, Франклин А.; Боес, Дуане C. (1974). Интродуцтион то тхе Тхеорy оф Статистицс (Тхирд изд.). МцГраw-Хилл. стр. 241–246. ИСБН 978-0-07-042864-5.
^ ^а ^б Пеарсон, Карл (1900). „Он тхе цритерион тхат а гивен сyстем оф девиатионс фром тхе пробабле ин тхе цасе оф а цоррелатед сyстем оф вариаблес ис суцх тхат ит цан бе реасонаблy суппосед то хаве арисен фром рандом самплинг” (ПДФ). Пхилосопхицал Магазине. Сериес 5. 50 (302): 157—175. дои:10.1080/14786440009463897.
^ Пеарсон, Карл (1893). „Цонтрибутионс то тхе матхематицал тхеорy оф еволутион [абстрацт]”. Процеедингс оф тхе Роyал Социетy. 54: 329—333. ЈСТОР 115538. дои:10.1098/рспл.1893.0079.
^ Пеарсон, Карл (1895). „Цонтрибутионс то тхе матхематицал тхеорy оф еволутион, II: Скеw вариатион ин хомогенеоус материал”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy. 186: 343—414. Бибцоде:1895РСПТА.186..343П. ЈСТОР 90649. дои:10.1098/рста.1895.0010.
^ Пеарсон, Карл (1901). „Матхематицал цонтрибутионс то тхе тхеорy оф еволутион, X: Супплемент то а мемоир он скеw вариатион”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy А. 197 (287–299): 443—459. Бибцоде:1901РСПТА.197..443П. ЈСТОР 90841. дои:10.1098/рста.1901.0023.
^ Пеарсон, Карл (1916). „Матхематицал цонтрибутионс то тхе тхеорy оф еволутион, XIX: Сецонд супплемент то а мемоир он скеw вариатион”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy А. 216 (538–548): 429—457. Бибцоде:1916РСПТА.216..429П. ЈСТОР 91092. дои:10.1098/рста.1916.0009.
^ Цоцхран, Wиллиам Г. (1952). „Тхе Цхи-сqуаре Тест оф Гооднесс оф Фит”. Тхе Анналс оф Матхематицал Статистицс. 23 (3): 315—345. ЈСТОР 2236678. дои:10.1214/аомс/1177729380.
^ Фисхер, Роналд А. (1922). „Он тхе Интерпретатион оф цхи-сqуаред фром Цонтингенцy Таблес, анд тхе Цалцулатион оф П”. Јоурнал оф тхе Роyал Статистицал Социетy. 85 (1): 87—94. ЈСТОР 2340521. дои:10.2307/2340521.
^ Фисхер, Роналд А. (1924). „Тхе Цондитионс Ундер Wхицх цхи-сqуаред Меасурес тхе Дисцрепанцеy Бетwеен Обсерватион анд Хyпотхесис”. Јоурнал оф тхе Роyал Статистицал Социетy. 87 (3): 442—450. ЈСТОР 2341149.
^ „Цхи-сqуаред Статистиц”. Працтицал Црyптограпхy. Архивирано из оригинала 18. 02. 2015. г. Приступљено 18. 2. 2015.
^ „Усинг Цхи Сqуаред то Црацк Цодес”. ИБ Матхс Ресоурцес. Бритисх Интернатионал Сцхоол Пхукет.
^ Рyабко, Б. Yа.; Стогниенко, V. С.; Схокин, Yу. I. (2004). „А неw тест фор рандомнесс анд итс апплицатион то соме црyптограпхиц проблемс” (ПДФ). Јоурнал оф Статистицал Планнинг анд Инференце. 123 (2): 365—376. дои:10.1016/с0378-3758(03)00149-6. Приступљено 18. 2. 2015.
^ Фелдман, I.; Рзхетскy, А.; Виткуп, D. (2008). „Нетwорк пропертиес оф генес харборинг инхеритед дисеасе мутатионс”. ПНАС. 105 (11): 4323—432. Бибцоде:2008ПНАС..105.4323Ф. ПМЦ 2393821 . дои:10.1073/пнас.0701722105.
^ „цхи-сqуаре-тестс” (ПДФ). Архивирано из оригинала (ПДФ) 29. 06. 2018. г. Приступљено 29. 6. 2018.

Литература

Wеисстеин, Ериц W. „Цхи-Сqуаред Тест”. МатхWорлд.
Цордер, Г. W.; Фореман, D. I. (2014), Нонпараметриц Статистицс: А Степ-бy-Степ Аппроацх, Неw Yорк: Wилеy, ИСБН 978-1118840313
Греенwоод, Циндy; Никулин, M. С. (1996), А гуиде то цхи-сqуаред тестинг, Неw Yорк: Wилеy, ИСБН 0-471-55779-X
Никулин, M. С. (1973), „Цхи-сqуаред тест фор нормалитy”, Процеедингс оф тхе Интернатионал Вилниус Цонференце он Пробабилитy Тхеорy анд Матхематицал Статистицс, 2, стр. 119—122
Багдонавициус, V.; Никулин, M. С. (2011), „Цхи-сqуаред гооднесс-оф-фит тест фор ригхт ценсоред дата” (ПДФ), Тхе Интернатионал Јоурнал оф Апплиед Матхематицс анд Статистицс, стр. 30—50 ^{[потребан је пун навод]}
Халд, Андерс (1998). А хисторy оф матхематицал статистицс фром 1750 то 1930. Неw Yорк: Wилеy. ИСБН 978-0-471-17912-2.
Елдертон, Wиллиам Палин (1902). „Таблес фор Тестинг тхе Гооднесс оф Фит оф Тхеорy то Обсерватион”. Биометрика. 1 (2): 155—163. дои:10.1093/биомет/1.2.155.
Хазеwинкел Мицхиел, ур. (2001). „Цхи-сqуаред дистрибутион”. Енцyцлопаедиа оф Матхематицс. Спрингер. ISBN 978-1556080104.
Рамсеy, ПХ (1988). „Евалуатинг тхе Нормал Аппроxиматион то тхе Биномиал Тест”. Јоурнал оф Едуцатионал Статистицс. 13 (2): 173—82. ЈСТОР 1164752. дои:10.2307/1164752.
Ланцастер, Х.О. (1969), Тхе Цхи-сqуаред Дистрибутион, Wилеy
Дасгупта, Сањоy D. А.; Гупта, Анупам К. (јануар 2003). „Ан Елементарy Прооф оф а Тхеорем оф Јохнсон анд Линденстраусс” (ПДФ). Рандом Струцтурес анд Алгоритхмс. 22 (1): 60—65. дои:10.1002/рса.10073. Приступљено 1. 5. 2012.
M. К. Симон, Пробабилитy Дистрибутионс Инволвинг Гауссиан Рандом Вариаблес, Неw Yорк: Спрингер, 2002, еq. (2.35), ISBN 978-0-387-34657-1
Боx, Хунтер анд Хунтер (1978). Статистицс фор еxпериментерс. Wилеy. стр. 118. ИСБН 978-0471093152.
Бартлетт, M. С.; Кендалл, D. Г. (1946). „Тхе Статистицал Аналyсис оф Варианце-Хетерогенеитy анд тхе Логаритхмиц Трансформатион”. Супплемент то тхе Јоурнал оф тхе Роyал Статистицал Социетy. 8 (1): 128—138. ЈСТОР 2983618. дои:10.2307/2983618.
Пиллаи, Натесх С. (2016). „Ан унеxпецтед енцоунтер wитх Цауцхy анд Лéвy”. Анналс оф Статистицс. 44 (5): 2089—2097. арXив:1505.01957 . дои:10.1214/15-аос1407.

Спољашње везе

Chi-squared test Архивирано на сајту Wayback Machine (2. август 2019)

[1] M.А. Сандерс. „Цхарацтеристиц фунцтион оф тхе централ цхи-сqуаре дистрибутион” (ПДФ). Архивирано из оригинала (ПДФ) 15. 7. 2011. г. Приступљено 6. 3. 2009.

[2] Пеарсон, Карл (1900). „Он тхе цритерион тхат а гивен сyстем оф девиатионс фром тхе пробабле ин тхе цасе оф а цоррелатед сyстем оф вариаблес ис суцх тхат ит цан бе реасонаблy суппосед то хаве арисен фром рандом самплинг” (ПДФ). Пхилосопхицал Магазине. Сериес 5. 50 (302): 157—175. дои:10.1080/14786440009463897.

[abramowitz-3] Абрамоwитз, Милтон; Стегун, Ирене Анн, ур. (1983) [јун 1964]. „поглавље 26”. Хандбоок оф Матхематицал Фунцтионс wитх Формулас, Грапхс, анд Матхематицал Таблес. Апплиед Матхематицс Сериес. 55 (Нинтх репринт wитх аддитионал цоррецтионс оф тентх оригинал принтинг wитх цоррецтионс (Децембер 1972); фирст изд.). Wасхингтон D.C.; Неw Yорк: Унитед Статес Департмент оф Цоммерце, Натионал Буреау оф Стандардс; Довер Публицатионс. стр. 940. ИСБН 978-0-486-61272-0. ЛЦЦН 64-60036. МР 0167642. ЛЦЦН 65-12253.

[4] НИСТ (2006). Енгинееринг Статистицс Хандбоок – Цхи-Сqуаред Дистрибутион

[Johnson_et_al-5] Јохнсон, Н. L.; Котз, С.; Балакрисхнан, Н. (1994). „Цхи-Сqуаре Дистрибутионс инцлудинг Цхи анд Раyлеигх”. Цонтинуоус Унивариате Дистрибутионс. 1 (Сецонд изд.). Јохн Wилеy анд Сонс. стр. 415—493. ИСБН 978-0-471-58495-7.

[6] Моод, Алеxандер; Граyбилл, Франклин А.; Боес, Дуане C. (1974). Интродуцтион то тхе Тхеорy оф Статистицс (Тхирд изд.). МцГраw-Хилл. стр. 241–246. ИСБН 978-0-07-042864-5.

[Pearson1900-7] а ^б Пеарсон, Карл (1900). „Он тхе цритерион тхат а гивен сyстем оф девиатионс фром тхе пробабле ин тхе цасе оф а цоррелатед сyстем оф вариаблес ис суцх тхат ит цан бе реасонаблy суппосед то хаве арисен фром рандом самплинг” (ПДФ). Пхилосопхицал Магазине. Сериес 5. 50 (302): 157—175. дои:10.1080/14786440009463897.

[Pearson1893-8] Пеарсон, Карл (1893). „Цонтрибутионс то тхе матхематицал тхеорy оф еволутион [абстрацт]”. Процеедингс оф тхе Роyал Социетy. 54: 329—333. ЈСТОР 115538. дои:10.1098/рспл.1893.0079.

[Pearson1895-9] Пеарсон, Карл (1895). „Цонтрибутионс то тхе матхематицал тхеорy оф еволутион, II: Скеw вариатион ин хомогенеоус материал”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy. 186: 343—414. Бибцоде:1895РСПТА.186..343П. ЈСТОР 90649. дои:10.1098/рста.1895.0010.

[Pearson1901-10] Пеарсон, Карл (1901). „Матхематицал цонтрибутионс то тхе тхеорy оф еволутион, X: Супплемент то а мемоир он скеw вариатион”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy А. 197 (287–299): 443—459. Бибцоде:1901РСПТА.197..443П. ЈСТОР 90841. дои:10.1098/рста.1901.0023.

[Pearson1916-11] Пеарсон, Карл (1916). „Матхематицал цонтрибутионс то тхе тхеорy оф еволутион, XIX: Сецонд супплемент то а мемоир он скеw вариатион”. Пхилосопхицал Трансацтионс оф тхе Роyал Социетy А. 216 (538–548): 429—457. Бибцоде:1916РСПТА.216..429П. ЈСТОР 91092. дои:10.1098/рста.1916.0009.

[Cochran1952-12] Цоцхран, Wиллиам Г. (1952). „Тхе Цхи-сqуаре Тест оф Гооднесс оф Фит”. Тхе Анналс оф Матхематицал Статистицс. 23 (3): 315—345. ЈСТОР 2236678. дои:10.1214/аомс/1177729380.

[Fisher1922-13] Фисхер, Роналд А. (1922). „Он тхе Интерпретатион оф цхи-сqуаред фром Цонтингенцy Таблес, анд тхе Цалцулатион оф П”. Јоурнал оф тхе Роyал Статистицал Социетy. 85 (1): 87—94. ЈСТОР 2340521. дои:10.2307/2340521.

[Fisher1924-14] Фисхер, Роналд А. (1924). „Тхе Цондитионс Ундер Wхицх цхи-сqуаред Меасурес тхе Дисцрепанцеy Бетwеен Обсерватион анд Хyпотхесис”. Јоурнал оф тхе Роyал Статистицал Социетy. 87 (3): 442—450. ЈСТОР 2341149.

[practicalcrypto-15] „Цхи-сqуаред Статистиц”. Працтицал Црyптограпхy. Архивирано из оригинала 18. 02. 2015. г. Приступљено 18. 2. 2015.

[ibmath-16] „Усинг Цхи Сqуаред то Црацк Цодес”. ИБ Матхс Ресоурцес. Бритисх Интернатионал Сцхоол Пхукет.

[elsevier-17] Рyабко, Б. Yа.; Стогниенко, V. С.; Схокин, Yу. I. (2004). „А неw тест фор рандомнесс анд итс апплицатион то соме црyптограпхиц проблемс” (ПДФ). Јоурнал оф Статистицал Планнинг анд Инференце. 123 (2): 365—376. дои:10.1016/с0378-3758(03)00149-6. Приступљено 18. 2. 2015.

[pnas-bics-18] Фелдман, I.; Рзхетскy, А.; Виткуп, D. (2008). „Нетwорк пропертиес оф генес харборинг инхеритед дисеасе мутатионс”. ПНАС. 105 (11): 4323—432. Бибцоде:2008ПНАС..105.4323Ф. ПМЦ 2393821 . дои:10.1073/пнас.0701722105.

[chi-bics-19] „цхи-сqуаре-тестс” (ПДФ). Архивирано из оригинала (ПДФ) 29. 06. 2018. г. Приступљено 29. 6. 2018.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]