Najmanji kvadrati

Rezultat uklapanja skupa tačaka podataka sa kvadratnom funkcijom

Konično uklapanje skupa tačaka koristeći aproksimaciju najmanjih kvadrata

Metod najmanjih kvadrata je metod procene parametara u regresionoj analizi zasnovan na minimizovanju zbira kvadrata ostataka (ostatak je razlika između posmatrane vrednosti i prilagođene vrednosti koju daje model) napravljenih u rezultatima svake pojedinačne jednačine. (Jednostavnije, najmanji kvadrati su matematički postupak za pronalaženje krive koja najbolje odgovara datom skupu tačaka minimizovanjem zbira kvadrata pomaka („ostataka“) tačaka od krive.)

Najvažnija primena je u uklapanju podataka. Kada problem ima značajne nesigurnosti u nezavisnoj promenljivoj (promenljiva x), onda jednostavne metode regresije i metode najmanjih kvadrata imaju probleme; u takvim slučajevima, metodologija potrebna za uklapanje modela grešaka u promenljivim može se uzeti u obzir umesto one za najmanje kvadrate.

Problemi najmanjih kvadrata spadaju u dve kategorije: linearni ili obični najmanji kvadrati i nelinearni najmanji kvadrati, u zavisnosti od toga da li su funkcije modela linearne u svim nepoznatim. Problem linearnih najmanjih kvadrata javlja se u statističkoj regresionoj analizi; ima rešenje zatvorenog oblika. Nelinearni problem se obično rešava iterativnim prečišćavanjem; na svakoj iteraciji sistem se aproksimira linearnim, tako da je proračun jezgra sličan u oba slučaja.

Polinomni najmanji kvadrati opisuju varijansu u predviđanju zavisne promenljive kao funkcije nezavisne promenljive i odstupanja od postavljene krive.

Kada zapažanja dolaze iz eksponencijalne porodice sa identitetom kao što je njena prirodna dovoljna statistika i blagi uslovi su zadovoljeni (npr. za normalnu, eksponencijalnu, Poasonovu i binomnu raspodelu), standardizovane procene najmanjih kvadrata i procene maksimalne verovatnoće su identične. Metod najmanjih kvadrata se takođe može izvesti kao metod procene momenata.

Sledeća diskusija je uglavnom predstavljena u vidu linearnih funkcija, ali je upotreba najmanjih kvadrata validna i praktična za opštije porodice funkcija. Takođe, iterativnom primenom lokalne kvadratne aproksimacije na verovatnoću (preko Fišerove informacije), metoda najmanjih kvadrata se može koristiti za uklapanje u generalizovani linearni model.

Metod najmanjih kvadrata zvanično je otkrio i objavio Adrijen-Mari Ležandr (1805), iako se obično pripisuje i Karlu Fridrihu Gausu (1809), koji je doprineo značajnim teorijskim naprecima metoda, i možda ga je takođe koristio u svojim ranijim radovima 1794. i 1795. godine.

Literatura

• Björck, Å. (1996). Numerical Methods for Least Squares Problems. SIAM. ISBN 978-0-89871-360-2. 
• Kariya, T.; Kurata, H. (2004). Generalized Least Squares. Hoboken: Wiley. ISBN 978-0-470-86697-9. 
• Luenberger, D. G. (1997) [1969]. „Least-Squares Estimation”. Optimization by Vector Space Methods. New York: John Wiley & Sons. стр. 78—102. ISBN 978-0-471-18117-0. 
• Rao, C. R.; Toutenburg, H.; et al. (2008). Linear Models: Least Squares and Alternatives. Springer Series in Statistics (3rd изд.). Berlin: Springer. ISBN 978-3-540-74226-5. 
• Van de moortel, Koen (април 2021). „Multidirectional regression analysis”. CS1 одржавање: Формат датума (веза)
• Wolberg, J. (2005). Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments. Berlin: Springer. ISBN 978-3-540-25674-8. 

Spoljašnje veze

• Mediji vezani za članak Najmanji kvadrati na Vikimedijinoj ostavi