Maximal sannolikhetsuppskattning

Innehållsförteckning:

Anonim

Maximum Likelihood Estimate (VLE) är en allmän modell för att uppskatta parametrar för en sannolikhetsfördelning som beror på observationerna i urvalet.

Med andra ord maximerar EMV sannolikheten för parametrarna för densitetsfunktionerna som beror på sannolikhetsfördelningen och observationerna i provet.

När vi pratar om maximal sannolikhetsuppskattning måste vi prata om fungera maximal sannolikhet. Matematiskt ges ett prov x = (x1, …, Xn) och parametrar, θ = (θ1,…, Θn) sedan,

Ingen panik! Denna symbol betyder samma som summeringen av summan. I det här fallet är det multiplikationen av alla densitetsfunktioner som beror på provobservationerna (xi) och parametrarna θ.

Ju större värdet på L (θ | x), det vill säga värdet på maximal sannolikhetsfunktion, desto mer sannolikt kommer de provbaserade parametrarna att vara.

Logaritmisk funktion av EMV

För att hitta maximala sannolikhetsuppskattningar måste vi skilja (härleda) produkterna från densitetsfunktioner och detta är inte det mest bekväma sättet att göra det.

När vi stöter på komplicerade funktioner kan vi göra en monoton transformation. Med andra ord skulle det vara som att vilja dra Europa i verklig skala. Vi borde skala ner den så att den kan passa på ett pappersark.

I det här fallet gör vi den monotona omvandlingen med hjälp av naturliga logaritmer eftersom de är monotona och ökar funktionerna. Matematiskt,

Egenskaperna hos logaritmer tillåter oss att uttrycka multiplikationen ovan som summan av naturliga logaritmer som tillämpas på densitetsfunktionerna.

Så den monotona omvandlingen genom logaritmer är helt enkelt en "skalförändring" till mindre antal.

Det uppskattade värdet av parametrarna som maximerar sannolikheten för parametrarna för maximal sannolikhetsfunktion med logaritmer motsvarar det uppskattade värdet för parametrarna som maximerar sannolikheten för parametrarna för den ursprungliga maximala sannolikhetsfunktionen.

Så vi kommer alltid att hantera den monotona modifieringen av maximal sannolikhetsfunktion med tanke på att den är lättare att beräkna.

Nyfikenhet

Så komplicerat och konstigt som EMV kan verka, använder vi det kontinuerligt utan att inse det.

När?

I alla uppskattningar av parametrarna för en linjär regression under klassiska antaganden. Mer känt som vanliga minsta kvadrater (OLS).

Med andra ord, när vi tillämpar OLS, använder vi EMV implicit eftersom båda är ekvivalenta när det gäller konsistens.

App

Liksom andra metoder baseras EMV på iteration. Det vill säga upprepa en viss operation så många gånger som krävs för att hitta det maximala eller minsta värdet för en funktion. Denna process kan vara föremål för begränsningar av parametrarnas slutliga värden. Till exempel att resultatet är större än eller lika med noll eller att summan av två parametrar måste vara mindre än en.

Den symmetriska GARCH-modellen och dess olika förlängningar tillämpar EMV för att hitta det uppskattade värdet av parametrarna som maximerar sannolikheten för parametrarna för densitetsfunktionerna.