Regneprosedyre: Utlede SME

Anta at vi har uavhengige stokastiske variabler \(X_1,X_2,\ldots,X_n\) hvor \(X_i\sim f_{X_i}(x_i;\theta)\), der verdien til parameteren \(\theta\) er ukjent. Vi ønsker å finne en estimator for \(\theta\).

Vi benytter sannsynlighetsmaksimeringsprinsippet (SMP) til å definere en estimator for \(\theta\). Dette betyr at man velger som estimat for \(\theta\) den verdien av \(\theta\) som gjør det mest sannsynlig å observere det man faktisk har observert.

Fremgangsmåten for å utlede SME er:

1. Finn simultanfordelingen for \(X_1,X_2,\ldots,X_n\). Siden vi har antatt at \(X_1,X_2,\ldots,X_n\) er uavhengige av hverandre finner vi simultanfordelingen ved å gange sammen fordelingen til hver av \(X_1,X_2,\ldots,X_n\), \[f(x_1,x_2,\ldots,x_n;\theta) = \prod_{i=1}^n f_{X_i}(x_i;\theta).\]
2. Finn rimelighetsfunksjonen, \[ L(\theta) = f(x_1,x_2,\ldots,x_n;\theta) = \prod_{i=1}^n f_{X_i}(x_i;\theta).\] Man bør merke seg at formelen for rimelighetsfunksjonen er identisk med formelen for simultanfordelingen \(f(x_1,x_2,\ldots,x_n;\theta)\). Forskjellen mellom de to er kun hvilke variabler som er fastholdt og hvilke variabler man betrakter uttrykket å være en funksjon av. Det å etablere rimelighetsfunskjonen innebærer dermed ikke noe regnearbeid, det er kun en endring av perspektiv.
3. Finn formel for log-rimelighetsfunksjonen, \[ l(\theta) = \ln L(\theta) = \sum_{i=1}^n \ln [f_{X_i}(x_i;\theta)].\]
4. Maksimer \(l(\theta)\) med hensyn på \(\theta\). I de fleste tilfeller vi ser på kan dette gjøres ved a) derivere log-rimelighetsfunksjonen, dvs. finne \(l^\prime (\theta)\), b) løse \(l^\prime(\theta)=0\) med hensyn på \(\theta\), og c) sjekke at man har funnet et maksimum (og ikke et minimum) ved sjekke fortegnet til \(l^{\prime\prime}(\theta)\).
5. Konkludere ved å skrive opp estimatoren. Dette gjør vi ved å ta utgangspunkt i maksimumspunktet vi fant i forrige punkt og så erstatte \(\theta\) med \(\widehat{\theta}\) og de observerte verdiene \(x_1,x_2,\ldots,x_n\) med tilhørende stokastiske variabler \(X_1,X_2,\ldots,X_n.\) Dersom \(l(\theta)\) har sitt maksimum for \(\theta=u(x_1,x_2,\ldots,x_n)\) blir SME gitt ved \[\widehat{\theta} = u(X_1,X_2,\ldots,X_n).\]

Kommentarer

Når man i punkt 4 over skal maksimere log-rimelighetsfunksjonen, \(l(\theta)\), med hensyn på \(\theta\), må man huske på at funksjonen \(l(\theta)\) kan ha sitt maksimum i et

• kritisk punkt for \(l(\theta)\), dvs. en verdi av \(\theta\) der \(l^\prime(\theta)=0\),
• singulært punkt for \(l(\theta)\), dvs. en verdi av \(\theta\) der \(l^\prime(\theta)\) ikke eksisterer, for eksempel et knekkpunkt eller diskontinuitetspunkt, eller
• i en verdi på randen av definisjonsområdet til funksjonen \(l(\theta)\).

I de fleste tilfellene vi vil se på vil man finne maksimum i et kritisk punkt, men man kan også kunne komme borti situasjoner hvor maksimumverdien befinner seg i et singulært punkt eller på randen av verdiområdet.

Noen sannsynlighetsmaksimeringsestimatorer er forventningrette, mens andre er forventningsskjeve. Etter at man har utledet en SME er det derfor naturlig å vurdere dens egenskaper ved å sjekke om den er forventningsrett.

Eksempler

Nederst på siden finner du lenker til eksempler hvor utregningen av SME er regnet ut i detalj for to situasjoner. I det ene av disse to tilfellene fungerer det å sette den deriverte av log-rimelighetsfunksjonen lik null, mens i det andre tilfellet fungerer ikke dette.