Finne den beste av en familie av estimatorer
Eksempel
Vi har diskutert hvilke egenskaper man ønsker for en god estimator, man ønsker at en estimator er forventningsrett og at den er mest mulig effisient. Basert på dette har vi formulert en regneprosedyre man kan benytte for å avgjøre hvilken av flere estimatorer som er best. På temasida du ser på nå ser vi på hvordan denne prosedyren kan brukes til å finne den beste estimatoren i en familie av estimatorer.
Finne den beste av en familie av estimatorer
Anta at vi har et tilfeldig utvalg \(X_1,X_2,\ldots,X_n\) fra en fordeling hvor \(\text{E}[X_i]=\mu\) og \(\text{Var}[X_i]=\sigma^2\) for \(i=1,2,\ldots,n.\) Anta videre at vi også har et annet tilfeldig utvalg \(Y_1,Y_2,\ldots,Y_m\) fra en fordeling hvor \(\text{E}[Y_j]=\mu\) og \(\text{Var}[Y_j]=4\sigma^2,\) og at \(Y_1,Y_2,\ldots,Y_m\) er uavhengige av \(X_1,X_2,\ldots,X_n.\) For å estimere \(\mu\) basert på \(X_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m\) er det foreslått en estimator \[\widehat{\mu} = \frac{a}{n}\sum_{i=1}^n X_i + \frac{b}{m}\sum_{j=1}^m Y_j,\] der \(a\) og \(b\) er to konstanter. Bestem hvilke verdier for \(a\) og \(b\) som gjør at estimatoren \(\widehat{\mu}\) blir best.
Utregning
Vi starter med å finne for hvilke verdier \(\widehat{\mu}\) er forventningsrett. Vi gjør dette ved å finne forventingsverdien til \(\widehat{\mu}\) og så kreve at denne skal være lik \(\mu.\) For å finne forventningsverdien til \(\mu\) bruker vi regneregler for forventningsverdi til en lineær fnksjon,
\[ \begin{align} \text{E}[\widehat{\mu}] &= \text{E}\!\left[ \frac{a}{n}\sum_{i=1}^n X_i + \frac{b}{m}\sum_{j=1}^m Y_j\right]\\ &=\text{E}\!\left[ \frac{a}{n}\sum_{i=1}^n X_i\right] + \text{E}\!\left[\frac{b}{m}\sum_{j=1}^m Y_j\right]\\ &=\frac{a}{n}\text{E}\!\left[ \sum_{i=1}^n X_i\right] + \frac{b}{m}\text{E}\!\left[\sum_{j=1}^m Y_j\right]\\ &= \frac{a}{n}\sum_{i=1}^n\text{E}\left[ X_i\right] + \frac{b}{m}\sum_{j=1}^m\text{E}\left[ Y_j\right]\\ &= \frac{a}{n}\sum_{i=1}^n\mu + \frac{b}{m}\sum_{j=1}^m\mu\\ &= \frac{a}{n}n\mu + \frac{b}{m}m\mu\\ &= a\mu + b\mu\\ &= (a+b)\mu, \end{align} \]
der vi i den fjerde siste overgangen brukte informasjonen gitt i oppgaveteksten om at \(\text{E}[X_i]=\mu\) og \(\text{E}[Y_j]=\mu.\) Ved å kreve at \(\mu\) får vi dermed,
\[ \begin{align} \text{E}[\widehat{\mu}] &= \mu\\ (a+b)\mu &= \mu\\ a+b&=1. \end{align} \]
Dermed har vi at \(a+b=1\Leftrightarrow b=1-a.\) Ved å sette \(b=1-a\) inn i uttrykket gitt for \(\widehat{\mu}\) får vi
\[ \begin{align} \widehat{\mu} = \frac{a}{n}\sum_{i=1}^n X_i + \frac{1-a}{m}\sum_{j=1}^m Y_j. \end{align} \]
Vi regner så ut variansen til denne forventningsrette estimatoren. For å gjøre dette bruker vi regneregler for varians til lineære funksjoner og husker spesielt på at alle \(X_i\)-ene og \(Y_j\)-ene er antatt å være uavhengige av hverandre og at konstanter som settes utenfor \(\text{Var}\) må kvadreres. Vi får da
\[ \begin{align} \text{Var}[\widehat{\mu}] &= \text{Var}\!\left[ \frac{a}{n}\sum_{i=1}^n X_i + \frac{1-a}{m}\sum_{j=1}^m Y_j \right]\\ &= \text{Var}\!\left[ \frac{a}{n}\sum_{i=1}^n X_i\right] + \text{Var}\!\left[\frac{1-a}{m}\sum_{j=1}^m Y_j \right]\\ &= \left(\frac{a}{n}\right)^2 \text{Var}\!\left[ \sum_{i=1}^n X_i\right] + \left(\frac{1-a}{m}\right)^2\text{Var}\!\left[\sum_{j=1}^m Y_j \right]\\ &= \left(\frac{a}{n}\right)^2 \sum_{i=1}^n \text{Var}\!\left[ X_i\right] + \left(\frac{1-a}{m}\right)^2\sum_{j=1}^m\text{Var}\!\left[ Y_j \right]\\ &= \left(\frac{a}{n}\right)^2 \sum_{i=1}^n \sigma^2 + \left(\frac{1-a}{m}\right)^2\sum_{j=1}^m4\sigma^2\\ &= \frac{a^2}{n^2} n \sigma^2 + \frac{(1-a)^2}{m^2}m4\sigma^2\\ &=\left(\frac{a^2}{n} + \frac{4(1-a)^2}{m}\right) \sigma^2. \end{align} \]
For å finne hvilken verdi av \(b\) som gjør \(\widehat{\mu}\) mest effisient, dvs som gjør variansen til \(\widehat{\mu}\) minst, kan vi derivere dette uttrykket for \(\text{Var}[\widehat{\mu}]\) med hensyn på \(a\) og så sette den deriverte lik null. Den deriverte blir
\[ \begin{align} \frac{\partial}{\partial a}\text{Var}[\widehat{\mu}] &= \frac{\partial}{\partial a} \left[\left(\frac{a^2}{n} + \frac{4(1-a)^2}{m}\right) \sigma^2\right]\\ &= \left(\frac{2a}{n} + \frac{4\cdot 2(1-a)\cdot (-1)}{m}\right)\sigma^2\\ &=\frac{2am - 8n(1-a)}{nm}\sigma^2. \end{align} \]
For å finne hvilken verdi av \(a\) som gir minst varins løser vi ligningen \(\frac{\partial}{\partial a}\text{Var}[\widehat{\mu}]\) med hensyn på \(a.\) Dette gir at
\[ \begin{align} 2am - 8n(1-a) &= 0\\ am-4n+4an &= 0\\ a(m+4n) &= 4n\\ a &= \frac{4n}{m+4n}. \end{align} \]
For å sjekke at dette faktisk er et minimumspunkt og ikke et maksimumspunkt bør vi også regne ut den andrederiverte og sjekke at denne har riktig fortegn. Den andrederiverte til variansen blir
\[ \begin{align} \frac{\partial^2}{\partial a^2}\text{Var}[\widehat{a}] &= \frac{\partial}{\partial a} \left[\frac{2am - 8n(1-a)}{nm}\sigma^2 \right]\\ &=\frac{2m - 8n\cdot (-1)}{nm}\sigma^2\\ &= \frac{2m+8n}{nm}\sigma^2\\ &> 0, \end{align} \]
og siden den andrederiverte er positiv har vi funnet et minimumspunkt. Estimatoren blir dermed forventningsrett og får minst varians ved å velge \(a=\frac{4n}{m+4n}\) og \(b=1-a=\frac{m+4n-4n}{m+4n}=\frac{m}{m+4n}.\) Svaret er dermed at estimatoren blir best ved verdiene \[\underline{\underline{a=\frac{4n}{m+4n}~~~\text{og}~~~b=\frac{m}{m+4n}}}.\] For disse verdiene av \(a\) og \(b\) kan estimatoren skrives på formen
\[ \begin{align} \widehat{\mu} &= \frac{4}{m+4n}\sum_{i=1}^n X_i + \frac{1}{m+4n}\sum_{j=1}^m Y_j\\ &=\frac{1}{n+\frac{m}{4}}\sum_{i=1}^n X_i + \frac{1}{n+\frac{m}{4}}\cdot \frac{1}{4}\sum_{j=1}^m Y_j\\ &= \frac{1}{n+\frac{m}{4}} \left(\sum_{i=1}^n X_i + \frac{1}{4}\sum_{j=1}^m Y_j\right). \end{align} \]