Egenskaper til regresjonsestimatorene

En enkel lineær regresjonsmodell har tre modellparametre, \(\beta_0,\) \(\beta_1\) og \(\sigma^2.\) Ved å benytte minste kvadraters metode får man estimatorer for \(\beta_0\) og \(\beta_1,\) mens ved å benytte sannsynlighetsmaksimeringsprinsippet får man sannsynlighetsmaksimeringsestimatorer for alle tre parametrene. På temasiden du ser på nå ser vi på egenskapene til disse estimatorene. Vi regner ut forventning og varians for estimatorene og diskuterer hvilke sannsynlighetsfordeling de har.

Egenskaper til regresjonsestimatorene

Vi ønsker her å bestemme egenskapene til estimatorene \[\begin{align}\widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2},\\ \widehat{\beta}_0 &= \bar{Y} - \widehat{\beta}_1 \bar{x}\\ \widehat{\sigma}^2 &= \frac{1}{n}\sum_{i=1}^n \left(Y_i-\widehat{\beta}_0-\widehat{\beta}_1x_i\right)^2.\end{align}\]

Estimatorene \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\) fremkommer både ved å benytte minste kvadraters metode og som sannsynlighetsmaksimeringsestimatorer. Estimatoren \(\widehat{\sigma}^2\) får man ved å bruke sannsynlighetsmaksimeringsestimatorer, men ikke fra minste kvadraters metode. Vi formulerer nå teoremer som angir egenskaper til hver av de tre estimatorene. Utgangspunktet for å bevise disse teoremene er modellantagelsene spesifisert når vi utledet sannsynlighetsmaksimeringsestimatorene for en enkel lineær regresjonsmodell, dvs. vi antar at \(Y_1,Y_2\ldots,Y_n\) er uavhengige og at \[Y_i\sim \text{N}(\beta_0+\beta_1 x_i,\sigma^2).\]

Til slutt på denne temasiden formulerer vi teoremer som etablerer at noen størrelser relatert til de tre estimatorene er uavhengige. Disse uavhengighetsegenskapene er viktige når man skal gjøre inferens om regresjonsparametrene.

Egenskaper til \(\widehat{\beta}_1\)

Det er tre egenskaper vi må vise for \(\widehat{\beta}_1,\) at estimatoren er normalfordelt og de gitte uttrykkene for forventningsverdi og varians. Vi starter med å bevise at \(\widehat{\beta}_1\) er normalfordelt.

Uttrykket vi har for \(\widehat{\beta}_1\) er \[\widehat{\beta}_1 = \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\] Vi ser her at \(\widehat{\beta}_1\) er en lineær funksjon av \(Y_i\)'ene. Mer detaljert ser vi dette ved at vi kan skrive \[\begin{align}\widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{k=1}^n (x_k-\bar{x})^2}\\ &= \sum_{i=1}^n \frac{x_i-\bar{x}}{\sum_{k=1}^n (x_k-\bar{x})^2} Y_i\\ &= \sum_{i=1}^n a_i Y_i\end{align}\] der \[a_i = \frac{x_i-\bar{x}}{\sum_{k=1}^n (x_k-\bar{x})^2}\] for \(i=1,2,\ldots,n\) er konstanter. Siden vi i modellen antar at \(Y_i\)'ene er uavhengige og normalfordelte har vi dermed at \(\widehat{\beta}_1\) er en lineær funksjon av uavhengige og normalfordelte variabler. Siden vi alltid har at en lineær funksjon av uavhengige og normalfordelte variabler er normalfordelt er dermed \(\widehat{\beta}_1\) normalfordelt.

Vi regner så ut forventningsverdien til \(\widehat{\beta}_1.\) Det er da viktig å huske på at vi i modellen har valgt å betrakte \(x_i\)-ene som konstanter eller tall, ikke som stokastiske variabler. Ved å benytte at konstanter kan settes utenfor forventningsoperatoren \(\mbox{E}\), at summetegn kan settes utenfor \(\text{E}\) og modellantagelsen \(\mbox{E}[Y_i]=\beta_0+\beta_1x_i\) får vi

\[ \begin{align} &\mbox{E}\left[\widehat{\beta}_1\right] = \mbox{E}\left[ \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\right]\\ &= \frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2} \mbox{E}\left[ \sum_{i=1}^n (x_i-\bar{x})Y_i\right]\\ &= \frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2} \sum_{i=1}^n \mbox{E}\left[ (x_i-\bar{x})Y_i\right]\\ &= \frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2} \sum_{i=1}^n (x_i-\bar{x}) \mbox{E}\left[ Y_i\right]\\ &= \frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2} \sum_{i=1}^n (x_i-\bar{x}) (\beta_0+\beta_1x_i)\\ &= \frac{\sum_{i=1}^n \left[ (x_i-\bar{x})\beta_0+ (x_i-\bar{x})\beta_1x_i\right]}{\sum_{i=1}^n (x_i-\bar{x})^2} \\ &= \frac{\left[ \beta_0\sum_{i=1}^n (x_i-\bar{x})+ \beta_1\sum_{i=1}^n (x_i-\bar{x})x_i\right]}{\sum_{i=1}^n (x_i-\bar{x})^2}. \end{align} \]

Siden \(\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i\) har vi at \[\begin{align}\sum_{i=1}^n (x_i-\bar{x}) &= \sum_{i=1}^n x_i - \sum_{i=1}^n \bar{x}\\ &= \sum_{i=1}^n x_i - n\bar{x}\\ &= \sum_{i=1}^n x_i - n\, \frac{1}{n}\sum_{i=1}^n x_i\\ &= 0\end{align}\] slik at vi får at \[\begin{align} \mbox{E}\left[\widehat{\beta}_1\right] &= \frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2} \, \beta_1\sum_{i=1}^n (x_i-\bar{x})x_i\\ &= \beta_1 \frac{\sum_{i=1}^n (x_i-\bar{x})x_i}{\sum_{i=1}^n (x_i-\bar{x})^2}.\end{align}\] Dessuten har vi at \[\begin{align} \sum_{i=1}^n (x_i-\bar{x})^2 &= \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})\\ &= \sum_{i=1}^n \left[ (x_i-\bar{x})x_i - (x_i-\bar{x})\bar{x}\right]\\ &= \sum_{i=1}^n (x_i-\bar{x})x_i - \bar{x}\sum_{i=1} (x_i-\bar{x})\\ &= \sum_{i=1}^n (x_i-\bar{x})x_i\end{align}\] der vi i den siste overgangen benyttet at \(\sum_{i=1}^n (x_i-\bar{x})=0\) som akkurat vist. Dermed har vi at \[\mbox{E}\left[\widehat{\beta}_1\right] = \beta_1\] slik at \(\widehat{\beta}_1\) er en forventningsrett estimator for \(\beta_1\).

Vi regner så ut variansen til \(\widehat{\beta}_1.\) Ved å benytte at konstanter som settes utenfor variansoperatoren \(\mbox{Var}\) må kvadreres, at \(Y_i\)'ene er uavhengige og at variansen av en sum av uavhengige stokastiske variabler er lik summen av variansene, samt modellantagelsen \(\mbox{Var}[Y_i]=\sigma^2\) får vi \[\begin{align}&\mbox{Var}\!\left[\widehat{\beta}_1\right] = \mbox{Var}\!\left[\frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\right]\\ &= \left(\frac{1}{\sum_{i=1}^n (x_i-\bar{x})^2}\right)^2 \mbox{Var}\!\left[\sum_{i=1}^n (x_i-\bar{x})Y_i\right]\\ &= \frac{1}{\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)^2} \sum_{i=1}^n \mbox{Var}\!\left[ (x_i-\bar{x})Y_i\right]\\ &= \frac{1}{\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)^2} \sum_{i=1}^n (x_i-\bar{x})^2 \mbox{Var}\left[ Y_i\right]\\ &= \frac{1}{\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)^2} \sum_{i=1}^n (x_i-\bar{x})^2 \sigma^2\\ &= \frac{\sigma^2 \sum_{i=1}^n (x_i-\bar{x})^2}{\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)^2} \\ &= \frac{\sigma^2}{\sum_{i=1}^n (x_i-\bar{x})^2}.\end{align}\]

Kommentar

Teoremet gir altså at \[\widehat{\beta}_1 \sim \text{N}\!\left( \beta_1,\frac{\sigma^2}{\sum_{i=1}^n (x_i-\bar{x})^2}\right).\] Ved å standardisere får vi \[\frac{\widehat{\beta}_1-\beta_1}{\sqrt{\frac{\sigma^2}{\sum_{i=1}^n (x_i-\bar{x})^2}}}\sim\text{N}(0,1).\] Dette siste uttrykket blir viktig når man skal konstruere et konfidensintervall eller gjøre en hypotesetest om \(\beta_1.\)

Egenskaper til \(\widehat{\beta}_0\)

Det er tre egenskaper vi må vise for \(\widehat{\beta}_0,\) at estimatoren er normalfordelt og de gitte uttrykkene for forventningsverdi og varians. Vi starter med å bevise at \(\widehat{\beta}_0\) er normalfordelt.

Utrykket vi har for \(\widehat{\beta}_0\) er \[\widehat{\beta}_0 = \bar{Y} - \widehat{\beta}_1 \bar{x}.\] Vi ser her at \(\widehat{\beta}_0\) er en lineær funksjon av \(Y_i\)'ene. Mer detaljert ser vi dette ved at vi ved å sette inn uttrykkene vi har for \(\bar{Y}\) og \(\widehat{\beta}_1\) får at \[\begin{align} \widehat{\beta}_0 &= \frac{1}{n}\sum_{i=1}^n Y_i + \left[ \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{k=1}^n (x_k-\bar{x})^2}\right] \bar{x}\\ &= \frac{1}{n}\sum_{i=1}^n Y_i + \sum_{i=1}^n \frac{\bar{x}(x_i-\bar{x})}{\sum_{k=1}^n (x_k-\bar{x})^2} Y_i\\ &= \sum_{i=1}^n \left[ \frac{1}{n} + \frac{\bar{x}(x_i-\bar{x})}{\sum_{k=1}^n (x_k-\bar{x})^2}\right] Y_i\\ &= \sum_{i=1}^n b_iY_i,\end{align}\] der \[b_i = \frac{1}{n} + \frac{\bar{x}(x_i-\bar{x})}{\sum_{k=1}^n (x_k-\bar{x})^2}\] for \(i=1,2,\ldots,n\) er konstanter. Siden vi i modellen har antatt at \(Y_i\)'ene er uavhengige og normalfordelte har vi dermed at \(\widehat{\beta}_0\) er en lineær funksjon av uavhengige og normalfordelte variabler. Siden vi alltid har at en lineær funksjon av uavhengige og normalfordelte variabler er normalfordelt er dermed \(\widehat{\beta}_0\) normalfordelt.

Vi regner så ut forventningsverdien til \(\widehat{\beta}_0.\) Det er da viktig å huske på at vi i modellen har valgt å betrakte \(x_i\)-ene som konstanter eller tall, ikke som stokastiske variabler. Ved å benytte at konstanter kan settes utenfor forventningsoperatoren \(\mbox{E}\), at forventningsverdien til en sum er lik summen av forventningsverdiene, at \(\widehat{\beta}_1\) er forventningsrett og modellantagelsen \(\mbox{E}[Y_i]=\beta_0+\beta_1x_i\) får vi at \[\begin{align} \mbox{E}\left[\widehat{\beta}_0\right] &= \mbox{E}\left[\bar{Y} - \widehat{\beta}_1 \bar{x}\right]\\ &= \mbox{E}\left[\bar{Y}\right] - \mbox{E}\left[\widehat{\beta}_1 \bar{x}\right]\\ &= \mbox{E}\left[\frac{1}{n}\sum_{i=1}^n Y_i\right] - \mbox{E}\left[\widehat{\beta}_1\right]\bar{x}\\ &= \frac{1}{n} \mbox{E}\left[\sum_{i=1}^n Y_i\right] - \beta_1\bar{x}\\ &= \frac{1}{n} \sum_{i=1}^n \mbox{E}\left[Y_i\right] - \beta_1\bar{x}\\ &= \frac{1}{n} \sum_{i=1}^n (\beta_0 +\beta_1x_i) - \beta_1\bar{x}\\ &= \frac{1}{n} \left[n \beta_0 +\beta_1\sum_{i=1}^n x_i\right] - \beta_1\bar{x}\\ &= \frac{1}{n}\cdot n \beta_0 +\beta_1\left[ \frac{1}{n}\sum_{i=1}^n x_i - \bar{x}\right]\\ &= \beta_0,\end{align}\] der vi i den siste overgangen har benyttet at \(\bar{x}=\frac{1}{n}\sum_{i=1}^n\). Dermed er \(\widehat{\beta}_0\) en forventningsrett estimator for \(\beta_0\).

Vi regner så ut variansen til \(\widehat{\beta}_0.\) Når vi skal finne variansen til \(\widehat{\beta}_0\) er det viktig å huske på at vi ikke vet om \(\bar{Y}\) og \(\widehat{\beta}_1\) er uavhengige eller avhengige. Vi må dermed regne som om disse er avhengige. Vi får dermed \[\begin{align} &\mbox{Var}\!\left[\widehat{\beta}_0\right] = \mbox{Var}\!\left[\bar{Y} - \widehat{\beta}_1 \bar{x}\right]\\ &= \mbox{Var}\!\left[\bar{Y} + (- \widehat{\beta}_1 \bar{x})\right]\\ &= \mbox{Var}\!\left[\bar{Y}\right] + \mbox{Var}\!\left[- \widehat{\beta}_1 \bar{x}\right] + 2\mbox{Cov}\!\left[\bar{Y},- \widehat{\beta}_1 \bar{x}\right]\\ &= \mbox{Var}\!\left[\bar{Y}\right] + \left(-\bar{x}\right)^2 \mbox{Var}\!\left[\widehat{\beta}_1\right]\\ &~~~~~ + 2\cdot \left(-\bar{x}\right) \mbox{Cov}\!\left[ \bar{Y},\widehat{\beta}_1\right]\\ &= \mbox{Var}\!\left[\bar{Y}\right] + \bar{x}^2 \, \mbox{Var}\!\left[\widehat{\beta}_1\right] - 2\, \bar{x}\, \mbox{Cov}\!\left[ \bar{Y},\widehat{\beta}_1\right],\end{align}\] der vi har benyttet at konstanter kan settes utenfor kovariansoperatoren \(\mbox{Cov}\). Variansen \(\mbox{Var}\!\left[\widehat{\beta}_1\right]\) har vi allerede funnet, så vi trenger nå å finne \(\mbox{Var}\!\left[\bar{Y}\right]\) og \(\mbox{Cov}\!\left[\bar{Y},\widehat{\beta}_1\right]\). Vi starter med den første av disse og siden \(Y_i\)'ene er uavhengige får vi \[\begin{align} \mbox{Var}\!\left[\bar{Y}\right] &= \mbox{Var}\!\left[ \frac{1}{n}\sum_{i=1}^n Y_i\right]\\ &= \left(\frac{1}{n}\right)^2 \mbox{Var}\!\left[ \sum_{i=1}^n Y_i\right]\\ &= \frac{1}{n^2} \sum_{i=1}^n\mbox{Var}\!\left[ Y_i\right]\\ &= \frac{1}{n^2} \sum_{i=1}^n \sigma^2\\ &= \frac{n\sigma^2}{n^2}\\ &= \frac{\sigma^2}{n}.\end{align}\] For å finne \(\mbox{Cov}\!\left[\bar{Y},\widehat{\beta}_1\right]\) må vi først sette inn uttrykkene vi har for \(\bar{Y}\) og \(\widehat{\beta}_1\) og deretter benytte regnereglene vi har for kovarians som sier at konstanter i begge argumentene kan settes utenfor og at også summetegn i begge argumentene kan settes utenfor. Vi får da \[\begin{align} &\mbox{Cov}\!\left[\bar{Y},\widehat{\beta}_1\right] = \mbox{Cov}\!\left[\frac{1}{n}\sum_{i=1}^n Y_i, \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\right]\\ &= \frac{1}{n} \mbox{Cov}\!\left[\sum_{i=1}^n Y_i, \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\right]\\ &=\frac{1}{n\sum_{i=1}^n (x_i-\bar{x})^2} \mbox{Cov}\!\left[\sum_{i=1}^n Y_i, \sum_{i=1}^n (x_i-\bar{x})Y_i\right].\end{align}\] Før vi setter summetegnene utenfor må vi passe på å benytte ulike summevariabler i de ulike summene, \[\begin{align}\mbox{Cov}\!\left[\bar{Y},\widehat{\beta}_1\right] &= \frac{\mbox{Cov}\left[\sum_{j=1}^n Y_j, \sum_{k=1}^n (x_k-\bar{x})Y_k\right]}{n\sum_{i=1}^n (x_i-\bar{x})^2} \\ &= \frac{\sum_{j=1}^n \sum_{k=1}^n \mbox{Cov}\left[ Y_j,(x_k-\bar{x})Y_k\right]}{n\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)} \\ &= \frac{\sum_{j=1}^n \sum_{k=1}^n (x_k-\bar{x})\, \mbox{Cov}\left[ Y_j,Y_k\right]}{n\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)} .\end{align}\] I modellen har vi antatt at \(Y_i\)'ene er uavhengige og det betyr at \(\mbox{Cov}[Y_j,y_k]=0\) for \(j\neq k\). Den innerste summen i utrykket over har dermed kun et ledd som er forskjellig fra null, nemlig for \(k=j\). Dobbeltsummen blir dermed redusert til en enkeltsum. Dessuten har man at \(\mbox{Cov}[Y_j,Y_j]=\mbox{Var}[Y_j]=\sigma^2\) og vi får \[\begin{align} \mbox{Cov}\left[\bar{Y},\widehat{\beta}_1\right] &= \frac{\sum_{j=1}^n (x_j-\bar{x})\, \mbox{Cov}\left[ Y_j,Y_j\right]}{n\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)} \\ &= \frac{\sum_{j=1}^n (x_j-\bar{x}) \sigma^2}{n\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)} \\ &= \frac{\sigma^2 \sum_{j=1}^n (x_j-\bar{x})}{n\left(\sum_{i=1}^n (x_i-\bar{x})^2\right)} \\ &= 0,\end{align}\] der vi i den siste overgangen har benyttet \(\sum_{j=1}^n (x_j-\bar{x}) = 0\) som vi viste i beviset for teoremet om egenskaper til estimatoren \(\widehat{\beta}_1.\) Ved å sette det vi nå har funnet inn i utrykket vi hadde for \(\mbox{Var}\!\left[\widehat{\beta}_0\right]\) får vi dermed at \[\begin{align} \mbox{Var}\!\left[\widehat{\beta}_0\right] =& \mbox{Var}\!\left[\bar{Y}\right] + \bar{x}^2 \, \mbox{Var}\!\left[\widehat{\beta}_1\right]\\ &~~~~~ - 2\, \bar{x}\, \mbox{Cov}\!\left[ \bar{Y},\widehat{\beta}_1\right]\\ &= \frac{\sigma^2}{n} + \bar{x}^2 \cdot \frac{\sigma^2}{\sum_{i=1}^n (x_i-\bar{x})^2} \\ &= \sigma^2 \left( \frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^n (x_i-\bar{x})^2}\right).\end{align}\] Ved å sette de to leddene inni parentesen på felles brøkstrek og deretter gange ut kvadratuttrykket over brøkstrek får vi \[\begin{align} &\mbox{Var}\!\left[\widehat{\beta}_0\right] = \sigma^2 \, \frac{\sum_{i=1}^n (x_i-\bar{x})^2 + n\bar{x}^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}\\ &= \sigma^2\, \frac{\sum_{i=1}^n x_i^2 - 2\bar{x}\sum_{i=1}^n x_i + n\bar{x}^2 + n\bar{x}^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}\\ &= \sigma^2\, \frac{\sum_{i=1}^n x_i^2 - 2\bar{x}\cdot n\bar{x} + n\bar{x}^2+n\bar{x}^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}\\ &= \frac{\sigma^2 \sum_{i=1}^n x_i^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}, \end{align}\] der vi har benyttet at \(\sum_{i=1}^n x_i = n\bar{x}\).

Kommentar

Teoremet gir altså at \[\widehat{\beta}_0 \sim \text{N}\!\left( \beta_0,\frac{\sigma^2 \sum_{i=1}^n x_i^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}\right).\] Ved å standardisere får vi \[\frac{\widehat{\beta}_0-\beta_0}{\sqrt{\frac{\sigma^2 \sum_{i=1}^n x_i^2}{n\sum_{i=1}^n (x_i-\bar{x})^2}}}\sim\text{N}(0,1).\] Dette siste uttrykket blir viktig når man skal konstruere et konfidensintervall eller gjøre en hypotesetest om \(\beta_0.\)

Forventningsverdien til \(\widehat{\sigma}^2\)

Siden forventningsverdien i en kjikvadratfordeling er lik antall frihetsgrader får vi fra resultatet i teoremet over at \[\text{E}\!\left[\frac{n\widehat{\sigma}^2}{\sigma^2}\right] = n-2.\] Ved å bruke at konstanter kan settes utenfor forventningsverdioperatoren \(\text{E}\) får man dermed \[\text{E}\!\left[\frac{n\widehat{\sigma}^2}{\sigma^2}\right] = \frac{n}{\sigma^2}\text{E}\!\left[\widehat{\sigma}^2\right] = n-2\] som gir at \[\text{E}\!\left[\widehat{\sigma}^2\right]= \frac{n-2}{n}\sigma^2.\] Vi ser dermed at sannsynlighetsmaksimeringsestimatoren \(\widehat{\sigma}^2\) ikke er forventningsrett, den er forventningsskjev.

Forventningsrett estimator for \(\sigma^2\)

Siden sannsynlighetsmaksimeringsestimatoren for \(\sigma^2,\) \(\widehat{\sigma}^2,\) er forventningsskjev er det ikke vanlig å benytte denne som estimator for \(\sigma^2\). Man benytter i stedet estimatoren \[S^2 = \frac{n}{n-2}\, \widehat{\sigma}^2 = \frac{1}{n-2}\sum_{i=1}^n \left(Y_i-\widehat{\beta}_0-\widehat{\beta}_1x_i\right)^2.\] Ut fra forventningsverdien til \(\widehat{\sigma}^2\) følger det at \(S^2\) er forventningsrett, \[\begin{align}\mbox{E}\!\left[S^2\right] &= \mbox{E}\!\left[ \frac{n}{n-2}\, \widehat{\sigma}^2\right]\\ &= \frac{n}{n-2}\mbox{E}\!\left[ \widehat{\sigma}^2\right]\\ &= \frac{n}{n-2}\cdot \frac{n-2}{n}\, \sigma^2\\ &= \sigma^2,\end{align}\] og siden \[\frac{(n-2)S^2}{\sigma^2}=\frac{n\widehat{\sigma}^2}{\sigma^2}\] følger det fra resultatet i teoremet over at \[\frac{(n-2)S^2}{\sigma^2} \sim \chi^2_{n-2}.\]

Uavhengighetsegenskaper mellom estimatorene

Det er noen uavhengighetsegenskaper mellom de tre estimatorene \(\widehat{\beta}_0,\) \(\widehat{\beta}_0\) og \(S^2,\) som blir viktige når man gjøre inferens om regresjonsparametrene \(\beta_0\) og \(\beta_1.\) Vi formulerer her disse uavhengighetsegenskapene i to teoremer. Det er kun resultatene i disse teoremene som er med i pensum i TMA4240/TMA4245, bevisene for teoremene er ikke innfor pensum i TMA4240/TMA4245 Statistikk.

Kommentar til teoremene

Man skal merke seg at uavhengighetsegenskapene som etableres i disse to teoremene ikke er intuitivt opplagte. For eksempel, siden \(\widehat{\beta}_0\) og \(S^2\) begge er funksjoner av de samme stokastiske variablene \(Y_1,Y_2,\ldots,Y_n\) skulle man intuitivt tro at de er avhengige, noe som altså er feil. Dette viser at vår intuisjon ikke alltid er riktig, og dermed hvor viktig det er at vi har en presis matematisk definisjon av begrepene vi benytter.