Minste kvadraters metode

Anta at vi har observasjonspar $(x_i,y_i),i=1,2,\ldots,n$ og at vi antar en enkel lineær regresjonsmodell for disse dataene. Vi ønsker så å benytte de observerte verdiene til å bestemme den linja som passer best til de observerte dataene, dvs vi ønsker å finne estimater $\widehat{\beta}_0$ og $\widehat{\beta}_1$ for de to parametrene $\beta_0$ og $\beta_1$ .

På temasiden du ser på nå diskuterer vi hvordan vi kan gjøre dette ved å benytte minste kvadraters metode. Et alternativ til denne metoden er å benytte sannsynlighetsmaksimeringsprinsippet og dermed regne ut sannsynlighetsmaksimeringsestimatorene.

Minste kvadraters metode

I minste kvadraters metode definerer man en «avstand» mellom observasjonspunktene og den tilpassede, eller estimerte, linja. Man lar så den estimerte linja være den linja som minimerer denne avstanden.

Notasjon

Notasjonen $\text{SSE}$ definert i teoremet over er en forkortelse for «Sum of Squares of the Errors». På norsk er det vanlig å omtale dette som en kvadratsum.

Illustrasjon av $\text{SSE}$

Kriteriet $\text{SSE}$ som blir benyttet i minste kvadraters metode er illustrert i figur 2, hvor observasjonsparene er vist i rødt, den estimerte regresjonslinja er blå og differensene $y_i-\widehat{y}_i$ som inngår i uttrykket for $\text{SSE}$ er vist i grønt.

Figur 1: Illustrasjon av $y_i-\widehat{y}_i$ som inngår i kriteriet i minste kvadraters metode.

Minste kvadraters estimater

Ved å minimere kvadratsummen $\text{SSE}$ med hensyn på $\widehat{\beta}_0$ og $\widehat{\beta}_1$ finner vi minste kvadratsums estimatorene.

Minste kvadraters estimater

For å utlede formler for $\widehat{\beta}_0$ og $\widehat{\beta}_1$ må man finne hvilke verdier for $\widehat{\beta}_0$ og $\widehat{\beta}_1$ som minimerer $\text{SSE}$ . Man kan finne dette ved å sette de partiellderiverte av $\text{SSE}$ med hensyn på hver av $\widehat{\beta}_0$ og $\widehat{\beta}_1$ lik null. Man må dermed løse ligningssystemet $\frac{\partial \text{SSE}}{\partial \widehat{\beta}_0} = 0 \hspace{1.0cm}\text{og}\hspace{1.0cm} \frac{\partial \text{SSE}}{\partial \widehat{\beta}_1} = 0$ med hensyn på $\widehat{\beta}_0$ og $\widehat{\beta}_1$ .

Vi starter med å regne ut de to partiellderiverte. Vi benytter at vi kan derivere på innsiden av summetegnet og bruker kjerneregelen for å derivere hvert ledd i summen, $\begin{align}\frac{\partial \text{SSE}}{\partial \widehat{\beta}_0} &= \sum_{i=1}^n 2\left( y_i - \widehat{\beta}_0 - \widehat{\beta}_1 x_i\right) \cdot (-1) \\&= -2\left( \sum_{i=1}^n y_i - n\widehat{\beta}_0 - \widehat{\beta}_1\sum_{i=1}^n x_i\right)\!,\\ \frac{\partial \text{SSE}}{\partial \widehat{\beta}_1} &= \sum_{i=1}^n 2\left( y_i - \widehat{\beta}_0 - \widehat{\beta}_1 x_i\right) \cdot (-x_i) \\&= -2\left( \sum_{i=1}^n x_iy_i - \widehat{\beta}_0\sum_{i=1}^n x_i - \widehat{\beta}_1\sum_{i=1}^n x^2_i\right)\!.\end{align}$ Ved å sette hver av de to partiellderiverte lik null får vi dermed ligningene $\begin{align} n\widehat{\beta}_0 + \widehat{\beta}_1\sum_{i=1}^n x_i &= \sum_{i=1}^n y_i,\\ \widehat{\beta}_0\sum_{i=1}^n x_i + \widehat{\beta}_1\sum_{i=1}^n x_i^2 &= \sum_{i=1}^n x_iy_i. \end{align}$ Man må følgelig løse ligningssystemet $\begin{align} n\widehat{\beta}_0 + \widehat{\beta}_1\sum_{i=1}^n x_i &= \sum_{i=1}^n y_i\\ \widehat{\beta}_0\sum_{i=1}^n x_i + \widehat{\beta}_1\sum_{i=1}^n x_i^2 &= \sum_{i=1}^n x_iy_i\end{align}$ med hensyn på $\widehat{\beta}_0$ og $\widehat{\beta}_1$ .

Før man begynner å løse ligningssystemet kan det lønne seg å innføre en notasjon som skjuler summene som inngår i ligningssystemet. Det vanlige er å definere $S_{xx} = \sum_{i=1}^n (x_i-\bar{x})^2$ og $S_{xy} = \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})$ der $S$ 'ene symboliserer sum og indeksene på $S$ 'ene indikerer hva det summeres over. Man bør dessuten merke seg at $\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n x_i = n\bar{x}$ og tilsvarende for $y_i$ 'ene $\bar{y}=\frac{1}{n}\sum_{i=1}^n y_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n y_i = n\bar{y}.$ Ved å gange ut kvadratet og produktet i uttrykket for henholdsvis $S_{xx}$ og $S_{xy}$ og benytte de to egenskapene vi nettopp fant kan man finne alternative uttrykk for $S_{xx}$ og $S_{xy}$ , $\begin{align} S_{xx} &= \sum_{i=1}^n \left( x_i^2 - 2x_i \bar{x} + \bar{x}^2\right)\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x}\sum_{i=1}^n x_i + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x} n\bar{x} + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - n\bar{x}^2,\\ S_{xy} &= \sum_{i=1}^n (x_iy_i - x_i\bar{y} - \bar{x}y_i + \bar{x}\bar{y})\\ &= \sum_{i=1}^n x_iy_i - \bar{y}\sum_{i=1}^n x_i - \bar{x}\sum_{i=1}^n y_i + n\bar{x}\bar{y} \\ &= \sum_{i=1}^n x_iy_i - \bar{x}n\bar{y} - \bar{x}n\bar{y} + n\bar{x}\bar{y}\\ &= \sum_{i=1}^n x_iy_i - n\bar{x}\bar{y}.\end{align}$ Dermed har vi at $\begin{align}\sum_{i=1}^n x_i^2 &= S_{xx} + n\bar{x}^2,\\ \sum_{i=1}^n x_i y_i &= S_{xy} + n \bar{x}\bar{y}.\end{align}$ Setter vi disse utrykkene, samt utrykkene vi tidligere fant for summene over $x_i$ 'ene og over $y_i$ 'ene inn i ligningssystemet vi kom frem til over får vi at ligningssystemet nå kan skrives på formen $\begin{align}n\widehat{\beta}_0 +\widehat{\beta}_1 n\bar{x} &= n\bar{y},\\ \widehat{\beta}_0n\bar{x} +\widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) &= S_{xy}+n\bar{x}\bar{y}.\end{align}$ For å løse dette ligningssystemet kan vi for eksempel starte med å løse den første ligningen med hensyn på $\widehat{\beta}_0$ , $\widehat{\beta}_0 = \bar{y}-\widehat{\beta}_1 \bar{x},$ og sette dette utrykket for $\widehat{\beta}_0$ inn i den andre ligningen, $\left(\bar{y}-\widehat{\beta}_1 \bar{x}\right) n\bar{x} + \widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) = S_{xy}+n\bar{x}\bar{y}.$ Hvis man så ganger ut de to parentesene i denne ligningen, rydder opp og løser ligningen ved hensyn på $\widehat{\beta}_1$ , får man at $\widehat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}$ Det er vanlig å omskrive uttrykket i telleren. Ved å gange ut den siste parentesen i uttrykket for $S_{xy}$ får man at $\begin{align}S_{xy} &= \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})\\ &= \sum_{i=1}^n \left[ (x_i-\bar{x})y_i - (x_i-\bar{x})\bar{y}\right]\\ &= \sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\sum_{i=1}^n (x_i-\bar{x})\\ &= \sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\left[ \sum_{i=1}^n x_i - n\bar{x}\right] \\ &= \sum_{i=1}^n (x_i-\bar{x})y_i,\end{align}$ der vi i den siste overgangen har benyttet at $\sum_{i=1}^n x_i = n\bar{x}$ som vi utledet over. Minste kvadraters estimatene er dermed gitt som $\begin{align} \widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\\ \widehat{\beta}_0 &= \bar{y} - \widehat{\beta}_1 \bar{x}\end{align}$ som er det vi skulle bevise.

Minste kvadraters estimatorene

Fra minste kvadraters estimatene får vi de tilhørende minste kvadraters estimatorene ved å erstatte de observerte verdier $y_i$ med tilhørende stokastiske variabler $Y_i$ i disse uttrykkene, $\begin{align}\widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\\\widehat{\beta}_0 &= \bar{Y} - \widehat{\beta}_1 \bar{x},\end{align}$ der $\bar{Y}=\frac{1}{n}\sum_{i=1}^n Y_i$ . Egenskapene til disse estimatorene blir diskutert på temasiden «Egenskaper til regresjonsestimatorene».