For å utlede formler for \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\) må man finne hvilke verdier for \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\) som minimerer \(\text{SSE}\). Man kan finne dette ved å sette de partiellderiverte av \(\text{SSE}\) med hensyn på hver av \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\) lik null. Man må dermed løse ligningssystemet \[\frac{\partial \text{SSE}}{\partial \widehat{\beta}_0} = 0 \hspace{1.0cm}\text{og}\hspace{1.0cm} \frac{\partial \text{SSE}}{\partial \widehat{\beta}_1} = 0\] med hensyn på \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\).
Vi starter med å regne ut de to partiellderiverte. Vi benytter at vi kan derivere på innsiden av summetegnet og bruker kjerneregelen for å derivere hvert ledd i summen, \[\begin{align}\frac{\partial \text{SSE}}{\partial \widehat{\beta}_0} &= \sum_{i=1}^n 2\left( y_i - \widehat{\beta}_0 - \widehat{\beta}_1 x_i\right) \cdot (-1) \\&= -2\left( \sum_{i=1}^n y_i - n\widehat{\beta}_0 - \widehat{\beta}_1\sum_{i=1}^n x_i\right)\!,\\ \frac{\partial \text{SSE}}{\partial \widehat{\beta}_1} &= \sum_{i=1}^n 2\left( y_i - \widehat{\beta}_0 - \widehat{\beta}_1 x_i\right) \cdot (-x_i) \\&= -2\left( \sum_{i=1}^n x_iy_i - \widehat{\beta}_0\sum_{i=1}^n x_i - \widehat{\beta}_1\sum_{i=1}^n x^2_i\right)\!.\end{align}\] Ved å sette hver av de to partiellderiverte lik null får vi dermed ligningene \[\begin{align} n\widehat{\beta}_0 + \widehat{\beta}_1\sum_{i=1}^n x_i &= \sum_{i=1}^n y_i,\\ \widehat{\beta}_0\sum_{i=1}^n x_i + \widehat{\beta}_1\sum_{i=1}^n x_i^2 &= \sum_{i=1}^n x_iy_i. \end{align}\] Man må følgelig løse ligningssystemet \[\begin{align} n\widehat{\beta}_0 + \widehat{\beta}_1\sum_{i=1}^n x_i &= \sum_{i=1}^n y_i\\ \widehat{\beta}_0\sum_{i=1}^n x_i + \widehat{\beta}_1\sum_{i=1}^n x_i^2 &= \sum_{i=1}^n x_iy_i\end{align}\] med hensyn på \(\widehat{\beta}_0\) og \(\widehat{\beta}_1\).
Før man begynner å løse ligningssystemet kan det lønne seg å innføre en notasjon som skjuler summene som inngår i ligningssystemet. Det vanlige er å definere \[S_{xx} = \sum_{i=1}^n (x_i-\bar{x})^2\] og \[S_{xy} = \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})\] der \(S\)'ene symboliserer sum og indeksene på \(S\)'ene indikerer hva det summeres over. Man bør dessuten merke seg at \[\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n x_i = n\bar{x}\] og tilsvarende for \(y_i\)'ene \[\bar{y}=\frac{1}{n}\sum_{i=1}^n y_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n y_i = n\bar{y}.\] Ved å gange ut kvadratet og produktet i uttrykket for henholdsvis \(S_{xx}\) og \(S_{xy}\) og benytte de to egenskapene vi nettopp fant kan man finne alternative uttrykk for \(S_{xx}\) og \(S_{xy}\), \[\begin{align} S_{xx} &= \sum_{i=1}^n \left( x_i^2 - 2x_i \bar{x} + \bar{x}^2\right)\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x}\sum_{i=1}^n x_i + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x} n\bar{x} + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - n\bar{x}^2,\\ S_{xy} &= \sum_{i=1}^n (x_iy_i - x_i\bar{y} - \bar{x}y_i + \bar{x}\bar{y})\\ &= \sum_{i=1}^n x_iy_i - \bar{y}\sum_{i=1}^n x_i - \bar{x}\sum_{i=1}^n y_i + n\bar{x}\bar{y} \\ &= \sum_{i=1}^n x_iy_i - \bar{x}n\bar{y} - \bar{x}n\bar{y} + n\bar{x}\bar{y}\\ &= \sum_{i=1}^n x_iy_i - n\bar{x}\bar{y}.\end{align}\] Dermed har vi at \[\begin{align}\sum_{i=1}^n x_i^2 &= S_{xx} + n\bar{x}^2,\\ \sum_{i=1}^n x_i y_i &= S_{xy} + n \bar{x}\bar{y}.\end{align}\] Setter vi disse utrykkene, samt utrykkene vi tidligere fant for summene over \(x_i\)'ene og over \(y_i\)'ene inn i ligningssystemet vi kom frem til over får vi at ligningssystemet nå kan skrives på formen \[\begin{align}n\widehat{\beta}_0 +\widehat{\beta}_1 n\bar{x} &= n\bar{y},\\ \widehat{\beta}_0n\bar{x} +\widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) &= S_{xy}+n\bar{x}\bar{y}.\end{align}\] For å løse dette ligningssystemet kan vi for eksempel starte med å løse den første ligningen med hensyn på \(\widehat{\beta}_0\), \[\widehat{\beta}_0 = \bar{y}-\widehat{\beta}_1 \bar{x},\] og sette dette utrykket for \(\widehat{\beta}_0\) inn i den andre ligningen, \[\left(\bar{y}-\widehat{\beta}_1 \bar{x}\right) n\bar{x} + \widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) = S_{xy}+n\bar{x}\bar{y}.\] Hvis man så ganger ut de to parentesene i denne ligningen, rydder opp og løser ligningen ved hensyn på \(\widehat{\beta}_1\), får man at \[\widehat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}\] Det er vanlig å omskrive uttrykket i telleren. Ved å gange ut den siste parentesen i uttrykket for \(S_{xy}\) får man at \[\begin{align}S_{xy} &= \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})\\ &= \sum_{i=1}^n \left[ (x_i-\bar{x})y_i - (x_i-\bar{x})\bar{y}\right]\\ &= \sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\sum_{i=1}^n (x_i-\bar{x})\\ &= \sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\left[ \sum_{i=1}^n x_i - n\bar{x}\right] \\ &= \sum_{i=1}^n (x_i-\bar{x})y_i,\end{align}\] der vi i den siste overgangen har benyttet at \(\sum_{i=1}^n x_i = n\bar{x}\) som vi utledet over. Minste kvadraters estimatene er dermed gitt som \[\begin{align} \widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\\ \widehat{\beta}_0 &= \bar{y} - \widehat{\beta}_1 \bar{x}\end{align}\] som er det vi skulle bevise.
