For å utlede sannsynlighetsmaksimeringsestimatorene starter vi med å finne rimelighetsfunksjonen. Siden \(Y_i\)'ene er uavhengige og \(Y_i\sim N(\beta_0+\beta_1x_i,\sigma^2)\) får vi at \[\begin{align}&L(\beta_0,\beta_1,\sigma^2) = f(y_1,y_2,\ldots,y_n;\beta_0,\beta_1,\sigma^2)\\ &= \prod_{i=1}^n \left[ \frac{1}{\sqrt{2\pi}} \, \frac{1}{\sigma}\, \exp\left\{-\frac{1}{2\sigma^2} (y_i - (\beta_0+\beta_1x_i))^2\right\}\right].\end{align}\] Vi finner log-rimelighetsfunksjonen ved å ta \(\ln\) av rimelighetsfunksjonen, og siden vi ønsker estimator for \(\sigma^2\) og ikke \(\sigma\) passer vi på å uttrykke log-rimelighetsfunksjonen som funksjon av \(\sigma^2\) og ikke bare \(\sigma\) alene, \[\begin{align} &l(\beta_0,\beta_1,\sigma^2) = \ln L(\beta_0,\beta_1,\sigma^2)\\ &= \sum_{i=1}^n \left[ -\frac{1}{2}\ln (2\pi) - \frac{1}{2}\ln \sigma^2 -\frac{1}{2\sigma^2}(y_i-\beta_0-\beta_1x_i)^2\right] \\ &= -\frac{n}{2}\ln (2\pi) - \frac{n}{2}\ln (\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (y_i - \beta_0-\beta_1x_i)^2.\end{align}\] Vi finner så for hvilke verdier av \(\beta_0\), \(\beta_1\) og \(\sigma^2\) log-rimelighetsfunksjonen har sitt maksimum ved å derivere og sette lik null. Siden vi har tre parametre må vi regne ut den partiellderiverte med hensyn på hver av dem og sette alle lik null. Vi vil da ende opp med et ligningssystem med tre ligninger som må løses med hensyn på de tre ukjente parametrene \(\beta_0\), \(\beta_1\) og \(\sigma^2\).
De partiellderiverte blir \[\begin{align}\frac{\partial l}{\partial \beta_0} &= -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(y_i-\beta_0-\beta_1x_i)\cdot (-1)\\ &= \frac{1}{\sigma^2} \sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)\\ &= \frac{1}{\sigma^2}\left[ \sum_{i=1}^n y_i - n\beta_0 - \beta_1\sum_{i=1}^n x_i\right],\end{align}\] \[\begin{align} \frac{\partial l}{\partial \beta_1} &= -\frac{1}{2\sigma^2}\sum_{i=1}^n 2(y_i - \beta_0-\beta_1x_i)\cdot (-x_i)\\ & = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)x_i\\ &= -\frac{1}{\sigma^2}\left[ \sum_{i=1}^n x_iy_i - \beta_0\sum_{i=1}^n x_i - \beta_1\sum_{i=1}^n x_i^2\right],\end{align}\] og \[\begin{align} \frac{\partial l}{\partial \sigma^2} &= -\frac{n}{2} \, \frac{1}{\sigma^2} - \frac{1}{2}\left( - \frac{1}{(\sigma^2)^2}\right) \sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2\\ &= - \frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2.\end{align}\]
Ved å sette hver av de partiellderiverte lik null får vi ligningene \[\begin{align}\beta_0 +\beta_1\sum_{i=1}^n x_i &= \sum_{i=1}^n y_i,\\ \beta_0\sum_{i=1}^n x_i +\beta_1\sum_{i=1}^nx_i^2 &= \sum_{i=1}^n x_iy_i,\\ \frac{1}{\sigma^2}\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2 &= n.\end{align}\] Vi må dermed løse dette ligningssystemet med hensyn på \(\beta_0,\) \(\beta_1\) og \(\sigma^2.\)
Før man begynner å løse ligningssystemet kan det lønne seg å innføre en notasjon som skjuler summene som inngår i ligningssystemet. Det vanlige er å definere \[S_{xx} = \sum_{i=1}^n (x_i-\bar{x})^2\] og \[S_{xy} = \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})\] der \(S\)'ene symboliserer sum og indeksene på \(S\)'ene indikerer hva det summeres over. Man bør dessuten merke seg at \[\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n x_i = n\bar{x}\] og tilsvarende for \(y_i\)'ene \[\bar{y}=\frac{1}{n}\sum_{i=1}^n y_i \hspace{0.3cm}\Leftrightarrow\hspace{0.3cm} \sum_{i=1}^n y_i = n\bar{y}.\]
Ved å gange ut kvadratet og produktet i uttrykket for henholdsvis \(S_{xx}\) og \(S_{xy}\) og benytte de to egenskapene vi nettopp fant kan man finne alternative uttrykk for \(S_{xx}\) og \(S_{xy}\), \[\begin{align}S_{xx} &= \sum_{i=1}^n \left( x_i^2 - 2x_i \bar{x} + \bar{x}^2\right)\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x}\sum_{i=1}^n x_i + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - 2\bar{x} n\bar{x} + n\bar{x}^2\\ &= \sum_{i=1}^n x_i^2 - n\bar{x}^2,\\ S_{xy} &= \sum_{i=1}^n (x_iy_i - x_i\bar{y} - \bar{x}y_i + \bar{x}\bar{y})\\ &= \sum_{i=1}^n x_iy_i - \bar{y}\sum_{i=1}^n x_i - \bar{x}\sum_{i=1}^n y_i + n\bar{x}\bar{y} \\ &= \sum_{i=1}^n x_iy_i - \bar{x}n\bar{y} - \bar{x}n\bar{y} + n\bar{x}\bar{y}\\ &= \sum_{i=1}^n x_iy_i - n\bar{x}\bar{y}.\end{align}\] Dermed har vi at \[\begin{align}\sum_{i=1}^n x_i^2 &= S_{xx} + n\bar{x}^2\\ \sum_{i=1}^n x_i y_i &= S_{xy} + n \bar{x}\bar{y}.\end{align}\]
Setter vi disse utrykkene, samt utrykkene vi tidligere fant for summene over \(x_i\)'ene og over \(y_i\)'ene inn i ligningssystemet for \(\beta_0\) og \(\beta_1\) som vi kom frem til over, får vi at ligningssystemet nå kan skrives på formen \[\begin{align}n\widehat{\beta}_0 +\widehat{\beta}_1 n\bar{x} &= n\bar{y}\\ \widehat{\beta}_0n\bar{x} +\widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) &= S_{xy}+n\bar{x}\bar{y}.\end{align}\]
For å løse dette ligningssystemet kan vi for eksempel starte med å løse den første ligningen med hensyn på \(\widehat{\beta}_0\), \[\widehat{\beta}_0 = \bar{y}-\widehat{\beta}_1 \bar{x},\] og sette dette utrykket for \(\widehat{\beta}_0\) inn i den andre ligningen,\[\left(\bar{y}-\widehat{\beta}_1 \bar{x}\right) n\bar{x} + \widehat{\beta}_1 \left( S_{xx}+n\bar{x}^2\right) = S_{xy}+n\bar{x}\bar{y}.\] Hvis man så ganger ut de to parentesene i denne ligningen, rydder opp og løser ligningen ved hensyn på \(\widehat{\beta}_1,\) får man at \[\widehat{\beta}_1 = \frac{S_{xy}}{S_{xx}} = \frac{\sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^n (x_i-\bar{x})^2}.\] Det er vanlig å omskrive uttrykket i telleren. Ved å gange ut den siste parentesen i uttrykket for \(S_{xy}\) får man at \[\begin{align}S_{xy} &= \sum_{i=1}^n (x_i-\bar{x})(y_i-\bar{y})\\ &= \sum_{i=1}^n \left[ (x_i-\bar{x})y_i - (x_i-\bar{x})\bar{y}\right]\\ &=\sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\sum_{i=1}^n (x_i-\bar{x})\\ &= \sum_{i=1}^n (x_i-\bar{x})y_i - \bar{y}\left[ \sum_{i=1}^n x_i - n\bar{x}\right] \\ &= \sum_{i=1}^n (x_i-\bar{x})y_i,\end{align}\] der vi i den siste overgangen har benyttet at \(\sum_{i=1}^n x_i = n\bar{x}\) som vi utledet over. Vi har dermed at \[\begin{align}\beta_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})y_i}{\sum_{i=1}^n (x_i-\bar{x})^2}\\ \beta_0 &= \bar{y} - \beta_1 \bar{x},\end{align}\] og ved å løse den tredje ligningen i ligningssystemet vårt med hensyn på den siste parameteren \(\sigma^2\) får vi at \[\sigma^2 = \frac{1}{n}\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2.\] Sannsynlighetsmaksimeringsestimatorene blir dermed \[\begin{align}\widehat{\beta}_1 &= \frac{\sum_{i=1}^n (x_i-\bar{x})Y_i}{\sum_{i=1}^n (x_i-\bar{x})^2},\\ \widehat{\beta}_0 &= \bar{Y} - \widehat{\beta}_1 \bar{x},\\ \widehat{\sigma}^2 &= \frac{1}{n}\sum_{i=1}^n \left(Y_i-\widehat{\beta}_0-\widehat{\beta}_1x_i\right)^2,\end{align}\] som vi skulle bevise.