Modellantagelser i enkel lineær regresjon

Utgangspunktet for en enkel lineær regresjonsmodell er at vi har observert par av verdier $(x_i,y_i),i=1,2,\ldots,n.$

Modell: Enkel lineær regresjon

Anta at hver observert $y$-verdi er en realisasjon av en tilhørende stokastiske variabel $Y$, og at sammenhengen mellom tilhørende $x$ og $Y$ er gitt av ligningen $$Y = \beta_0 + \beta_1 x + \varepsilon,$$ der $\beta_0$ og $\beta_1$ er parametre, mens $\varepsilon$ er en stokastisk variabel med forventningsverdi $\mbox{E}[\varepsilon]=0$ og varians $\mbox{Var}[\varepsilon]=\sigma^2$. Man har dermed en modell med tre parametre, $\beta_0$, $\beta_1$ og $\sigma^2$.

Kommentarer

I modellen velger man altså å betrakte $y$'ene som realisasjoner av stokastiske variabler, mens $x$'ene velger man å betrakte som konstanter eller tall. Man sier gjerne at $x$ er en uavhengig variabel og at $y$ er den avhengige variabelen. Det er også mye vanlig å omtale $x$ som en forklaringsvariabel, da man tenker at verdien til $x$ forklarer (et stykke på vei) hvilken verdi $y$ får.

I en regresjonssituasjon har man to rette linjer. Først har vi den ukjente linja som angir den sanne sammenhengen mellom $x$ og $y$, altså $y=\beta_0+\beta_1 x$. I modellen antar vi at en slik rett linje finnes, men vi vet ikke hvor den er. Når vi ut fra de observerte parene $(x_1,y_1),(x_2,y_2),\ldots,(x_n,y_n)$ har beregnet estimater $\widehat{\beta}_0$ og $\widehat{\beta}_1$ for de to paramtrene $\beta_0$ og $\beta_1$ får vi den estimerte linja $y=\widehat{\beta}_0 + \widehat{\beta}_1x$. I figur 1 har vi illustrert situasjonen ved å simulere en del observasjonenpar på datamaskin. Vi har definert den sanne linja som $y=3.2-x$, dvs vi har valgt $\beta_0=3.2$ og $\beta_1=-1.0$. Denne sanne linja er grønn i figuren. Med disse verdiene for $\beta_0$ og $\beta_1$ og med $\sigma = 0.35$ har vi så simulert observasjonsparene som er vist i rødt i figuren. Estimatene for $\beta_0$ og $\beta_1$ basert på disse observasjonene blir henholdsvis $\widehat{\beta}_0=3.100055$ og $\widehat{\beta}_1=-0.9386351$ og den tilhørende linja $y=\widehat{\beta}_0 + \widehat{\beta}_1x$ er blå i figuren. Som vi ser er de to linjene ikke like, men de vil selvfølgelig normalt ikke være så veldig ulike.

Hvorfor kalles det «enkel lineær regresjon»?

Regresjon betyr å estimere en funksjonssammenheng mellom $x$ og $y$. Modellen over er en lineær regresjon fordi $y$ er antatt å være en lineær funksjon av parametrene $\beta_0$ og $\beta_1$. Grunnen til at modellen kalles lineær er altså ikke at $y$ er en lineær funksjon av $x$, så for eksempel vil modellen $Y=\beta_0+\beta_1x^2+\varepsilon$ også kalles lineær. Modellen er enkel fordi den kun har en forklaringsvariabel $x$. En lineær modell med for eksempel to forklaringsvariabler, $Y=\beta_0+\beta_1x+\beta_2z+\varepsilon$, kalles en multippel lineær regresjonsmodell.