Varför ANOVA och linjär regression är samma Analysis

Om din kandidat statistikutbildning var något som min, lärde du ANOVA i en klass och linjär regression i en annan. Mina professorer brukade ofta säga saker som "ANOVA är bara ett specialfall av regression" och sedan göra en hel del för hand vinka när man trycker för att förklara. Omdömen

Det var inte förrän jag började samråd som jag insåg hur nära besläktade ANOVA och regression är. De är inte bara relaterade, de är samma sak. Inte en fjärdedel och en nickel -. Olika sidor av samma mynt Omdömen

Så här är ett mycket enkelt exempel som visar varför. När någon visade mig detta, gick en glödlampa på, även om jag visste redan både ANOVA och mulitple linjär regression ganska bra (och redan hade mina herrar i statistik!). Jag tror att förstå detta lilla koncept har varit nyckeln till min förståelse av allmänna linjära modellen som helhet -. Dess tillämpningar är långtgående Omdömen

Som ett exempel, jag använder en modell med en enda kategorisk oberoende variable-- personalkategorier - med 3 kategorier: ledande, kontorister och frihetsberövande. Den beroende variabeln är tidigare erfarenhet av månader. (Denna datamängd är employment.sav, en av de datamängder som kommer fri med SPSS). Omdömen

Vi kan köra antingen en ANOVA eller en regression. I ANOVA, är det kategoriska varierbara effekten kodad, vilket innebär att varje kategori är medelvärdet jämförs med den stora medelvärdet. I regressionen är det kategoriska variabeln dockan kodad **, vilket innebär att varje kategori är intercept jämförs med referensgruppens avlyssna. Eftersom interceptet definieras som medelvärdet när alla andra prediktorer = 0, och det finns inga andra prediktorer, de tre fångar är bara betyder.

I båda analyserna, har Jobbkategori en F = 69,192, med ap < 0,001. Mycket betydande

I ANOVA, finner vi hjälp av de tre grupperna är:. Omdömen

kontors: 85,039 Omdömen

Depå: 298,111 Omdömen

Manager: 77,619

I Regression, finner vi dessa koefficienter:

Intercept: 77,619 Omdömen

kontors: 7,420 Omdömen

Depå: 220,492 Omdömen

intercept är helt enkelt medelvärdet för referensgruppen, chefer. Koefficienterna för de andra två grupperna är skillnaderna i medelvägen mellan referensgruppen och de andra grupperna. Omdömen

Du kommer att märka, till exempel, att regressionskoefficienten för kontorsarbete är skillnaden mellan medelvärdet för Clerical , 85,039, och Intercept, eller innebära Manager (85,039 till 77,619 = 7,420). Samma gäller i Depå. Omdömen

Så en ANOVA redovisar varje betyda och ett p-värde som säger minst två är mycket olika. En regressions rapporterar endast ett medelvärde (som en skärningspunkt), och skillnaderna mellan att en och alla andra medel, men p-värden utvärdera dessa specifika jämförelser. Omdömen

Det är samma modell, samma information, men presenteras på olika sätt. Förstå vad modellen säger i varje sätt, och du har befogenhet. Omdömen

Jag föreslår att du prova denna lilla övning med någon datauppsättning, lägg sedan i en andra kategorisk variabel, först utan och sedan med en interaktion. Gå igenom medel och regressionskoefficienter och se hur de lägger upp Omdömen

** Den dummy kodning skapar två 1/0 variabler:. Kontors = 1 för prästerliga kategori, 0 annars; Förvarings = 1 för frihetsberövande kategori, 0 annars. Observationer i Managerial kategori har ett 0 värde på båda dessa variabler, och detta är känt som referensgruppen Omdömen  ..