Kısmi F Testi

Kısmi F testi, iç içe iki regresyon modelini karşılaştırarak modele eklenen bir değişken grubunun bağımlı değişkeni açıklamada anlamlı katkı sağlayıp sağlamadığını test eder.

Tam model k bağımsız değişken, kısıtlı model ise bunların ilk q tanesini içersin. Hipotezler şöyledir:

\begin{gathered} H_0: \beta_{q+1} = \beta_{q+2} = \cdots = \beta_k = 0 \\[4pt] H_1: \text{Bu katsayılardan en az biri sıfırdan farklıdır.} \end{gathered}

Test istatistiği, iki modelin artık kareler toplamları arasındaki farka dayanır:

F = \frac{\left(\text{SSRes}_{\text{kısıtlı}} - \text{SSRes}_{\text{tam}}\right) / (k-q)}{\text{SSRes}_{\text{tam}} / (n-k-1)}

Serbestlik dereceleri:

v_1 = k-q, \qquad v_2 = n-k-1

Karar: F > F(α; k−q, n−k−1) ise H₀ reddedilir; aksi halde H₀ reddedilemez.

Aşağıdaki gösterim, q = 0 alındığında ortaya çıkan özel durumu yani genel F testini anlatır. Bu durumda hipotezler ve test istatistiği şu biçimi alır:

\begin{gathered} H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0 \\[4pt] H_1: \text{En az biri sıfırdan farklıdır.} \end{gathered}

H0 hipotezinin reddedilmesi için x1,…,xk bağımsız değişkenlerinden en az birinin modele anlamlı katkı sağlaması gerekmektedir. Bu test basit doğrusal regresyonun genelleştirilmesidir.

\Syy = \SSreg + \SSres

H0 hipotezi doğru iken;

\begin{gathered} \frac{\SSreg}{\sigma^2} \sim \chi^2_{k} \\[8pt] \frac{\SSres}{\sigma^2} \sim \chi^2_{n-k-1} \end{gathered}

olacak şekilde dağılır. Ve F istatistiğinin tanımından;

F_h = \frac{\SSreg / k}{\SSres / (n-k-1)} = \frac{\MSreg}{\MSres}

oranının Fk,n-k-1 dağıldığı görülür. H0 hipotezini test etmek için Fh test değeri hesaplanır ve Fh> Fk,n-k-1 geçerli ise H0 reddedilir.

Model Özeti (SPSS çıktısı)

Model	R	R²	Düzeltilmiş R²	Tahminin std. hatası
1	0,653	0,426	0,423	1,957
2	0,733	0,538	0,534	1,758

Değişim istatistikleri

Model	R² Change	F Change	df1	df2	Sig. F Change
1	0,426	136,929	2	369	<0,001
2	0,112	89,212	1	368	<0,001

ANOVA

Model		Kareler toplamı	df	Kareler ortalaması	F	Sig.
1	Regresyon	1.048,812	2	524,406	136,929	<0,001
	Artık	1.413,188	369	3,830
	Toplam	2.462,000	371
2	Regresyon	1.324,556	3	441,519	142,846	<0,001
	Artık	1.137,444	368	3,091
	Toplam	2.462,000	371

Bağımlı değişken: Y. Model 1 iki bağımsız değişken içeriyor, Model 2 bunlara bir değişken ekliyor (n = 372). Eklenen değişken R²'yi 0,112 artırıyor; kısmi F = 89,21, p <0,001. %5 düzeyinde F_1;368 kritik değeri yaklaşık 3,87 olduğundan H₀ reddedilir.

Karar Verme

R² Change: Eklenen değişkenlerin modeli ne kadar geliştirdiğini gösterir.
F Change: Kısmi F testidir.
Sig. F Change: Anlamlılık düzeyidir. <0.05 ise anlamlıdır → yeni değişkenler katkı sağlamıştır.

F değeri için karar vermek istersek, F tablosu ile karar değeri belirlenir

v₁ (pay serbestlik derecesi): Genellikle eklenen değişken(ler) sayısı
v₂ (payda serbestlik derecesi): Gözlem sayısı − toplam bağımsız değişken sayısı − 1

Hesaplanan F değeri:

Tablodaki değerden büyükse → H₀ reddedilir (eklenen değişkenler anlamlı katkı sağlar)
Küçükse → H₀ reddedilemez (eklenen değişkenler anlamlı değil)

The partial F-test compares two nested regression models to test whether a group of variables added to the model makes a significant contribution to explaining the dependent variable.

Let the full model contain k independent variables and the restricted model the first q of them. The hypotheses are:

\begin{gathered} H_0: \beta_{q+1} = \beta_{q+2} = \cdots = \beta_k = 0 \\[4pt] H_1: \text{At least one of these coefficients is non-zero.} \end{gathered}

The test statistic is based on the difference between the residual sums of squares of the two models:

F = \frac{\left(\text{SSRes}_{\text{restricted}} - \text{SSRes}_{\text{full}}\right) / (k-q)}{\text{SSRes}_{\text{full}} / (n-k-1)}

Degrees of freedom:

v_1 = k-q, \qquad v_2 = n-k-1

Decision: if F > F(α; k−q, n−k−1), H₀ is rejected; otherwise H₀ cannot be rejected.

The notation below describes the special case where q = 0, that is the overall F-test. In that case the hypotheses and the test statistic take this form:

\begin{gathered} H_0: \beta_1 = \beta_2 = \cdots = \beta_k = 0 \\[4pt] H_1: \text{At least one of them is non-zero.} \end{gathered}

For H0 to be rejected, at least one of the independent variables x1,…,xk must make a significant contribution to the model. This test is a generalization of simple linear regression.

\Syy = \SSreg + \SSres

When H0 is true,

\begin{gathered} \frac{\SSreg}{\sigma^2} \sim \chi^2_{k} \\[8pt] \frac{\SSres}{\sigma^2} \sim \chi^2_{n-k-1} \end{gathered}

are distributed as shown. And from the definition of the F statistic,

F_h = \frac{\SSreg / k}{\SSres / (n-k-1)} = \frac{\MSreg}{\MSres}

the ratio is seen to follow Fk,n-k-1. To test H0, the test value Fh is calculated, and H0 is rejected if Fh> Fk,n-k-1.

Model Summary (SPSS output)

Model	R	R²	Adjusted R²	Std. error of the estimate
1	0.653	0.426	0.423	1.957
2	0.733	0.538	0.534	1.758

Change statistics

Model	R² Change	F Change	df1	df2	Sig. F Change
1	0.426	136.929	2	369	<0.001
2	0.112	89.212	1	368	<0.001

ANOVA

Model		Sum of squares	df	Mean square	F	Sig.
1	Regression	1,048.812	2	524.406	136.929	<0.001
	Residual	1,413.188	369	3.830
	Total	2,462.000	371
2	Regression	1,324.556	3	441.519	142.846	<0.001
	Residual	1,137.444	368	3.091
	Total	2,462.000	371

Dependent variable: Y. Model 1 has two predictors, Model 2 adds one more (n = 372). The added variable raises R² by 0.112; partial F = 89.21, p <0.001. The 5% critical value of F_1,368 is about 3.87, so H₀ is rejected.

Making a Decision

R² Change: Shows how much the added variables improve the model.
F Change: The partial F-test itself.
Sig. F Change: The significance level. If <0.05, it is significant → the new variables contribute to the model.

To make a decision based on the F value, determine the critical value from the F table

v₁ (numerator degrees of freedom): Usually the number of added variable(s)
v₂ (denominator degrees of freedom): Number of observations − total number of independent variables − 1

Calculated F value:

If it is greater than the table value → H₀ is rejected (the added variables make a significant contribution)
If it is smaller → H₀ cannot be rejected (the added variables are not significant)

Diğer Yazılar

Lojistik Regresyon

Normal Dağılım

Belirleme Katsayısı