Análisis de Varianza.

1. Mínimos cuadrados.

Suponga que tenemos n puntos de datos experimentales en la forma acostumbrada [x_i, y_i] y que se estima la línea de regresión utilizando mínimos cuadrados. Definimos la suma de los errores al cuadrado SSE como:

donde los valores sobre la recta calculada son

y a y b los parámetros de la ecuación de la recta, la cual podemos calcular resolviendo el sistema de ecuaciones

En forma compacta podemos escribir como Mp=y; y la solución esta dada por p = [M^TM]^-1M^Ty con p=[b,a]^T

Ejemplo 1.

Calcular la recta de mínimos cuadrados dada por el conjunto de datos:

x = [ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20]

y = [ 2.6888 -0.4724 3.7286 5.6471 1.1164 4.3160 5.2080 -0.3875 0.0181 4.1423 2.3002 4.5800 4.9312 4.8238 6.0805 4.9372 6.0817 1.3951 3.8604 3.6866]

La gráfica para estos datos la podemos ver en la Figura 1.

Figura 1

La solución para este utilizado MATLAB es:

clear;

x = [ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20]';

y = [ 2.6888 -0.4724 3.7286 5.6471 1.1164 4.3160 5.2080 -0.3875 0.0181 4.1423 2.3002 4.5800 4.9312 4.8238 6.0805 4.9372 6.0817 1.3951 3.8604 3.6866]';

n = length(x);

plot(x,y);

title('Regresión lineal');

xlabel('x');

ylabel('y');

M = [x, ones(n, 1)];

p = inv(M'*M)*M'*y;

b = p(1)

a = p(2)

Una vez ejecutado el código tenemos b = 0.1180 y a = 2.1953, con una ecuación y = 0.1180 x + 2.1953.

Es importante notar, que el hecho de ajustar una línea recta a un conjunto de datos significa que verdaderamente exista una dependencia lineal entre ellos. Así pues, para los datos en la Figura 1, queremos averiguar hasta donde la variable y depende de x.

2. Varianza.

La cantidad s² se llama varianza de muestra y se calcula con la siguiente expresión

Debe quedar claro que la varianza es una medida de la variabilidad de los datos respecto a una referencia, en este caso la media . La cantidad n-1 se denomina grados de libertad.

Para el caso de mínimos cuadrados ecuación (1), definimos una varianza con (n-2) grados de libertad, dada por:

Ecuación 1

la cual mide la brecha entre los puntos dados y la recta calculada .

También podemos definir una varianza entre la recta de mínimos cuadrados respecto a la media de los datos, con un grado de libertad como:

Ecuación 2

con

Note que la Ecuación 2, mide que tanto difiere la línea de mínimos cuadrados respecto de la media.

Ejemplo 2.

Calcular las varianzas s_SSR y s_SSE para los datos del ejemplo 1.

clear;

x = [ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20]';

y = [ 2.6888 -0.4724 3.7286 5.6471 1.1164 4.3160 5.2080 -0.3875 0.0181 4.1423 2.3002 4.5800 4.9312 4.8238 6.0805 4.9372 6.0817 1.3951 3.8604 3.6866]';

n = length(x);

plot(x,y);

hold on;

title('Regresión lineal');

xlabel('x');

ylabel('y');

M = [x, ones(n, 1)];

p = inv(M'*M)*M'*y;

m = p(1)

b = p(2)

yp = mean(y)

v1 = 1;

v2 = n-2;

plot(x, M*p, 'r');

plot(x, ones(n,1)*yp, 'g');

SSR = (yp -m*x - b)'*(yp -m*x - b)

SSE = (y -m*x - b)'*(y -m*x - b);

s2_SSE = SSE/v2

s2_SSR = SSR/v1

Los resultados son:

s2_SSE = 4.1701

s2_SSR = 9.2571

Podemos ver la recta de mínimos cuadrados y la media en la Figura 2.

Figura 2

En este momento podríamos concluir dado las varianzas que hay menor diferencia entre los datos y la recta de mínimos cuadrados, que entre la media de los datos y esta misma recta.

3. La distribución F.

La distribución F encuentra enorme aplicación en la comparación de varianzas muéstrales. La estadística F se define como la razón de cambio de dos variables aleatorias ji cuadrada independientes, dividida cada una entre su número de grados de libertad. De aquí, que podamos escribir:

Basados en esto podemos mostrar que la Ecuación 1 y Ecuación 2 son distribuciones ji cuadrada y que el cociente tiene por lo tanto una distribución F. (ver [Walpole et all]) dada por:

Ecuación 3

La distribución de la variable aleatoria F esta dada por:

La curva de distribución F depende no sólo de los dos parámetros v₁ y v₂ sino también del orden en que se establecen. En la Figura 3, tenemos la gráfica de la distribución F(x, 6, 24), la cual fue calculada utilizando MATLAB.

clear;

f = 0:0.1:10;

plot(f, fpdf(f, 6, 24));

title('Distribución F con 6 y 24 grados de libertad');

xlabel('f');

ylabel('h(f)');

[m, v] =fstat(6,24)

Figura 3

La media y la varianza se calcula utilizando [m, v] =fstat(6,24).

Si integramos la función F de 1 a infinito, nos daremos cuenta, que el área bajo la curva es 1. En algunos problemas será interesante determinar el valor de fa que parte a la curva en porcentaje (1-a) (a es llamado el nivel de significancia). Para esto tenemos que calcular el valor de fa que satisfaga la ecuación:

Este dato puede ser calculado utilizando la función de MATLAB utilizando la función

finv((1-alfa), v1, v2)

Ejemplo 3.

Determinar el valor crítico para una distribución F con 6 y 24 grados de libertad en un nivel de significacia de 0.05. Graficar la distribución el valor crítico.

clear;

f = 0:0.1:10;

plot(f, fpdf(f, 6, 24));

title('Distribución F con 6 y 24 grados de libertad');

xlabel('f');

ylabel('h(f)');

[m, v] =fstat(6,24)

fa = finv(0.95, 6, 24)

hold on;

y = 0:0.1:0.8;

plot(ones(length(y),1)*fa, y, 'r');

Figura 4

Podemos ver en la Figura 4, que el 95% de los datos se concentran a la izquierda de la línea roja y solo un 5% a la derecha.

4. Prueba de Hipótesis.

Una hipótesis estadística es una aseveración o conjetura con respecto a una o más poblaciones.

La estructura de la prueba de hipótesis se formulará con el uso del término de hipótesis nula, el cual se refiere a cualquier hipótesis que deseamos probar y se denota con H₀. El rechazo de H₀ conduce a la aceptación de la hipótesis alternativa.

Errores.

· El rechazo de la hipótesis nula cuando es verdadera se llama error tipo I.

· La aceptación de hipótesis nula cuando es falsa se llama error tipo II.

Al probar cualquier hipótesis estadística, hay cuatro situaciones

	H₀ es verdadero	H₀ es falsa
Aceptar H₀	Decisión correcta	Error tipo II
Rechazar H₀	Error Tipo I	Decisión correcta

La probabilidad de cometer un error tipo I, también llamada nivel de significancia, se denota con la letra griega a.

5. Procedimiento del análisis de varianza.

Con frecuencia el problema de analizar la calidad de la línea de regresión estimada se maneja mediante un enfoque de análisis de varianza: un procedimiento por el que la variación de la total en la variable dependiente se subdivide en componentes significativos que se observan y tratan en forma sistemática.

Suponga que tenemos n puntos de datos experimentales en la forma acostumbrada (x_i, y_i) y que se estima la recta de regresión

Una formulación alternativa y quizá más informativa es

Por lo cual logramos una partición de la suma total corregida de cuadrados de y en dos componentes que deben reflejar un significado particular para el experimentador. Indicaremos esta partición de manera simbólica como

SST = SSR + SSE

donde:

SSR = es la suma de cuadrados de regresión y refleja las variaciones sobre la media.

SSE = es la suma de cuadrados del error y refleja las variaciones sobre la recta de regresión

Supongamos que nos interesa probar la hipótesis

H₀ : b es igual a cero

H₁ : b es diferente de cero

Lo que significa que los valores de y no dependen de x y que probablemente fueron generados de manera aleatoria independientemente de x.

Para probar la hipótesis anterior calculamos

Ecuación 4

donde f es una distribución f y rechazamos H₀ al nivel de significancia a cuando f > f_a(1, n-2)

Los cálculos por lo general se resumen por medio de una tabla de análisis de varianza como la siguiente.

Análisis de variancia para probar b =0
Fuente de variación	Suma de cuadrados	Grados de libertad	Cuadrado medio	f calculada
Regresión	SSR	1	SSR	SSR/ s²
Error	SSE	n-2	s²=SSE/(n-2)
Total	SST	n-1
rechazamos b=0, al nivel de significancia a cuando f > f_a(1, n-2)

La media de los datos es una línea recta con pendiente cero y la línea de mínimos cuadrados es una línea recta con pendiente diferente de cero b!=0. En esta prueba de hipótesis más que probar si no hay dependencia lineal, esta probando que la varianza de los datos calculados respecto a la media es similar a la varianza de los datos calculados respecto a la línea de mínimos cuadrados.

Ejemplo 4.

Determinar, para los datos del ejemplo 1, si existe dependencia lineal de y respecto de x.

La implementación en MATLAB es:

clear;

x = [ 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20]';

y = [ 2.6888 -0.4724 3.7286 5.6471 1.1164 4.3160 5.2080 -0.3875 0.0181 4.1423 2.3002 4.5800 4.9312 4.8238 6.0805 4.9372 6.0817 1.3951 3.8604 3.6866]';

n = length(x);

plot(x,y);

title('Regresión lineal');

xlabel('x');

ylabel('y');

d = [x, ones(n, 1)];

p = inv(d'*d)*d'*y;

m = p(1);

b = p(2);

yp = mean(y);

v1 = 1;

v2 = n-2;

SSR = (yp -m*x - b)'*(yp -m*x - b)

SSE = (y -m*x - b)'*(y -m*x - b);

SST = SSR + SSE;

s2 = SSE/v2;

F = SSR/s2;

alfa = 0.05;

Fc = finv(1-alfa, v1, v2);