Ley Fuerte de los Grandes Numeros

Uno de los resultados mas importantes de la teoría de la probabilidad es la Ley Fuerte de los Grandes Números, es un resultado muy intuitivo pues nos dice que la media aritmética ($\frac{1}{n}\sum_{i=1}^{n}X_i$) converge casi seguramente a la esperanza de la muestra ($\mu$). Cuando definimos una función de probabilidad $P$ esperamos que nos diga que es mas común que ocurra. Si $f_n(A)$ denota el número de ocaciones que ocurre $A$ dividido por $n$, intuitivamente $f_n(A)$ debe ser cada ves mas parecido a $P(A)$ es decir $f_n(A)\rightarrow P(A)$, por lo que el teorema resulta un resultado muy intuitivo.

Primero citaremos las definiciones de los tipos de convergencia.

Definición 1: Decimos que una sucesión de variables aleatorias $(X_n)_{n\ge 1}$ converge casi seguramente a la variable $X$ si $$N=\left\{\omega :\lim _{ n\rightarrow \infty  }{ { X }_{ n }(\omega ) } \neq X(\omega)     \right\}\quad \quad tiene \quad P(N)=0$$ se abrevia como $\lim _{ n\rightarrow \infty  }{ { X }_{ n } } \overset { c.s. }{ = } X$
Definición 2: Una sucesión de variables aleatorias $(X_n)_{n\ge 1}$ converge en $L^p$ a $X$ si $$\lim _{ n\rightarrow \infty  }{ E({ \left| { X }_{ n }-X \right|  }^{ p })=0 }$$ se abrevia como ${ X }_{ n }\overset { { L }^{ p } }{ \rightarrow  } X$
Definición 3: Una sucesión de variables aleatorias $(X_n)_{n\ge 1}$ converge en probabilidad a $X$ si para todo $\epsilon>0$ $$\lim _{ n\rightarrow \infty  }{ P\left( \left\{ \omega :\left| { X }_{ n }(\omega )-X(\omega ) \right| >\epsilon  \right\}  \right)  } =0$$  se abrevia como ${ X }_{ n }\overset { P }{ \rightarrow  } X$

Para demostrar la ley fuerte de los grandes números necesitamos un par de resultados previos.

Teorema 1: Sea  $(X_n)_{n\ge 1}$ una sucesión de v.a.
1) Si ${ X }_{ n }\overset { { L }^{ p } }{ \rightarrow  } X$ entonces  ${ X }_{ n }\overset { P }{ \rightarrow  } X$

2) Si $\lim _{ n\rightarrow \infty  }{ { X }_{ n } } \overset { c.s. }{ = } X$ entonces ${ X }_{ n }\overset { P }{ \rightarrow  } X$ 

Con esto lo que tenemos es que la convergencia casi seguramente y en $L^p$ son los tipos de convergencia mas fuertes.

Teorema 2: Supongamos que ${ X }_{ n }\overset { P }{ \rightarrow  } X$ Entonces existe una subsucesion $n_k$ tal que  $\lim _{ k\rightarrow \infty  }{ { X }_{ n_k } } \overset { c.s. }{ = } X$

Con esto podemos conectar convergencia casi segura con la $L^p$ usando por un momento la convergencia en probabilidad.
Enunciamos el teorema:

LEY FUERTE DE LOS GRANDES NÚMEROS

Sea  $(X_n)_{n\ge 1}$ una sucesión  de v.a. independientes idénticamente distribuidas y definidas sobre el mismo espacio. Sea 

$\mu=E[X_j]$    y   $\sigma^2=\sigma_{X_j}^2<\infty$

Sea $S_n=\sum_{j=1}^{n}X_j$. Entonces $$\lim_{n\rightarrow \infty}{\frac{S_n}{n}}=\lim_{n\rightarrow \infty}{\frac{1}{n}\sum_{j=1}^{n}X_j}=\mu$$ Casi seguramente y en $L^2$

DEMOSTRACIÓN

Notemos que para simplicidad podemos fijar que $\mu=0$ y no se pierde generalidad pues podemos demostrarlo para las variables $Z_j=X_j-\mu$ y demostrar que $\lim_{n\rightarrow \infty}{\frac{1}{n}\sum_{j=1}^{n}X_j-\mu}=0$ por lo que deducimos el resultado. 

Entonces tomamos $\mu=0$, llamamos $S_n=\sum_{j=1}^{n}X_j$ y $Y_n=\frac{S_n}{n}$, notemos que como la esperanza es un operador lineal $E[Y_n]=0$, por otra parte su segundo momento $E[Y_n^2]=\frac{1}{n^2}\sum_{1\le j,k \le n}E[X_j X_k]$, en los terminos que no son cruzados ($j\neq k$) se tienen elementos $E[X_jX_k]=E[X_j]E[X_k]=0$ gracias a que son independientes por lo que solo queda que 

$E[Y_n^2]=\frac{1}{n^2}\sum_{j=1}^{n}E[X_j^2]$

$\quad\:= \frac{1}{n^2}\sum_{j=1}^{n}\sigma^2$

$\!\!\!\!\!\!\!\!\!\!\!\!\!=\frac{\sigma_2}{n}$

Por lo que $\lim_{n\rightarrow \infty}{E[|Y_n-0|^2]}=\lim_{n\rightarrow \infty}{\frac{\sigma^2}{n}}=0$ por lo tanto se cumple la convergencia en $L^2$. 

Sabemos que si converge en $L^2$ lo hace también en probabilidad por lo que existe una subsucesion que converge casi seguramente, sin embargo queremos demostrar que toda la suscesion converge, lo haremos por dos pasos. Primero seleccionamos la subsucesión $n^2$ de esta subsucesión sabemos que 

$\sum_{n=1}^{\infty}E[Y^2_{n^2}]=\sum_{n=1}^{\infty}\frac{\sigma^2}{n^2}<\infty$

Este ultimo es finito pues $\sum_{n=1}^{\infty}\frac{1}{n^2}=\frac{\pi^2}{6}$, sabemos que si la serie de las esperanzas converge también lo hace la de las variables aleatorias, es decir $\sum_{n=1}^{\infty}Y^2_{n^2}<\infty$ para que esto suceda los terminos de dicha serie deben de tender a 0 por lo tanto 

 $\lim_{n\rightarrow \infty}{Y_{n^2}}=0$

Esto demuestra que la subsucesión efectivamente converge a 0, el segundo paso es ver que el resto de la sucesión también lo hace. Definimos la función  $p(n)$ que cumple la siguiente propiedad

$p(n)^2\le n \le (p(n)+1)^2$

Nos ayudamos de la siguiente diferencia que nos ayudara a comparar ambas series 

$W_n=Y_n-\frac{p(n)^2}{n}Y_{p(n)^2}=\frac{1}{n}\sum_{j=p(n)^2+1}^{n}X_j$

Entonces como hicimos en la primer parte de la demostración acotaremos su esperanza, 

$E[W_n^2]=\frac{1}{n^2}\sum_{j=p(n)^2+1}^{n}E[X_j^2]=\frac{n-p(n)^2}{n^2}\sigma^2$

Pero

$\frac{n-p(n)^2}{n^2}\sigma^2 \le \frac{2p(n)+1}{n^2}\sigma^2 \le\frac{2\sqrt{n}+1}{n^2}\sigma^2\le \frac{3\sigma^2}{n^{3/2}}$

Aplicando el mismo argumento anterior tenemos que 

$\sum_{n=1}^{\infty}E[W_n^2] \le \sum_{n=1}^{\infty}\frac{3\sigma^2}{n^{3/2}}<\infty$

Por lo tanto la serie de las v.a. también converge $\sum_{n=1}^{\infty}W_n^2 \le \infty$ y para que esto ocurra tiene que ocurrir que 

$\lim_{n\rightarrow \infty}{W_n}=\lim_{n\rightarrow \infty}{Y_n-\frac{p(n)^2}{n}Y_{p(n)^2}}=0$

Como ya sabemos que la sucesión de los terminos al cuadrado converge a 0 tenemos que $\lim_{n\rightarrow \infty}{Y_{p(n)^2}}=0$ y también que $\lim_{n\rightarrow \infty}{\frac{p(n)^2}{n}}=1$. Por lo que concluimos finalmente que 

$\lim_{n\rightarrow \infty}{Y_n}=0$

Existen otras versiones del teorema con otras hipótesis algunas mas debiles como en la que solo se propone que las v.a. convergen en probabilidad a la media a esta se le llama la ley débil de los grandes números.  

Gracias por su visita.

Fuentes:
J. Jacod,  P. Protter, Probability Essentials, Springer-Verlag, 2003