Desigualdad de Cramér-Rao

En estadística cuando intentamos estimar un parámetro, se busca tener un estimador con ciertas características, como pueden ser insesgado y que el error cuadrático sea mínimo, ¿Pero de que manera podemos saber si nuestro estimador tiene estas características?
Recordemos la definición de insesgado y del error cuadrático medio

INSESGADO: Un estimador $T=t(X_1,...,X_n)$ se define como un estimador insesgado de $\tau (\theta)$ si y solo si 

$$E[T]=E[t(X_1,...,X_n)]=\tau (\theta)$$

ERROR CUADRÁTICO MEDIO: Sea $T=t(X_1,...,X_n)$ un estimador de $\tau (\theta)$.

$$ECM=E[(T-\tau (\theta))^2]$$

es definido como el error cuadrático medio del estimador  $T=t(X_1,...,X_n)$

Notemos que $ECM=Var[T]+(\tau (\theta)-E[T])^2$, por lo tanto para obtener un "buen" estimador es necesario que sea insesgado y una vez que lo es, es de nuestro interés minimizar $Var[T]$, la desigualdad de Cramér-Rao nos ayudara a ver cuando se tiene la mínima varianza, para que la desigualdad se cumpla se requiere que se cumplan ciertas características de la muestra aleatoria.

$$Desigualdad\quad de\quad Cramér-Rao$$

Sea $X_1,X_2,...,X_n$ una muestra aleatoria de $f(x;\theta)$, donde $\theta\in \Theta$. Sea  $T=t(X_1,...,X_n)$ un estimador insesgado de $\tau (\theta)$, supongamos que la función $f(x;\theta)$ cumple con las siguientes propiedades.

$(i)$ $\frac{\partial}{\partial \theta}logf(x;\theta)$ existe para todo $x$ y $\theta$

$(ii)$ $\frac{\partial}{\partial \theta}\int ... \int \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n=\int ... \int\frac{\partial}{\partial \theta} \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n$

$(iii)$ $\frac{\partial}{\partial \theta}\int ... \int t(x_1,...,x_2)\prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n=\int ... \int t(x_1,...,x_2)\frac{\partial}{\partial \theta} \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n$
$(iv)$ $0<E\left[ { \left( \frac { \partial  }{ \partial \theta  } logf(X;\theta ) \right)  }^{ 2 } \right] <\infty$ para todo $\theta\in \Theta$
Entonces
$$Var[T]\ge \frac{(\tau ' ( \theta))^2}{nE\left[ { \left( \frac { \partial  }{ \partial \theta  } logf(X;\theta ) \right)  }^{ 2 } \right]}$$
La igualdad se cumple si y solo si exsite una función $K(\theta,n)$ tal que
$$\sum_{i=1}^{n}\frac{\partial}{\partial \theta}logf(x_i,\theta)=K(\theta,n)[ t(x_1,...,x_2)-\tau (\theta)]$$

La demostración en cierta sentido es sencilla ya que solo se desarrolla y se utiliza la desigualdad de Cauchy-Schwarz

DEMOSTRACIÓN

$\tau '(\theta)=\frac{\partial}{\partial \theta}E[\tau (\theta)]=\frac{\partial}{\partial \theta}\int ... \int t(x_1,...,x_2)\prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n$

Agregando un $0$ ya que $\frac{\partial}{\partial \theta}\int ... \int \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n=0$
$=\int ... \int t(x_1,...,x_2)\frac{\partial}{\partial \theta} \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n -\tau (\theta)\frac{\partial}{\partial \theta}\int ... \int \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n$
$=\int ... \int [t(x_1,...,x_2)-\tau (\theta)]\frac{\partial}{\partial \theta} \prod_{i=1}^{n}f(x_i:\theta)dx_1,...dx_n$

Por propiedades de la derivada  del logaritmo $ \frac{\partial}{\partial \theta}log\prod_{i=1}^{n}f(x_i;\theta)\times \prod_{i=1}^{n}f(x_i;\theta) =\frac{\partial}{\partial \theta}\prod_{i=1}^{n}f(x_i;\theta)$
$=\int ... \int [t(x_1,...,x_2)-\tau (\theta)]\frac{\partial}{\partial \theta}log\prod_{i=1}^{n}f(x_i;\theta)\times \prod_{i=1}^{n}f(x_i;\theta dx_1,...dx_n$
$=E\left[ [t(x_1,...,x_2)-\tau (\theta)]\frac{\partial}{\partial \theta}log\prod_{i=1}^{n}f(x_i;\theta) \right] $
Recordando la desigualdad de Cauchy-Shwarz de las esperanzas $E[XY]^2\le E[X^2]E[Y^2]$
$[\tau' (\theta)]^2\le E\left[ [t(x_1,...,x_2)-\tau (\theta)]^2\right] E \left[ \left[ \frac { \partial  }{ \partial \theta  } log\prod _{ i=1 }^{ n } f(x_{ i };\theta )^{ 2 } \right] ^{ 2 } \right] $
Se tiene que $ E\left[ [t(x_1,...,x_2)-\tau (\theta)]^2\right] =Var[T]$
$$Var[T]\ge \frac{[\tau' (\theta)]^2}{ E \left[ \left[ \frac { \partial  }{ \partial \theta  } log\prod _{ i=1 }^{ n } f(x_{ i };\theta )^{ 2 } \right] ^{ 2 } \right]}$$

Se comprueba usando propiedades del logaritmo y la esperanza de v.a.i. que
$$E \left[ \left[ \frac { \partial  }{ \partial \theta  } log\prod _{ i=1 }^{ n } f(x_{ i };\theta )^{ 2 } \right] ^{ 2 } \right]=nE\left[ { \left( \frac { \partial  }{ \partial \theta  } logf(X;\theta ) \right)  }^{ 2 } \right]$$
En la desigualdad de Cauchy-Shwarz, la igualdad se cumple si y solo si $ \frac { \partial  }{ \partial \theta  } log\prod _{ i=1 }^{ n } f(x_{ i };\theta )$ es un múltiplo de $t(x_1,...,x_2)-\tau (\theta)$ en este caso el múltiplo es escalar (que no depende de las variables aleatorias) es $K(\theta,n)$
$$ \frac { \partial  }{ \partial \theta  } log\prod _{ i=1 }^{ n } f(x_{ i };\theta )=\sum_{i=1}^{n}\frac{\partial}{\partial \theta}logf(x_i,\theta)=K(\theta,n)[t(x_1,...,x_2)-\tau (\theta)]$$
Esto completa la demostración

La cota Cramér-Rao nos ayuda a calcular que tan cerca esta la varianza de ser la mínima o en su caso cuando la varianza es igual a la cota sabremos que ya hemos obtenido la mínima.