Para modelar un fenómeno usando un proceso de Markov debemos de pensar en cual es la dependencia que tiene nuestro fenómeno del pasado. Una forma intuitiva de describir un proceso de Markov es que solo depende de lo ultimo conocido y no del resto de la historia. Por ejemplo si se modela el clima pensando que es un proceso de Markov, estaríamos suponiendo que el clima del día de mañana solo depende del clima del día de hoy, y no del resto de información que se ha acumulado hasta el día de hoy.
Matemáticamente para hablar de un proceso de markov $X = \{X_t\}_{t\ge 0 }$ sobre algún espacio de estados $(S,\mathcal{S})$ en un espacio de probabilidad $(\Omega,\mathcal{F},\mathbb{P})$ tenemos que tener una manera de referirnos a "tener información al tiempo $t$", para ello definimos una filtración, esto es una sucesión creciente de $\sigma$-álgebras $\{\mathcal{F}_t\}_{t\ge 0}$ tales que $\mathcal{F}_{s}\subset\mathcal{F}_{t}$ si $s<t$.
Entonces se dice que un proceso $X = \{X_t\}_{t\ge 0 }$ es Markoviano respecto a $\{\mathcal{F}_t\}_{t\ge 0}$ si $X$ esta adaptado a $\{\mathcal{F}_t\}$ ($X_t$ es $\mathcal{F}_t$-medible) y para toda función medible $f$ se tiene que: $$\mathbb{E}(f(X_t)|\mathcal{F}_s)=\mathbb{E}(f(X_t)|X_s)\quad \text{c.s para toda }s<t $$ Existen distintas maneras equivalentes de definir un proceso markoviano sin embargo considero que esta es la más intuitiva.
En particular si tomamos $f=1_{A}$ para cualquier $A\in\mathcal{S}$ obtenemos que: $$\mathbb{E}(f(X_t)|\mathcal{F}_s)=\mathbb{E}(f(X_t)|X_s)=\mathbb{P}(X_t\in A|X_s)$$ Esta es una variable aleatoria con respecto a $\Omega$ pero al mismo tiempo es una medida de probabilidad con respecto a $\mathcal{S}$, este tipo de funciones se les llama medidas aleatorias. En particular cuando hablamos de un proceso de Markov estas probabilidades se denominan probabilidades de transición, pues reprensenta la probabilidad de que en un tiempo futuro $t$ el proceso viste a $A$ dado que ya conocemos el valor en un tiempo pasado $s$. Estas probabilidades se denominan: $$\mu_{s,t}(X_s,A)=\mathbb{P}(X_t \in A |X_s) \quad A \in \mathcal{S}$$
Como estamos hablando de una medida aleatoria podemos integrar con respecto a esta de la siguiente manera: $$\mu_{s,t}f(x)=\int_{S}\mu_{s,t}(x,dy)f(y)$$
Entonces se puede pensar a $\mu_{s,t}$ como operadores de funciones sobre $S$, por lo tanto se puede compone, es decir $\mu_{u,t}\mu_{s,v}$ vuelve a ser una probabilidad de transición. Resulta que cobra mucho sentido esta composición con el siguiente resultado.
Proposición (Ecuación de Chapman-Kolgomorov)
Para cualquier proceso de Markov sobre el espacio $S$ se tiene que $$\mu_{s,t}=\mu_{s,u}\mu_{u,t}\quad s\le u \le t$$
Demostración
La demostración es directa, primero probamos para funciones indicadoras $f=1_A$ para algún $A\in \mathcal{S}$ Entonces $$\mu_{s,t}f(x)=\int_{S}\mu_{s,t}(x,dy)f(y)=\int_{A}\mu_{s,t}(x,dy)=\mu_{s,t}(x,A)=\mathbb{P}[X_t\in A|X_s=x]$$ la ultima igual se debe a que X es u proceso de Markov, por otro lado desarrollamos $$\mu_{s,u}\mu_{u,t}f(x)=\mu_{s,u}\left( \int_{S}\mu_{u,t}(x,dy)f(y)\right)=\int_S \mu_{s,u}(x,dy)\int_A \mu_{u,t}(z,dy)$$ Así como se definen las medidas producto con el teorema de fubini se puede definir lo mismo para una medida aleatoria, en general para cualquier par de medidas aleatorias $\mu$ y $\nu$ sobre el mismo espacio de estados existe una expansión a una medida al espacio producto $\mathcal{S}^2$, dada por: $$\mu\otimes\nu(x,A)=\int_S\mu(x,dy)\int_S\nu_(y,dz)1_{A}(y,z)$$ De esta manera: $$\mu_{s,u}\mu_{u,t}f(x)=\mu_{s,u}\otimes\mu_{u,t}(x,S\times A)$$ Esta ultima probabilidad se puede escribir como: $$\mu_{s,u}\otimes\mu_{u,t}(x,S\times A)=\mathbb{P}[(X_u,X_t)\in S\times A|X_s=x]$$ Pero el evento $\{X_t\in A\}$ es equivalente en probabilidad al evento $\{(X_u,X_t)\in S\times A\}$ por lo tanto $$\mu_{s,t}f(x)=\mu_{s,u}\mu_{u,t}f(x)$$ como el resultado es valido para indicadoras también lo es para simples de la forma $f=\sum a_i 1_{A_i}$ con $A_i \in\mathcal{S}$ pues son combinaciones lineales de indicadoras, cualquier función positiva puede ser aproximada por funciones simples y cualquier función en general se puede separa en su parte positiva y negativa y para ambas es valido, por lo tanto se cumple identicamente que $$\mu_{s,t}=\mu_{s,u}\mu_{u,t}$$
$\Box$
Cabe resaltar que la ecuación tiene cierto misterio pues a simple vista parece el producto de dos probabilidades, pero en realidad se trata de un par de operadores compuestos. Intuitivamente nos dice que la probabilidad de saltar a un conjunto entre los tiempos $s$ y $t$ es lo mismo que saltar en un tiempo intermedio $u$ y pasar por todas las posibilidades que tiene el proceso en ese tiempo intermedio.
De esta propiedad también se puede partir al revés, si tenemos los kernels de transición $\mu_{s,t}$ decimos que los kernels son markovianos si cumplen la ecuación de Chapman-Kolgomorov y se puede probar que existe un proceso $X$ cuyos kernels de transición son $\mu_{s,t}$.
Otra forma de encontrar la ecuación de Chapman-Kolgomorov es en el caso de homogeneidad, un proceso de Markov se dice homogéneo si se cumple que $$\mu_{s,t}=\mu_{t-s}$$ Es decir que $\mu_{s,t}$ solo depende de la distancia $t-s$ sin importar los tiempos de los que hablemos, de esta manera la probabilidad $\mu_t (x,B)$ es la probabilidad que dado que el proceso esta en $x$ actualmente (sin importar cuando sea "actualmente") llegue al conjunto $B$ luego de un periodo $t$ de tiempo. En este caso, la ecuación de Chapman-Kolgomorov es de la siguiente manera $$\mu_{s+t}=\mu_{s}\mu_t$$
En este caso a $(\mu_t)$ se le llama semigrupo de transición. Pero sin duda la forma más común en la que se encuentra la ecuación de Chapman-Kolgomorov es el caso de una cadena de Markov, una cadena de Markov es un proceso markoviano que tiene espacio de estados numerable $I$ y el conjunto del tiempo $\mathbb{Z}_{+}$. Cuando se tiene una cadena de Markov las probabilidades de transición se pueden estudiar las visitas a cada uno de los estados $i\in I$, $\mu_n(i,\{j\})=p^n_{ij}$ donde $p_{ij}^{n}$ es la n-ésima potencia de la matriz de transición en su ij-ésima entrada, es decir $\mu_1(i,\{j\})=\mathbb{P}(X_{n+1}=j|X_n=i)=p_{ij}$. La ecuación de Chapman-Kolgomorov resulta: $$p_{ij}^{n+m}=\sum_{k\in I}p_{ik}^n p_{kj}^m$$
Fuentes:
Erhan Cinlar, Probability and Stochastic, Springer, 2010.
Olav Kallenberg, Foundations of Modern Probability, Springer, 1997.
En este caso a $(\mu_t)$ se le llama semigrupo de transición. Pero sin duda la forma más común en la que se encuentra la ecuación de Chapman-Kolgomorov es el caso de una cadena de Markov, una cadena de Markov es un proceso markoviano que tiene espacio de estados numerable $I$ y el conjunto del tiempo $\mathbb{Z}_{+}$. Cuando se tiene una cadena de Markov las probabilidades de transición se pueden estudiar las visitas a cada uno de los estados $i\in I$, $\mu_n(i,\{j\})=p^n_{ij}$ donde $p_{ij}^{n}$ es la n-ésima potencia de la matriz de transición en su ij-ésima entrada, es decir $\mu_1(i,\{j\})=\mathbb{P}(X_{n+1}=j|X_n=i)=p_{ij}$. La ecuación de Chapman-Kolgomorov resulta: $$p_{ij}^{n+m}=\sum_{k\in I}p_{ik}^n p_{kj}^m$$
Fuentes:
Erhan Cinlar, Probability and Stochastic, Springer, 2010.
Olav Kallenberg, Foundations of Modern Probability, Springer, 1997.
Comentarios
Publicar un comentario