CADENAS DE MARKOV
En esta parte aprendí que es un proceso y una sucesión de eventos que desarrollan en un tiempo o en alguna etapa y esta parte contiene algunos elementos al azar que el denominan proceso aleatorio y procesos estocástico.
• El conjunto de todos los posibles estados que un proceso puede ocupar en los distintos movimientos se llama espacio de estados. Un espacio de estados puede ser
• finito,
• numerable
• no numerable.
• Existe un vector probabilidad inicial tal que:
• a = (a1, a2,....an) en la que los elementos ai son las probabilidades de que el estado inicial del proceso sea Si.
Una cadena de Markov es una secuencia X1, X2, X3,... de variables aleatorias. El rango de estas variables, es llamado espacio estado, el valor de X n es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional deXn+1 en estados pasados es una función de X n por sí sola, entonces:
Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.ALEATORIO: es donde cambia en serie de pasos consecutivos y se relaciona el tiempo cambia día a día de una manera que que tenga la apariencia de algo aleatorio.
ESTOCASTICO: nos dice que cada resultado depende de lo que sucedió en etapas anteriores del proceso.
REPRESENTACIÓN GRAFICA DE UNA MATRIZ DE TRANSICIÓN:
Es el arreglo numérico donde se condensa las probabilidades de un estado a otro. A través de una gráfica de matriz de transición se puede observar el comportamiento estacionario representado por una cadena de Markov tal que los estados representan la categoría en que se encuentre clasificado. Como se aprecia a continuación:
PROPIEDADES:
1- la suma de las probabilidades de los estados debe ser igual a 1.
2- la matriz de transición debe ser cuadrada.
3- las probabilidades de transición deben estar entre 0 y 1.
Podemos definir como que Markov o Cadenas de Markov es una cadena de eventos cada evento ligado al procedente). Igual nos informa que estas cadenas tiene memoria recuerda el ultimo evento y esa condición es aceptable para eventos futuros.
Entonces llegue a la conclusión de que Cadenas de Markov es una sucesión de eventos similares u observaciones que en cada evento tiene el mismo número de resultado posibles el resultado de cada evento es procedente y no cualquier resultado.
También es de suma importancia la MATRIZ DE TRANSICION ya que los elementos de transición las probabilidades de que en el próximo evento el sistema indicado ala izquierda de la matriz cambie el estado indicando arriba de la matriz.
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOV
Las propiedades a largo plazo de una cadena de Markov dependen en gran medida de las características de sus estados y de la matriz de transición. Para describir con más detalle las propiedades de una cadena de Markov es necesario presentar algunos conceptos y definiciones que se refieren a estos estados.
Se dice que el estado j es accesible desde el estado i si pij (n) . 0 para alguna n $ 0. (Recuerde que pij (n) es sólo la probabilidad condicional de llegar al estado j después de n pasos, si el sistema está en el estado i.) Entonces, que el estado j sea accesible desde el estado i significa que es posible que el sistema llegue finalmente al estado j si comienza en el estado i. Esto es particularmente válido para el ejemplo del clima (vea la fi gura 16.1) puesto que pij . 0 para toda i y j. En el ejemplo de inventarios (vea la fi gura 16.2), pij (2) . 0 para todo i y j de manera que cada estado es accesible desde cualquier otro estado. En general, una condición sufíciente para que todos los estados sean accesibles es que exista un valor de n para el que pij(n) . 0 para todo i y j.
En el ejemplo del juego que se presentó al fi nal de la sección 16.2 (vea la fi gura 16.4), el estado 2 no es accesible desde el estado 3. Esto se puede deducir del contexto del juego (una vez que el jugador llega al estado 3 nunca lo deja), lo que implica que p32
(n) 5 0 para toda n $ 0. Sin embargo, aun cuando el estado 2 no es accesible desde el estado 3, el estado 3 sí es accesible desde el estado 2 puesto que, con n 5 1, la matriz de transición del fi nal de la sección 16.2 indica que p23 5 p . 0. Si el estado j es accesible desde el estado i y el estado i es accesible desde el estado j, entonces se dice que los estados i y j se comunican. En el ejemplo de inventarios, todos los estados se comunican. En el ejemplo del juego, los estados 2 y 3 no se comunican. En general:
1. Cualquier estado se comunica consigo mismo (porque pii (0) 5 P{X0 5 i|X0 5 i} 5 1).
2. Si el estado i se comunica con el estado j, entonces el estado j se comunica con el estado i.
3. Si el estado i se comunica con el estado j y éste con el estado k, entonces el estado i se comunica con el estado k.
Las propiedades 1 y 2 se deducen de la defi nición de estados que se comunican, mientras que la propiedad 3 se deriva de las ecuaciones de Chapman-Kolmogorov. Como resultado de estas propiedades de comunicación se puede hacer una partición del espacio de estados en clases separadas, donde se dice que dos estados que se comunican pertenecen a la misma clase. (Una clase puede consistir en un solo estado.) Si existe sólo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Markov es irreducible. Tanto en el ejemplo del clima como en el de inventarios, la cadena de Markov es irreducible. En el primer ejemplo de las acciones (sección 16.2), la cadena de Markov también es irreducible. El ejemplo del juego contiene tres clases; el estado 0 forma una clase, el estado 3 forma otra y los estados 1 y 2 forman una tercera clase.
PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV
Las pj se llaman probabilidades de estado estable de la cadena de Markov. El término probabilidad de estado estable signifi ca que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j, después de un número grande de transiciones tiende al valor pj, y es independiente de la distribución de probabilidad inicial definida para los estados. Es importante observar que
la probabilidad de estado estable no significa que el proceso se establezca en un estado. Por el contrario, el proceso continúa haciendo transiciones de un estado a otro y en cualquier paso n la probabilidad de transición del estado i al estado j es todavía pij.
PROBABILIDADES DE TRANSICION Y MATRIZ DE TRANSICION
La probabilidad de ir del estado i al estado j en n unidades de tiempo es
,En la probabilidad de transición en un paso se omite el superíndice de modo que queda
. 
Estado estable
Probabilidades de estado estable y tiempos promedio de primer pasó
En el estudio del ejemplo de cola (ejemplo 4), se encontró que después de un largo tiempo, la probabilidad de que la siguiente vez que una persona compre bebida de cola sea cola 1 se aproxima a .67 y.33 de que sería cola 2 (véase la tabla 2). Estas probabilidades no dependen de si la persona tomaba cola 1 o cola 2.en esta sección, se analiza el concepto importante de probabilidades de estado estable, que se pueden usar para describir el comportamiento a largo plazo de una cadena de Markov. El siguiente resultado es vital para comprender las probabilidades de estado estable y el comportamiento a largo plazo de las cadenas de Markov.
Observe que para grande, np tiende a una matriz con renglones idénticos. Esto significa que después de un largo tiempo, la cadena de Markov se estabiliza, e (independientemente del estado inicial 2) hay una probabilidad πj de que se está en el estado j
ESTADO ABSORBENTE
En una cadena de Markov un conjunto C de estados se denomina cerrado si el sistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemplo especial de un conjunto cerrado es u n estado particular ,/ que tenga una probabilidad de transición L1. 1. En este caso ,/ se denomina estado absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y ningún otro subconjunto puede ser cerrado. El conjunto cerrado C también debe satisfacer todas las condiciones de una cadena de Markov y por ello, puede estudiarse de forma independiente.
PROCESOS ESTOCÁSTICOS
Un proceso estocástico se define como una colección indexada de variables aleatorias {Xt}, donde el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt representa una característica de interés cuantificado cable en el tiempo t.
Por ejemplo, Xt puede representar los niveles de inventario al fi nal de la semana t. Los procesos estocásticos son de interés para describir el comportamiento de un sistema en operación durante algunos periodos. Un proceso estocástico tiene la siguiente estructura.
La condición actual del sistema puede estar en una de M 1 1 categorías mutuamente excluyentes llamadas estados. Por conveniencia en la notación, estos estados se etiquetan 0, 1, 2, . . ., M. La variable aleatoria Xt representa el estado del sistema en el tiempo t, de manera que sus únicos valores posibles son 0, 1, . . ., M. El sistema se observa en puntos del tiempo dados, etiquetados t 5 0, 1, 2, . . . De esta forma, los procesos estocásticos {Xt} 5 {X0, X1, X2, . . .} proporcionan una representación matemática de la forma en que evoluciona la condición del sistema físico a través del tiempo.
Este tipo de procesos se conocen como procesos estocásticos de tiempo discreto con espacio de estados fi nito.
EJEMPLO
