Ante determinados problemas de salud, especialmente en las enfermedades crónicas en las que se producen exacerbaciones y remisiones de las mismas, puede ser interesante considerar un horizonte temporal a largo plazo que contemple la posibilidad de que determinados acontecimientos se repitan, de tal forma que los pacientes pueden pasar de unos estados determinados de salud a otros, también de forma reversible o intercurrente, y no unidireccional como sucede en el modelo del árbol de decisión descrito anteriormente. Este contexto dinámico en el que los acontecimientos se pueden representar en ciclos de evolución no definitivos sería el caso, por ejemplo, de considerar las recidivas o recaídas de un episodio depresivo o de la reagudización de la dispepsia ulcerosa.

En estos casos el análisis de decisiones tendría que incluir lo que se denomina procesos de Markov (Briggs y Sculpher, 1998). Estos procesos o modelos asumen que los individuos se pueden encontrar en una amplia gama de estados definidos denominados estados de Markov, y que su salud puede pasar de un estado a otro de acuerdo con una serie de probabilidades. Las probabilidades de transición de un estado a otro pueden ser constantes o variar de acuerdo con un parámetro de nuestro interés, o un parámetro relevante por la enfermedad o tratamiento en cuestión. A diferencia de los árboles de decisión deterministas en los que se asume un estado de salud inicial común para cada una de las alternativas terapéuticas, en los modelos de Markov estos varían con el tiempo en función de las probabilidades de cada acontecimiento, y es sobre cada nueva distribución que se aplican las probabilidades de que ocurran los distintos acontecimientos. Así, encontramos modelos semiMarkov donde las probabilidades de pasar de un estado de salud a otro van en función de determinadas características del paciente como son la edad, el género o el tiempo que ha permanecido en un determinado estado de salud, entre otros.

El cálculo del valor esperado dependerá del valor que cada alternativa tome en cada ciclo, de las probabilidades de transición entre los distintos estados y del número de iteraciones de los ciclos.