Chapitre 5.1 : Etats r´ecurants et transients d’une chaˆıne de Markov homog`ene

Que considère-t-on dans ce chapitre et quelles notations utilise-t-on pour préciser que la chaîne part de x ?

Comment définit-on le temps d’atteinte Tₓ d’un état x ∈ E ?

Quand un état x ∈ E est-il dit récurrent, et dans quel cas est-il dit transitoire/transient ?

Comment interprète-t-on intuitivement la récurrence et la transience d’un état ?

Comment définit-on le nombre de visites Nₓ d’un état x ?

Pourquoi a-t-on toujours Nₓ ≥ 1 lorsque la chaîne de Markov part de x ?

Quelle est la probabilité que le nombre de visites Nₓ de l’état x soit égal à k, pour tout k ≥ 1 ?

Quel est le rappel concernant la loi géométrique 𝒢(p) de paramètre p ∈ ]0,1] sur ℕ*, son espérance et sa variance ?

Si N ∼ 𝒢(p), alors, pour tout k ≥ 1, ℙ(N = k) = p(1 − p)ᵏ⁻¹,

𝔼[N] = 1/p et

Var(N) = (1 − p)/p²

Que peut-on dire du nombre de visites Nₓ lorsque l’état x est récurrent ?

Que peut-on dire du nombre de visites Nₓ lorsque l’état x est transitoire ?

Qu’appelle-t’on le n appelle G le noyaux de Green ou la fonction de Green?

Dans la proposition 41, quelle est l'égalité donnant G(x, y) en fonction des P^(n)(x, y), pour tout (x, y) ∈ E × E ?

Dans le corollaire 42, à quelle condition sur G(x, x) l'état x est-il récurrent ?

Dans le corollaire 42, à quelle condition l'état x est-il transient, et que vaut alors G(x, x) en fonction de ℙₓ[T_x = ∞] ?

Que vaut G(x, y) lorsque x ↛ y ?

Que vaut G(x, y) lorsque x → y et que y est récurrent ?

Quelle équation matricielle la fonction de Green G vérifie-t-elle, et à quelle condition est-elle équivalente ?