Loi des grands nombres et TCL : cours de maths en L3 en PDF.

On dit que \((X_n)\) converge presque sûrement vers \(X\) si l’événement \(\{\omega \in \Omega : X_n(\omega) \to X(\omega)\}\) est de probabilité 1. On note \(X_n \xrightarrow{\text{p.s.}} X\).

On dit que \((X_n)\) converge en probabilité vers \(X\) si, pour tout \(\varepsilon > 0\), \(P(|X_n – X| > \varepsilon) \to 0\) quand \(n \to \infty\). On note \(X_n \xrightarrow{P} X\).

Soit \(p \geq\, 1\). On suppose \(X_n\) et \(X\) dans \(L^p\). On dit que \((X_n)\) converge dans \(L^p\) vers \(X\) si \(E(|X_n – X|^p) \to 0\). Pour \(p = 2\), on parle de convergence en moyenne quadratique.

On dit que \((X_n)\) converge en loi vers \(X\) si, pour toute fonction \(f : \mathbb{R} \to \mathbb{R}\) continue et bornée, \(E(f(X_n)) \to E(f(X))\). On note \(X_n \xrightarrow{\mathcal{L}} X\).

Notons \(F_n\) et \(F\) les fonctions de répartition de \(X_n\) et \(X\). Alors \(X_n \xrightarrow{\mathcal{L}} X\) si et seulement si \(F_n(x) \to F(x)\) en tout point \(x\) où \(F\) est continue.

Soit \(X_n\) de loi géométrique de paramètre \(\lambda / n\), avec \(\lambda > 0\). Pour \(x \geq\, 0\), on a \(P(X_n / n > x) = (1 – \lambda/n)^{\lfloor nx \rfloor}\). Or \(\lfloor nx \rfloor \ln(1 – \lambda/n) \to -\lambda x\). Ainsi \(X_n / n\) converge en loi vers la loi exponentielle de paramètre \(\lambda\).

Pour une suite d’événements \((A_n)\), on pose \(\limsup A_n = \bigcap_{N \geq\, 1} \bigcup_{n \geq\, N} A_n\). C’est l’ensemble des \(\omega\) qui appartiennent à une infinité de \(A_n\).

Lemme de Borel-Cantelli.

1. Si \(\sum P(A_n) < \infty\), alors \(P(\limsup A_n) = 0\).
2. Si les \(A_n\) sont indépendants et si \(\sum P(A_n) = \infty\), alors \(P(\limsup A_n) = 1\).

1. Pour tout \(N\), \(\limsup A_n \subset \bigcup_{n \geq\, N} A_n\). Donc \(P(\limsup A_n) \leq\, \sum_{n \geq\, N} P(A_n)\). Ce reste de série convergente tend vers 0.

2. Le complémentaire de \(\limsup A_n\) est \(\bigcup_N \bigcap_{n \geq\, N} A_n^c\). Il suffit donc de voir que chaque \(\bigcap_{n \geq\, N} A_n^c\) est négligeable. Par indépendance, puis grâce à \(1 – u \leq\, e^{-u}\), on obtient pour \(M \geq\, N\) :

\[P\Big(\bigcap_{n = N}^{M} A_n^c\Big) = \prod_{n = N}^{M} \big(1 – P(A_n)\big) \leq\, \exp\Big(-\sum_{n = N}^{M} P(A_n)\Big).\]

Le membre de droite tend vers 0 quand \(M \to \infty\). Enfin, la continuité décroissante de \(P\) conclut.

La seconde partie est fausse sans indépendance. Par exemple, avec \(A_n = [0, 1/n]\) dans \([0,1]\) muni de la mesure de Lebesgue, la série \(\sum 1/n\) diverge, mais \(\limsup A_n = \{0\}\) est négligeable.

Pour montrer que \(X_n \to X\) presque sûrement, il suffit d’établir que, pour tout \(\varepsilon > 0\), \(\sum_n P(|X_n – X| > \varepsilon) < \infty\). En effet, Borel-Cantelli donne alors \(|X_n – X| \leq\, \varepsilon\) à partir d’un certain rang, presque sûrement. On prend ensuite \(\varepsilon = 1/k\) et on intersecte ces événements sur \(k \in \mathbb{N}^*\), ce qui reste de probabilité 1.

Soit \((X_n)\) une suite de variables indépendantes de Bernoulli de paramètre \(p_n\). Alors \(X_n \to 0\) presque sûrement si et seulement si \(X_n = 1\) pour un nombre fini d’indices. D’après les deux parties du lemme, cela a lieu si et seulement si \(\sum p_n < \infty\). Ainsi, avec \(p_n = 1/n\), la suite ne converge pas presque sûrement, alors que \(P(X_n \neq 0) = 1/n \to 0\).

1. La convergence presque sûre entraîne la convergence en probabilité.
2. La convergence dans \(L^p\) entraîne la convergence en probabilité.
3. La convergence en probabilité entraîne la convergence en loi.
4. Si \(X_n \xrightarrow{\mathcal{L}} c\), où \(c\) est une constante, alors \(X_n \xrightarrow{P} c\).
5. Si \(X_n \xrightarrow{P} X\), il existe une sous-suite \((X_{n_k})\) qui converge presque sûrement vers \(X\).

1. Fixons \(\varepsilon > 0\). La variable \(\mathbf{1}_{\{|X_n – X| > \varepsilon\}}\) tend presque sûrement vers 0 et elle est dominée par 1. Par convergence dominée, son espérance \(P(|X_n – X| > \varepsilon)\) tend vers 0.

2. D’après l’inégalité de Markov, \(P(|X_n – X| > \varepsilon) \leq\, E(|X_n – X|^p) / \varepsilon^p\), qui tend vers 0.

3. Soit \(f\) continue bornée. Montrons que \(E(f(X_n)) \to E(f(X))\). D’abord, soit \(\eta > 0\). Il existe \(A > 0\) tel que \(P(|X| > A) \leq\, \eta\). Ensuite, \(f\) est uniformément continue sur \([-A-1, A+1]\) : il existe \(\delta \in \, ]0, 1]\) tel que \(|f(x) – f(y)| \leq\, \eta\) dès que \(|x| \leq\, A\) et \(|x – y| \leq\, \delta\). En découpant selon les événements \(\{|X| > A\}\) et \(\{|X_n – X| > \delta\}\), on obtient

\[|E(f(X_n)) – E(f(X))| \leq\, \eta + 2\|f\|_\infty \big( \eta + P(|X_n – X| > \delta) \big).\]

Ainsi la limite supérieure est au plus \(\eta(1 + 2\|f\|_\infty)\), pour tout \(\eta > 0\).

4. La fonction de répartition de \(c\) est continue sauf en \(c\). Donc \(F_n(c + \varepsilon) \to 1\) et \(F_n(c – \varepsilon) \to 0\). Par conséquent, \(P(|X_n – c| > \varepsilon) \leq\, 1 – F_n(c + \varepsilon) + F_n(c – \varepsilon) \to 0\).

5. On choisit \(n_1 < n_2 < \cdots\) tels que \(P(|X_{n_k} – X| > 2^{-k}) \leq\, 2^{-k}\). La série converge, donc Borel-Cantelli donne \(|X_{n_k} – X| \leq\, 2^{-k}\) à partir d’un certain rang, presque sûrement.

Presque sûre sans \(L^1\). Posons \(X_n = n \mathbf{1}_{[0, 1/n]}\). Pour \(\omega > 0\), \(X_n(\omega) = 0\) dès que \(n > 1/\omega\). Donc \(X_n \to 0\) presque sûrement. Cependant \(E(X_n) = 1\) pour tout \(n\) : il n’y a pas convergence dans \(L^1\).

Bosse glissante : \(L^p\) sans presque sûre. Écrivons \(n = 2^k + j\) avec \(0 \leq\, j < 2^k\), et posons \(X_n = \mathbf{1}_{[j 2^{-k}, (j+1) 2^{-k}]}\). Alors \(E(X_n^p) = 2^{-k} \to 0\). Pourtant, chaque \(\omega\) est couvert une fois à chaque génération \(k\). Ainsi la suite \((X_n(\omega))\) prend une infinité de fois la valeur 1, et elle ne converge en aucun point.

En loi sans en probabilité. Soit \(X\) de loi \(\mathcal{N}(0,1)\) et \(X_n = -X\) pour tout \(n\). La loi normale centrée est symétrique, donc \(X_n\) a la même loi que \(X\) : la convergence en loi est triviale. En revanche, \(P(|X_n – X| > 1) = P(|X| > 1/2)\) ne tend pas vers 0.

La convergence presque sûre et la convergence dans \(L^p\) ne sont pas comparables en général. Cependant, si \(X_n \to X\) presque sûrement et si \(|X_n| \leq\, Y\) avec \(Y \in L^p\), la convergence dominée donne la convergence dans \(L^p\).

La fonction caractéristique de \(X\) est \(\varphi_X(t) = E(e^{itX})\) pour \(t \in \mathbb{R}\). Elle est continue, bornée par 1, et elle caractérise la loi de \(X\).

Théorème de continuité de Lévy.

1. Si \(X_n \xrightarrow{\mathcal{L}} X\), alors \(\varphi_{X_n}(t) \to \varphi_X(t)\) pour tout \(t \in \mathbb{R}\).
2. Réciproquement, si \(\varphi_{X_n}\) converge simplement vers une fonction \(\varphi\) continue en 0, alors \(\varphi\) est la fonction caractéristique d’une variable \(X\), et \(X_n \xrightarrow{\mathcal{L}} X\).

La continuité en 0 de la limite n’est pas décorative. Si \(X_n \sim \mathcal{N}(0, n)\), alors \(\varphi_{X_n}(t) = e^{-nt^2/2}\) tend vers \(\mathbf{1}_{\{t = 0\}}\). Cette limite est discontinue en 0 et, de fait, la masse de \(X_n\) « part à l’infini » : il n’y a pas de convergence en loi.

Pour prouver que \(X_n \xrightarrow{\mathcal{L}} X\) par les fonctions caractéristiques :

1. calculer \(\varphi_{X_n}(t)\), souvent en utilisant l’indépendance pour passer d’une somme à un produit ;
2. faire un développement limité en \(t / \sqrt{n}\) ou en \(1/n\), en contrôlant le reste à \(t\) fixé ;
3. reconnaître la limite comme la fonction caractéristique d’une loi connue, puis appliquer le théorème de Lévy.

Soit \(X_n \sim \mathcal{B}(n, \lambda/n)\). Alors \(\varphi_{X_n}(t) = (1 + \frac{\lambda(e^{it} – 1)}{n})^n\). Pour \(z \in \mathbb{C}\) fixé, \((1 + z/n)^n \to e^z\). Donc \(\varphi_{X_n}(t) \to \exp(\lambda(e^{it} – 1))\). Par le théorème de Lévy, \(X_n\) converge en loi vers la loi de Poisson \(\mathcal{P}(\lambda)\).

Loi faible des grands nombres. Soit \((X_n)\) une suite de variables de carré intégrable, deux à deux non corrélées, de même espérance \(m\) et de variances bornées par \(C\). Alors \(\overline{X}_n \to m\) dans \(L^2\), donc en probabilité. Plus précisément :

\[P(|\overline{X}_n – m| \geq\, \varepsilon) \leq\, \frac{C}{n \varepsilon^2}.\]

Les covariances sont nulles, donc la variance d’une somme est la somme des variances. Ainsi \(\operatorname{Var}(S_n) \leq\, nC\). Comme \(E(\overline{X}_n) = m\), on a \(E((\overline{X}_n – m)^2) = \operatorname{Var}(S_n)/n^2 \leq\, C/n\). Ceci tend vers 0. Enfin, l’inégalité de Bienaymé-Tchebychev donne la majoration annoncée.

Loi forte des grands nombres. Soit \((X_n)\) une suite de variables indépendantes et de même loi, intégrables, d’espérance \(m\). Alors \(\overline{X}_n \to m\) presque sûrement et dans \(L^1\).

On suppose \(E(X_1^4) < \infty\) et, quitte à centrer, \(m = 0\). En développant \(S_n^4\), les termes contenant un \(X_i\) à la puissance 1 sont d’espérance nulle par indépendance. Il reste les termes \(X_i^4\) et \(X_i^2 X_j^2\) avec \(i \neq j\) :

\[E(S_n^4) = n E(X_1^4) + 3n(n-1) E(X_1^2)^2 \leq\, 3n^2 E(X_1^4).\]

La dernière inégalité vient de \(E(X_1^2)^2 \leq\, E(X_1^4)\). Par l’inégalité de Markov, \(P(|\overline{X}_n| > \varepsilon) \leq\, E(S_n^4)/(n^4 \varepsilon^4) \leq\, 3E(X_1^4)/(n^2 \varepsilon^4)\). C’est le terme général d’une série convergente. Par conséquent, la méthode de Borel-Cantelli donne \(\overline{X}_n \to 0\) presque sûrement.

L’intégrabilité est indispensable. Si les \(X_n\) sont indépendantes de loi de Cauchy, de densité \(\frac{1}{\pi(1 + x^2)}\), alors \(\overline{X}_n\) suit encore la loi de Cauchy pour tout \(n\). Autrement dit, la moyenne ne se stabilise jamais.

Méthode de Monte-Carlo. Soit \(f\) intégrable sur \([0,1]\) et \((U_n)\) indépendantes de loi uniforme sur \([0,1]\). Les \(f(U_n)\) sont indépendantes, de même loi, intégrables et d’espérance \(\int_0^1 f\). Par la loi forte, \(\frac{1}{n} \sum_{k=1}^{n} f(U_k) \to \int_0^1 f(x)\, dx\) presque sûrement.

Théorème central limite. Soit \((X_n)\) une suite de variables indépendantes, de même loi, de carré intégrable, d’espérance \(m\) et de variance \(\sigma^2 > 0\). Alors

\[\frac{S_n – nm}{\sigma \sqrt{n}} = \sqrt{n}\, \frac{\overline{X}_n – m}{\sigma} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1).\]

En particulier, pour tous \(a < b\), \(P(a \leq\, \frac{S_n – nm}{\sigma \sqrt{n}} \leq\, b) \to \int_a^b \frac{e^{-x^2/2}}{\sqrt{2\pi}}\, dx\).

Posons \(Y_k = (X_k – m)/\sigma\) : elles sont indépendantes, de même loi, centrées et réduites. Notons \(\varphi\) leur fonction caractéristique. Comme \(Y_1\) admet un moment d’ordre 2, \(\varphi\) est de classe \(C^2\), avec \(\varphi(0) = 1\), \(\varphi^{\prime}(0) = 0\) et \(\varphi^{\prime\prime}(0) = -1\). Par la formule de Taylor-Young :

\[\varphi(u) = 1 – \frac{u^2}{2} + u^2 \varepsilon(u), \quad \varepsilon(u) \to 0.\]

Par indépendance, la fonction caractéristique de \(Z_n = (Y_1 + \cdots + Y_n)/\sqrt{n}\) vaut \(\varphi(t/\sqrt{n})^n\). Or \(\varphi(t/\sqrt{n}) = 1 + z_n / n\) avec \(z_n = -t^2/2 + t^2 \varepsilon(t/\sqrt{n}) \to -t^2/2\). Pour des complexes \(|a|, |b| \leq\, 1\), on a \(|a^n – b^n| \leq\, n|a – b|\). Avec \(b = e^{z_n/n}\), on en déduit que \(\varphi(t/\sqrt{n})^n – e^{z_n}\) tend vers 0. Donc \(\varphi_{Z_n}(t) \to e^{-t^2/2}\). Cette limite est continue et c’est la fonction caractéristique de \(\mathcal{N}(0,1)\). Finalement, le théorème de Lévy conclut. La limite porte sur la fonction de répartition en tout point, car celle de \(\mathcal{N}(0,1)\) est continue.

Approximation normale. Pour \(n\) grand, on remplace la loi de \(S_n\) par \(\mathcal{N}(nm, n\sigma^2)\) :

1. on centre et on réduit : \(P(S_n \leq\, s) = P(\frac{S_n – nm}{\sigma\sqrt{n}} \leq\, \frac{s – nm}{\sigma\sqrt{n}})\) ;
2. on lit la valeur dans la table de \(\Phi\), la fonction de répartition de \(\mathcal{N}(0,1)\) ;
3. on retient les quantiles \(\Phi(1{,}96) \approx 0{,}975\) et \(\Phi(2) \approx 0{,}977\).

Intervalle de confiance. On observe \(n\) tirages de Bernoulli de paramètre inconnu \(p\), de fréquence \(F_n\). Le théorème central limite donne \(P(|F_n – p| \leq\, 1{,}96 \sqrt{p(1-p)/n}) \to 0{,}95\). De plus, \(p(1-p) \leq\, 1/4\). Ainsi l’intervalle \([F_n – \frac{0{,}98}{\sqrt{n}}, F_n + \frac{0{,}98}{\sqrt{n}}]\) contient \(p\) avec une probabilité asymptotiquement au moins égale à \(0{,}95\).

Le théorème central limite est une convergence en loi, et rien de plus. En effet, la suite \(\sqrt{n}(\overline{X}_n – m)\) ne converge pas en probabilité. De plus, il ne donne aucune borne d’erreur à \(n\) fixé. L’inégalité de Berry-Esseen, hors programme, majore l’écart des fonctions de répartition par \(C\, E|X_1 – m|^3 / (\sigma^3 \sqrt{n})\).