Variables aléatoires discrètes : cours de maths en L2 en PDF.

Une variable aléatoire discrète est une application \(X : \Omega \to \mathbb{R}\) telle que \(X(\Omega)\) est fini ou dénombrable et telle que, pour tout \(x \in X(\Omega)\), l’ensemble \(\{X = x\} = X^{-1}(\{x\})\) appartient à \(\mathcal{A}\).

La loi de \(X\) est la donnée de \(X(\Omega)\) et des nombres \(p_x = P(X = x)\) pour \(x \in X(\Omega)\). Pour toute partie \(B\) de \(\mathbb{R}\), on a alors \(P(X \in B) = \sum_{x \in X(\Omega) \cap B} p_x\).

La fonction de répartition de \(X\) est \(F_X : \mathbb{R} \to [0, 1]\), \(F_X(x) = P(X \leq\, x)\).

La fonction \(F_X\) est croissante, continue à droite, de limite \(0\) en \(-\infty\) et \(1\) en \(+\infty\). De plus, pour tout réel \(x\), \(P(X = x) = F_X(x) – \lim_{t \to x^-} F_X(t)\). Enfin, \(F_X\) caractérise la loi de \(X\).

Si \(x \leq\, y\), alors \(\{X \leq\, x\} \subset \{X \leq\, y\}\), d’où la croissance. Ensuite, on applique la continuité monotone de \(P\). La suite décroissante \(\{X \leq\, x + 1/n\}\) a pour intersection \(\{X \leq\, x\}\), ce qui donne la continuité à droite. De même, la suite croissante \(\{X \leq\, x – 1/n\}\) a pour réunion \(\{X < x\}\). Donc la limite à gauche vaut \(P(X < x)\), et le saut vaut \(P(X = x)\). Les limites en \(\pm\infty\) se traitent de la même façon.

Soit \(X\) le nombre de piles en trois lancers. Alors \(X(\Omega) = \{0, 1, 2, 3\}\) et \(P(X = k) = \binom\,{3}{k} / 8\). Ainsi, \(F_X(x) = 0\) pour \(x < 0\), \(F_X(x) = 1/8\) sur \([0, 1[\), \(1/2\) sur \([1, 2[\), \(7/8\) sur \([2, 3[\) et \(1\) pour \(x \geq\, 3\).

• Loi uniforme sur \(\{1, \ldots, n\}\) : \(P(X = k) = \frac{1}{n}\) pour \(1 \leq\, k \leq\, n\).
• Loi de Bernoulli \(\mathcal{B}(p)\), avec \(p \in [0, 1]\) : \(P(X = 1) = p\) et \(P(X = 0) = 1 – p\).
• Loi binomiale \(\mathcal{B}(n, p)\) : \(P(X = k) = \binom\,{n}{k} p^k (1 – p)^{n – k}\) pour \(0 \leq\, k \leq\, n\).
• Loi hypergéométrique \(\mathcal{H}(N, K, n)\) : on tire sans remise \(n\) boules dans une urne de \(N\) boules dont \(K\) sont gagnantes, et \(X\) compte les gagnantes. Alors \(P(X = k) = \binom\,{K}{k} \binom\,{N – K}{n – k} / \binom\,{N}{n}\).

Si \(n\) épreuves de Bernoulli indépendantes ont la même probabilité de succès \(p\), le nombre de succès suit la loi \(\mathcal{B}(n, p)\).

• Loi géométrique \(\mathcal{G}(p)\), \(p \in \,]0, 1]\) : \(X(\Omega) = \mathbb{N}^*\) et \(P(X = k) = p (1 – p)^{k – 1}\). C’est le rang du premier succès dans une suite d’épreuves de Bernoulli indépendantes.
• Loi de Poisson \(\mathcal{P}(\lambda)\), \(\lambda > 0\) : \(X(\Omega) = \mathbb{N}\) et \(P(X = k) = e^{-\lambda} \frac{\lambda^k}{k!}\).

La loi géométrique est sans mémoire : pour tous entiers \(m, n \geq\, 0\), \(P(X > m + n \mid X > m) = P(X > n)\). Réciproquement, une variable à valeurs dans \(\mathbb{N}^*\) sans mémoire, avec \(P(X > 1) < 1\), suit une loi géométrique.

Comme \(\{X > m + n\} \subset \{X > m\}\), on obtient \(P(X > m + n \mid X > m) = \frac{q^{m + n}}{q^m} = q^n\). Pour la réciproque, posons \(u_n = P(X > n)\). L’hypothèse s’écrit \(u_{m + n} = u_m u_n\), donc \(u_n = u_1^n\). On pose alors \(p = 1 – u_1 > 0\), et \(P(X = n) = u_{n – 1} – u_n = p (1 – p)^{n – 1}\).

Si \(p_n \in [0, 1]\) et \(n p_n \to \lambda > 0\), alors pour tout entier \(k\), \(\binom\,{n}{k} p_n^k (1 – p_n)^{n – k} \to e^{-\lambda} \frac{\lambda^k}{k!}\) quand \(n \to +\infty\).

On dit que \(X\) admet une espérance si la famille \((x P(X = x))_{x \in X(\Omega)}\) est sommable, c’est-à-dire si \(\sum_{x} |x| P(X = x) < +\infty\). On pose alors \(E(X) = \sum_{x \in X(\Omega)} x P(X = x)\).

Si \(X\) est positive, la somme \(\sum x P(X = x)\) a toujours un sens dans \([0, +\infty]\). On écrit alors \(E(X) = +\infty\) quand elle diverge. De plus, toute variable bornée, en particulier toute variable finie, admet une espérance.

Si \(X \sim \mathcal{G}(p)\), la série entière \(\sum k x^{k – 1}\) a pour somme \(\frac{1}{(1 – x)^2}\) sur \(]-1, 1[\). Les termes sont positifs, donc la convergence absolue est acquise, et \(E(X) = p \sum_{k \geq\, 1} k q^{k – 1} = \frac{p}{(1 – q)^2} = \frac{1}{p}\).

Théorème de transfert. Soit \(f : X(\Omega) \to \mathbb{R}\). La variable \(f(X)\) admet une espérance si et seulement si \(\sum_{x \in X(\Omega)} |f(x)| P(X = x) < +\infty\). Dans ce cas, \(E(f(X)) = \sum_{x \in X(\Omega)} f(x) P(X = x)\).

Posons \(Y = f(X)\). Pour \(y \in Y(\Omega)\), l’ensemble \(I_y = f^{-1}(\{y\}) \cap X(\Omega)\) est dénombrable, et \(P(Y = y) = \sum_{x \in I_y} P(X = x)\). Les \(I_y\) partitionnent \(X(\Omega)\). D’après le théorème de sommation par paquets pour les familles positives, \(\sum_x |f(x)| P(X = x) = \sum_y \sum_{x \in I_y} |y| P(X = x) = \sum_y |y| P(Y = y)\). Ainsi, les deux sommabilités sont équivalentes. Ensuite, on reprend le même calcul sans valeurs absolues, ce qui est licite pour une famille sommable.

Soient \(X\) et \(Y\) deux variables discrètes admettant une espérance, et \(a, b\) deux réels.

• Linéarité : \(aX + bY\) admet une espérance et \(E(aX + bY) = a E(X) + b E(Y)\).
• Positivité : si \(X \geq\, 0\), alors \(E(X) \geq\, 0\), avec égalité si et seulement si \(P(X = 0) = 1\).
• Croissance : si \(X \leq\, Y\), alors \(E(X) \leq\, E(Y)\).
• Domination : si \(|X| \leq\, Y\) et si \(Y\) admet une espérance, alors \(X\) en admet une.

Pour calculer une espérance :

1. si \(X\) est une somme de variables simples (par exemple d’indicatrices), utilisez la linéarité, sans chercher la loi de \(X\) ;
2. sinon, écrivez la série \(\sum x P(X = x)\) et justifiez sa convergence absolue ;
3. reconnaissez une série géométrique dérivée, une série exponentielle ou une somme télescopique ;
4. pour \(E(f(X))\), appliquez le théorème de transfert, sans déterminer la loi de \(f(X)\).

Pour \(X \sim \mathcal{B}(n, p)\), écrivez \(X = X_1 + \cdots + X_n\), où \(X_i\) est l’indicatrice du succès \(i\). Chaque \(X_i\) suit \(\mathcal{B}(p)\), donc \(E(X_i) = p\). Par linéarité, \(E(X) = np\). De même, pour la loi \(\mathcal{H}(N, K, n)\), chaque tirage donne une boule gagnante avec probabilité \(K/N\). Ainsi, \(E(X) = nK/N\).

Si \(X^2\) admet une espérance, alors \(X\) admet une espérance. De plus, si \(X^2\) et \(Y^2\) admettent une espérance, \(XY\) en admet une.

On utilise les inégalités \(|x| \leq\, \frac{1 + x^2}{2}\) et \(|xy| \leq\, \frac{x^2 + y^2}{2}\). Il suffit ensuite d’appliquer le critère de domination.

Si \(E(X^2)\) existe, la variance de \(X\) est \(V(X) = E\big((X – E(X))^2\big)\). L’écart type est \(\sigma(X) = \sqrt{V(X)}\).

Formule de König-Huygens : \(V(X) = E(X^2) – E(X)^2\). De plus, \(V(aX + b) = a^2 V(X)\). Enfin, \(V(X) = 0\) si et seulement si \(X\) est presque sûrement constante.

Soit \(X \sim \mathcal{P}(\lambda)\). Par transfert, \(E(X(X – 1)) = \sum_{k \geq\, 2} k(k – 1) e^{-\lambda} \frac{\lambda^k}{k!} = \lambda^2 e^{-\lambda} \sum_{j \geq\, 0} \frac{\lambda^j}{j!} = \lambda^2\). De même, \(E(X) = \lambda\). Donc \(V(X) = \lambda^2 + \lambda – \lambda^2 = \lambda\).

Si \(X\) et \(Y\) admettent un moment d’ordre \(2\), leur covariance est \(\operatorname{Cov}(X, Y) = E\big((X – E(X))(Y – E(Y))\big) = E(XY) – E(X)E(Y)\). Si \(\sigma(X) \sigma(Y) \neq 0\), le coefficient de corrélation est \(\rho(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sigma(X) \sigma(Y)}\).

La covariance est bilinéaire et symétrique, et \(\operatorname{Cov}(X, X) = V(X)\). De plus :

• \(|\operatorname{Cov}(X, Y)| \leq\, \sigma(X) \sigma(Y)\), donc \(|\rho(X, Y)| \leq\, 1\) ;
• \(V(X_1 + \cdots + X_n) = \sum_{i = 1}^{n} V(X_i) + 2 \sum_{i < j} \operatorname{Cov}(X_i, X_j)\).

La première inégalité est l’inégalité de Cauchy-Schwarz pour la forme bilinéaire symétrique positive \((U, V) \mapsto E(UV)\), appliquée à \(U = X – E(X)\) et \(V = Y – E(Y)\). Pour la variance d’une somme, on développe \(\operatorname{Cov}\big(\sum_i X_i, \sum_j X_j\big)\) par bilinéarité.

• Uniforme sur \(\{1, \ldots, n\}\) : \(E(X) = \frac{n + 1}{2}\), \(V(X) = \frac{n^2 – 1}{12}\).
• Bernoulli \(\mathcal{B}(p)\) : \(E(X) = p\), \(V(X) = pq\).
• Binomiale \(\mathcal{B}(n, p)\) : \(E(X) = np\), \(V(X) = npq\).
• Géométrique \(\mathcal{G}(p)\) : \(E(X) = \frac{1}{p}\), \(V(X) = \frac{q}{p^2}\).
• Poisson \(\mathcal{P}(\lambda)\) : \(E(X) = V(X) = \lambda\).

Pour tout \(x \in X(\Omega)\), \(P(X = x) = \sum_{y \in Y(\Omega)} P(X = x, Y = y)\). Si \(P(Y = y) > 0\), la loi conditionnelle de \(X\) sachant \(\{Y = y\}\) est \(x \mapsto P(X = x \mid Y = y) = \frac{P(X = x, Y = y)}{P(Y = y)}\).

On choisit \(X\) uniformément dans \(\{1, 2, 3\}\). Ensuite, sachant \(X = i\), on choisit \(Y\) uniformément dans \(\{1, \ldots, i\}\). Alors \(P(X = i, Y = j) = \frac{1}{3i}\) pour \(j \leq\, i\). La loi marginale de \(Y\) s’obtient en sommant par ligne : \(P(Y = 1) = \frac{1}{3} + \frac{1}{6} + \frac{1}{9} = \frac{11}{18}\), \(P(Y = 2) = \frac{5}{18}\) et \(P(Y = 3) = \frac{2}{18}\).

Les variables discrètes \(X_1, \ldots, X_n\) sont indépendantes si, pour tous \(x_1, \ldots, x_n\), \(P(X_1 = x_1, \ldots, X_n = x_n) = \prod_{i = 1}^{n} P(X_i = x_i)\). Une suite de variables est indépendante si toute sous-famille finie l’est.

Soient \(X\) et \(Y\) indépendantes.

• Pour toutes fonctions \(f\) et \(g\), les variables \(f(X)\) et \(g(Y)\) sont indépendantes.
• Si \(X\) et \(Y\) admettent une espérance, \(XY\) aussi, et \(E(XY) = E(X) E(Y)\).
• Par conséquent, \(\operatorname{Cov}(X, Y) = 0\) et \(V(X + Y) = V(X) + V(Y)\) dès que les variances existent.

Traitons le deuxième point. Par transfert appliqué au couple, puis par indépendance, \(\sum_{x, y} |xy| P(X = x, Y = y) = \sum_x |x| P(X = x) \sum_y |y| P(Y = y)\). Ce produit est fini, donc la famille est sommable. On refait alors le calcul sans valeurs absolues, grâce au théorème de Fubini pour les familles sommables.

La réciproque est fausse. Si \(X\) est uniforme sur \(\{-1, 0, 1\}\) et \(Y = X^2\), alors \(\operatorname{Cov}(X, Y) = E(X^3) = 0\). Pourtant, \(P(X = 0, Y = 1) = 0 \neq P(X = 0) P(Y = 1) = \frac{2}{9}\).

Si \(X\) et \(Y\) sont indépendantes et à valeurs dans \(\mathbb{N}\), alors, pour tout \(n \in \mathbb{N}\), \(P(X + Y = n) = \sum_{k = 0}^{n} P(X = k) P(Y = n – k)\). C’est le produit de convolution des deux lois.

Pour déterminer la loi d’une somme \(S = X + Y\) de variables indépendantes :

1. déterminez d’abord \(S(\Omega)\) ;
2. décomposez \(\{S = n\}\) selon les valeurs de \(X\), en respectant les contraintes de \(Y(\Omega)\) ;
3. factorisez \(P(X = k, Y = n – k)\) grâce à l’indépendance, puis reconnaissez une somme connue (formule du binôme, Vandermonde) ;
4. à défaut, passez par les fonctions génératrices (partie VI).

Si \(X \sim \mathcal{P}(\lambda)\) et \(Y \sim \mathcal{P}(\mu)\) sont indépendantes, alors \(P(X + Y = n) = e^{-(\lambda + \mu)} \sum_{k = 0}^{n} \frac{\lambda^k \mu^{n – k}}{k! (n – k)!} = e^{-(\lambda + \mu)} \frac{(\lambda + \mu)^n}{n!}\) par la formule du binôme. Ainsi, \(X + Y \sim \mathcal{P}(\lambda + \mu)\).

Soit \(X\) à valeurs dans \(\mathbb{N}\). Sa fonction génératrice est \(G_X(t) = E(t^X) = \sum_{n = 0}^{+\infty} P(X = n) t^n\).

Le rayon de convergence de cette série entière est au moins \(1\). Elle converge normalement sur \([-1, 1]\), et \(G_X(1) = 1\). De plus, \(G_X\) caractérise la loi : \(P(X = n) = \frac{G_X^{(n)}(0)}{n!}\).

La variable \(X\) admet une espérance si et seulement si \(G_X\) est dérivable à gauche en \(1\), et alors \(E(X) = G_X^{\prime}(1)\). De même, \(X\) admet un moment d’ordre \(2\) si et seulement si \(G_X\) est deux fois dérivable à gauche en \(1\), et alors \(E(X(X – 1)) = G_X^{\prime\prime}(1)\) et

\[V(X) = G_X^{\prime\prime}(1) + G_X^{\prime}(1) – G_X^{\prime}(1)^2.\]

Si le rayon de convergence est strictement supérieur à \(1\), ce théorème résulte simplement de la dérivation terme à terme d’une série entière à l’intérieur de son disque. Le cas d’un rayon égal à \(1\) demande un argument de convergence monotone, que l’on admet.

Si \(X\) et \(Y\) sont indépendantes et à valeurs dans \(\mathbb{N}\), alors \(G_{X + Y} = G_X G_Y\) sur \([-1, 1]\).

Les variables \(t^X\) et \(t^Y\) sont indépendantes, comme fonctions de \(X\) et de \(Y\). Elles sont bornées pour \(|t| \leq\, 1\). Donc \(E(t^{X + Y}) = E(t^X t^Y) = E(t^X) E(t^Y)\).

• \(\mathcal{B}(p)\) : \(G(t) = q + pt\) ; \(\mathcal{B}(n, p)\) : \(G(t) = (q + pt)^n\).
• \(\mathcal{G}(p)\) : \(G(t) = \frac{pt}{1 – qt}\) pour \(|t| < \frac{1}{q}\).
• \(\mathcal{P}(\lambda)\) : \(G(t) = e^{\lambda(t – 1)}\) pour tout réel \(t\).

Pour trouver la loi d’une somme de variables indépendantes à valeurs entières, calculez le produit des fonctions génératrices. Ensuite, reconnaissez la fonction génératrice d’une loi connue. Enfin, concluez par unicité. Par exemple, si \(X \sim \mathcal{B}(n, p)\) et \(Y \sim \mathcal{B}(m, p)\) sont indépendantes, \(G_{X + Y}(t) = (q + pt)^{n + m}\), donc \(X + Y \sim \mathcal{B}(n + m, p)\).

Pour \(X \sim \mathcal{G}(p)\), on a \(G_X(t) = \frac{pt}{1 – qt}\), dont le rayon vaut \(\frac{1}{q} > 1\). On calcule \(G_X^{\prime}(t) = \frac{p}{(1 – qt)^2}\) et \(G_X^{\prime\prime}(t) = \frac{2pq}{(1 – qt)^3}\). Ainsi, \(E(X) = \frac{1}{p}\) et \(V(X) = \frac{2q}{p^2} + \frac{1}{p} – \frac{1}{p^2} = \frac{q}{p^2}\).

Inégalité de Markov. Si \(X \geq\, 0\) admet une espérance, alors pour tout \(a > 0\), \(P(X \geq\, a) \leq\, \frac{E(X)}{a}\).

On a l’inégalité \(a \mathbf{1}_{\{X \geq\, a\}} \leq\, X\), car \(X \geq\, 0\). Par croissance de l’espérance, \(a P(X \geq\, a) \leq\, E(X)\).

Inégalité de Bienaymé-Tchebychev. Si \(X\) admet une variance, alors pour tout \(a > 0\), \(P(|X – E(X)| \geq\, a) \leq\, \frac{V(X)}{a^2}\).

On applique l’inégalité de Markov à la variable positive \((X – E(X))^2\) et au réel \(a^2\). En effet, les événements \(\{|X – E(X)| \geq\, a\}\) et \(\{(X – E(X))^2 \geq\, a^2\}\) sont égaux.

Loi faible des grands nombres. Soit \((X_n)_{n \geq\, 1}\) une suite de variables indépendantes, de même loi, admettant une variance \(\sigma^2\). On note \(m\) leur espérance et \(\overline{X}_n = \frac{X_1 + \cdots + X_n}{n}\). Alors, pour tout \(\varepsilon > 0\),

\[P\big(|\overline{X}_n – m| \geq\, \varepsilon\big) \leq\, \frac{\sigma^2}{n \varepsilon^2} \xrightarrow[n \to +\infty]{ 0.\]

Par linéarité, \(E(\overline{X}_n) = m\). Ensuite, les \(X_i\) sont indépendantes, donc leurs covariances sont nulles. Ainsi, \(V(\overline{X}_n) = \frac{1}{n^2} \sum_{i = 1}^{n} V(X_i) = \frac{\sigma^2}{n}\). Il reste à appliquer l’inégalité de Bienaymé-Tchebychev.

La preuve n’utilise que la nullité des covariances et une majoration uniforme des variances. Elle s’étend donc à des variables deux à deux non corrélées. Plus généralement, il suffit que \(V(X_1 + \cdots + X_n) = o(n^2)\).