\documentclass[a4paper]{article} \usepackage[dutch]{babel} \usepackage{bbm} \title{PDF's, MGF's en de CLT} \author{Rik Snel} \usepackage{pstricks} \usepackage{pst-plot} \usepackage{fp} \usepackage{amsmath} \usepackage{a4wide} \usepackage{icomma} \input{vec2d} \parindent0pt \parskip .5ex \newcommand{\E}{\mathrm{E}} \newcommand{\Var}{\mathrm{Var}} \begin{document} \maketitle \begin{abstract} We introduceren het begrip kansdichtheidsfunctie (probability density function, PDF) en momentgenererende functie (moment generating function MGF). Vervolgens komen de exponenti\"ele verdeling en de normale verdeling aan de orde. In de context van de normale verdeling behandelen we de centrale limietstelling (central limit theorem, CLT), inclusief een schets van het bewijs. \end{abstract} \section*{Disclaimer} In dit artikel verwisselen we vrijelijk limieten, afgeleiden, integralen en oneindige sommaties met elkaar. In het algemeen mag dat niet, maar in de gevallen waarin we het hier doen mag het wel. Als je wil weten waarom, dan moet je wiskunde gaan studeren. \section{Kansdichtheidsfuncties} \subsection{Definitie} Een functie $f: \mathbbm{R} \to \mathbbm{R}$ is een kansdichtheidsfunctie als voor alle $x$ geldt dat $f(x) \ge 0$ en als \[ \int_{-\infty}^{\infty}\!\!\! f(x)\,\,\mathrm{d} x = 1. \] De functie $F(x)$ is een primitieve van $f(x)$, zodanig dat $\lim_{x\to\infty} F(x) = 1$. Er geldt dus dat $f(x) = F'(x)$. Met een kansdichtheidsfunctie kan je de kans berekenen dat $X$, de bijbehorende kansvariabele zich in het interval $[a, b]$ bevindt \[ P(a < X < b) = \int_a^b \!\!\! f(x)\,\,\mathrm{d} x = F(b) - F(a). \] Kansen van de vorm $P(X = a)$ zijn bij continue kansverdelingen zijn altijd gelijk aan nul, dat betekent dat het niet uitmaakt of je $P(a \le X \le b)$ of $P(a < X < b)$ berekent. \subsection{De overlevingsfunctie} In de context van de exponenti\"ele formule maken we gebruik van de {\it overlevingsfunctie} \[ S(x) = P(X > x) = 1-F(x). \] De kansdichtheidsfunctie kan berekend worden met behulp van de overlevingsfunctie \begin{equation} \label{surv} f(x) = -S'(x). \end{equation} \subsection{Verwachtingswaarde van $X$, $g(X)$ en $aX+bY$} De verwachtingswaarde van de continue kansvariabele $X$ berekenen we met een integraal \[ \E(X) = \int_{-\infty}^{\infty}\!\!\! x\cdot f(x)\,\,\mathrm{d} x. \] Op dezelfde manier kan je ook de verwachtingswaarde berekenen van een functie van $X$, $g(X)$ \[ \E(g(X)) = \int_{-\infty}^{\infty}\!\!\! g(x)\cdot f(x)\,\,\mathrm{d} x. \] Je kunt laten zien dat geldt dat \begin{equation} \label{linexp} \E(aX+bY) = a\cdot \E(X) + b\cdot \E(Y). \end{equation} Dit geldt ook voor flauwe kansvariabelen die maar \'e\'en waarde kunnen aannemen. \subsection{Standaardafwijking} De standaardafwijking van de continue kansvariabele $X$ is de wortel van de {\it variantie}. De variantie is de verwachtingswaarde van het kwadraat van het verschil van $X$ met de verwachtingswaarde van $X$ \[ \Var(X)=\E((X - E(X))^2) \] dus \[ \Var(X) = \int_{-\infty}^{\infty}\!\!\! (x-E(X))^2\cdot f(x)\,\,\mathrm{d} x. \] Soms is het handig om de variantie een stukje uit te schrijven \begin{equation} \label{varalt} \Var(X) = \E(X^2) - \E(X)^2. \end{equation} Voor de variantie van $aX + bY$ geldt \begin{equation} \label{varsum} \Var(aX + bY) = a^2\cdot\Var(X) + b^2\cdot\Var(Y), \end{equation} mits $\E(X\cdot Y) = \E(X)\cdot\E(Y)$ en dat is het geval alx $X$ en $Y$ onafhankelijk zijn. \subsection{De wortel $n$ wet} Stel nu dat we $n$ kansvariabelen hebben, $X_1$ t/m $X_n$, met allemaal dezelfde verwachtingswaarde $\mu$ en standaardafwijking $\sigma$. We definieren de nieuwe kansvariabele $S$ als de som van $X_1$ t/m $X_n$ en ook $\overline{X}$ als het gemiddelde van $X_1$ t/m $X_n$ ofwel $S/n$. Er geldt nu dat $\E(S) = n\cdot\mu$, $\Var(S) = n\cdot\sigma^2$, $\E(\overline{X}) = \mu$ en $\Var(\overline{X}) = \sigma^2/n$. Voor de standaardafwijkingen geldt dus $\sigma_S = \sqrt{n}\cdot \sigma$ en $\sigma_{\overline{X}} = \sigma/\sqrt{n}$. \subsection{De momentgenererende functie} We introduceren ook de {\it momentgenererende functie} van een kansvariabele. Dat is een functie die de {\it momenten} genereert van een kansvariabele. `Momenten' zijn {\it de verwachtingswaarden van $X^n$}, waarbij $n$ een positief geheel getal is. Hieronder zien we dat deze functie de verwachtingswaarde van $\E(X^n)$ genereert door $n$ keer te differenti\"eren en $0$ in te vullen voor $t$. Deze functie stelt ons ook in staat om heel eenvoudig een aantal eigenschappen van normaal verdeelde kansvariabelen te bewijzen en ook een idee te geven van het bewijs van de centrale limietstelling. We definieren de momentgenererende functie van de kansvariabele $X$, $M_X(t)$ als de verwachtingswaarde van $e^{t\cdot X}$. Dus \[ M_X(t) = \E(e^{t\cdot X}) = \int_{-\infty}^{\infty}\!\!\! e^{t\cdot x}\cdot f(x)\,\,\mathrm{d} x. \] Door $M_X(t)$ \'e\'en keer naar $t$ te differenti\"eren en vervolgens $0$ in te vullen voor $t$, krijgen we de verwachtingswaarde van $X$ \[ M'_X(0) = \left. \frac{\mathrm{d}}{\mathrm{d}t} M_X(t) \right|_{t = 0} = E\left(\left.\frac{\mathrm{d}}{\mathrm{d}t} e^{t\cdot X}\right|_{t = 0}\right) = E\left(\left. X\cdot e^{t\cdot X}\right|_{t = 0}\right) = \E(X). \] In het algemeen kan je de verwachtingswaarde van $X^n$ vinden, door $M_X(t)$ $n$ keer te differenti\"eren naar $t$ en vervolgens $0$ in te vullen voor $t$. Mooi h\`e? Wat ook aardig is aan dat de momentgenerende functie ook gedefinieerd kan worden voor discrete kansverdelingen, namelijk op dezelfde manier; de verwachtingswaarde van $e^{t\cdot X}$, waarbij $X$ een discrete kansvariabele is en de verwachtingswaarde een sommatie is over alle mogelijke waarden van $X$ \[ M_X(t) = \E(e^{t\cdot X}) = \sum_x e^{t\cdot x}\cdot P(X = x). \] Dit is aardig, omdat we discrete en continue kansverdelingen door dezelfde ``bril'' kunnen bekijken. Wat ook leuk is aan de momentgenererende functie is dat de momentgenererende functie van de lineaire combinatie van twee onafhankelijke kansvariabelen $X$ en $Y$, $aX+bY$ gelijk is aan \begin{equation} \label{momentreg} M_{aX+bY}(t) = M_X(at)\cdot M_Y(bt). \end{equation} \section{De exponenti\"ele verdeling} De exponenti\"ele verdeling beschrijft een {\it geheugenloos proces}. Om te illustreren wat een geheugenloos proces is, kijken we eerst naar een discreet model. \subsection{Een discreet geheugenloos proces} \subsubsection{Kansverdeling} Pietje gooit met een eerlijke dobbelsteen, net zolang tot hij zes gooit. De kansvariabele $X$ is het aantal keer dat hij moet gooien. Hieronder zie je de kansverdeling van $X$: \def\vgttabel#1{\vskip1ex\def\\{\vadjust{\hrule}\cr}\noindent\hskip2cm\vbox{\offinterlineskip\halign{\strut\ \ ##\hfil\ \ \vrule height11pt\hskip1pt&&\vrule height11pt\ \ $##$\ \ \cr#1\crcr}}\vskip1ex}% \vgttabel{% $x$&1&2&3&4&\dots&n&\dots\\ $P_d(X=x)$&\frac16&\frac16\cdot\frac56&\frac16\cdot\left(\frac56\right)^2&\frac1{6}\cdot\left(\frac56\right)^3&\dots&\frac16\cdot\left(\frac56\right)^{n-1}&\dots }% Het aardige is van deze verdeling is dat hij van toepassing is als Pietje net begint met het gooien van de dobbelsteen, maar ook als hij al een aantal keer heeft gegooid; omdat de dobbelsteen geen geheugen heeft, maakt het niet uit wanneer je begint met tellen. Anders gezegd: als je bijvoorbeeld tien keer achter elkaar geen zes hebt gegooid, dan is de kans dat je de volgende keer zes gooit nog steeds $\frac16$. De verwachtingswaarde van $X$ is zes. Je moet dus gemiddeld zes keer gooien met een dobbelsteen om een zes te krijgen. \subsubsection{Verwachtingswaarde berekenen} Dit kan je als volgt inzien \[ \E(X) = 1\cdot\frac16 + 2\cdot \frac16\cdot\frac56 + 3\cdot \frac16\cdot\left(\frac56\right)^2 + 4\cdot\frac1{6}\cdot\left(\frac56\right)^3+\dots = \sum_{n=1}^\infty n\cdot \frac16\cdot\left(\frac56\right)^{n-1}. \] Met behulp van een aantal trucjes kunnen we deze sommatie exact berekenen. We gaan sommeren vanaf nul in plaats van vanaf \'e\'en, dat maakt niet uit want de extra term is gelijk aan nul. Verder introduceren we een variabele voor de kans op succes, $p$ en halen we deze $p$ buiten het somteken. Dan ziet de sommatie er als volgt uit \[ \E(X) = p\cdot \sum_{n=0}^\infty n\cdot (1-p)^{n-1}. \] Merk op dat de binnenkant van de sommatie eruit ziet als een afgeleide \[ \E(X) = -p\cdot \sum_{n=0}^\infty \frac{\mathrm{d}}{\mathrm{d}p}\left( (1-p)^n\right). \] We hebben hier dus een extra variabele ge\"\i{}ntroduceerd om te kunnen differenti\"eren, net zoals we dat hebben gedaan bij de momentgenererende functie. Dit is een bekende truc in de wiskunde. Als we de afgeleide en de sommatie verwisselen met elkaar, dan krijgen we \[ \E(X) = -p\cdot \frac{\mathrm{d}}{\mathrm{d}p} \left( \sum_{n=0}^\infty (1-p)^n\right). \] Om deze sommatie te kunnen berekenen, maken we even een uitstapje naar de {\it meetkundige reeks}. Neem aan dat geldt \[ S = 1 + g^1 + g^2 + g^3 + g^4 + \dots = \sum_{n = 0}^\infty g^n, \] dan hebben we ook \[ S = 1 + g \cdot ( 1 + g^1 + g^2 + g^3 + g^4 + \dots ) = 1 + g\cdot S, \] dus $ S = 1 + g\cdot S$. Dit oplossen voor $S$ geeft \[ S = \frac1{1-g}, \] dit werkt overigens alleen als $|g| < 1$. Nu kunnen we verder met $\E(X)$ \[ \E(X) = -p\cdot \frac{\mathrm{d}}{\mathrm{d}p} \left( \frac{1}{1-(1-p)}\right) = -p\cdot \frac{\mathrm{d}}{\mathrm{d}p} \left( \frac{1}{p}\right) = -p \cdot -\frac1{p^2} = \frac1p. \] Als we nu weer $p$ vervangen door $\frac16$, dan blijkt dat de verwachtingswaarde zes is. \subsubsection{De momentgenererende functie} De momentgenererende functie van $X$ ziet er als volgt uit \begin{equation} \label{discmgf} M_X(t) = \sum_{n = 1}^\infty e^{t\cdot n}\cdot\frac{_1}{^6}\cdot\left(\frac{_5}{^6}\right)^{n-1} % = \frac{_1}{^6}e^t\sum_{n = 0}^\infty \left(\frac{_5}{^6}e^t\right)^n = \frac{e^t}{6-5e^t}, \end{equation} je kunt dit inzien door gebruik te maken van de som van de meetkundige reeks. \subsubsection{De overlevingsfunctie} In het discrete geval heb je ook een {\it overlevingsfunctie}, $S_d(x)$, dat is de kans dat je na minstens $x$ keer gooien {\it geen} zes hebt gegooid. Er geldt dat \[ S_d(x) = \left(\frac56\right)^x, \] met $x \ge 0$. In het bijzonder geldt dat $S_d(0) = 1$, omdat je zeker weet dat je minstens \'e\'en keer moet gooien om een zes te gooien. Voor deze functie geldt dat \[ S_d(x + y) = S_d(x)\cdot S_d(y). \] Dit verwacht je ook, omdat de kans dat je eerst minstens $x$ keer moet gooien voordat je een zes krijgt en daarna minstens $y$ keer moet gooien voordat je een zes krijgt inderdaad gelijk zou moeten zijn aan de kans dat je minstens $x+y$ keer moet gooien voordat je een zes krijgt; je mag hier de productregel voor kansen gebruiken omdat de kansen onafhankelijk zijn. Deze eigenschap gebruiken we als defini\"erende eigenschap voor het continue geval. \subsection{Continue geheugenloze processen} Het meest bekende voorbeeld van een continu geheugenloos proces is radioactief verval. De halfwaardetijd van Radon-222 is bijvoorbeeld $3,8$ dagen. Dat betekent dat het gemiddeld $3,8$ dagen duurt voordat een Radon-222 deeltje vervalt. Dit proces is geheugenloos; als je eerst twee dagen wacht en het deeltje is niet vervallen, dan duurt het vanaf dat moment {\it nog steeds} gemiddeld $3,8$ dagen voordat het deeltje vervalt. Net als een dobbelsteen heeft een Radon-222 deeltje geen geheugen. \subsubsection{Afleiden kansverdeling en kansdichtheidsfunctie} In het discrete geval hadden we een kansvariabele $X$ die het aantal worpen voorstelt. In het continue geval kijken we naar de tijd die er verstrijkt tot het deeltje vervalt, deze noemen we ook~$X$. We gebruiken nu de overlevingsfunctie; $S(t)$ is de kans dat het deeltje voor minstens $t$ tijdseenheden {\it niet} vervalt. Ook hier geldt dat \[ S(x+y) = S(x)\cdot S(y), \] met $x, y \ge 0$. Deze formule differenti\"eren we links en rechts naar $y$ \[ \frac{\mathrm{d}}{\mathrm{d}y} S(x+y) = \frac{\mathrm{d}}{\mathrm{d}y}\left( S(x)\cdot S(y)\right), \] dat geeft \[ S'(x+y) = S(x)\cdot S'(y). \] Als we $y=0$ invullen en de constante $\lambda = -S(0)$ invoeren, dan krijgen we \[ S'(x) = -\lambda S(x) \] en dit herkennen we als een homogene eerste orde lineaire differentiaalvergelijking met als oplossingen \[ S(x) = A\cdot e^{-\lambda x}. \] We eisen dat de kans $1$ is dat het deeltje $0$ of meer seconden overleeft, dan krijgen we $A=1$, dus \[ S(x) = e^{-\lambda x}, \] met $x \ge 0$. De voor de kansdichtheidfunctie die bij deze functie hoort krijgen we \[ f(x) = -S'(x) = \lambda\cdot e^{-\lambda x}, \] met $x \ge 0$. Voor $x < 0$ geldt $f(x) = 0$, dit brengen we tot uitdrukking door de ondergrens van onze integralen nooit lager te kiezen dan $0$. Onze keuze $A$ leidt er ook toe dat, als $\lambda > 0$, \[ \int_{0}^{\infty}\!\!\! f(x)\,\,\mathrm{d} x = \left[ -e^{-\lambda x}\right]_0^\infty= 1. \] Omdat $f(x)$ ook nooit negatief is, is $f(x)$ dus inderdaad een kansdichtheidsfunctie. Het is de kansdichtheidsfunctie die hoort bij de {\it exponenti\"ele verdeling}. \subsubsection{Verwachtingswaarde en de betekenis van $\lambda$} We kunnen met behulp van partieel integreren de verwachtingswaarde berekenen van $T$ \[ \E(X) = \int_{0}^{\infty}\!\!\! x\cdot \lambda e^{-\lambda x}\,\,\mathrm{d} x = \left[ - x\cdot e^{-\lambda x} \right]_0^\infty - \int_{0}^{\infty}\!\!\! - e^{-\lambda x} \,\,\mathrm{d} x = 0 + \left[-\frac1\lambda e^{-\lambda x} \right]_0^\infty = \frac1\lambda. \] In ons voorbeeld geldt dus dat $\lambda = \frac1{3,8}$. Het getal $3,8$ is in dagen, dus de tijd is hier ook in dagen. Je kunt $\lambda$ zien als de {\it frequentie} van het verval; het aantal keer een dergelijk deeltje vervalt per tijdseenheid. Dat is een vreemde manier van spreken, want zo'n deeltje kan maar \'e\'en keer vervallen, maar dit kan je oplossen door naar een nieuw deeltje te kijken als de oude is vervallen. \subsubsection{De standaardafwijking van de exponenti\"ele verdeling} We berekenen eerst $\E(X^2)$, dit kan met \'e\'en keer partieel integreren en vervolgens het herkennen van de integraal voor $\E(X)$ \[ \E(X^2) = \int_{0}^{\infty}\!\!\! x^2\cdot \lambda e^{-\lambda x}\,\,\mathrm{d} x = \left[ x^2\cdot - e^{-\lambda x}\right]_0^\infty + \frac2\lambda \int_{0}^{\infty}\!\!\! x\cdot \lambda e^{-\lambda x} \,\,\mathrm{d} x = \frac2{\lambda^2}. \] Dit geeft \[ \Var(X) = \E(X^2) - \E(X)^2 = \frac2{\lambda^2} - \left(\frac1\lambda\right)^2 = \frac1{\lambda^2}, \] de standaardafwijking van de exponenti\"ele verdeling is dus gelijk aan de verwachtingswaarde. \subsubsection{De momentgenererende functie van de exponenti\"ele verdeling} We kunnen nu berekenen \begin{equation} \label{contmgf} M_X(t) = \int_{0}^{\infty}\!\!\! e^{t\cdot x}\cdot \lambda e^{-\lambda x}\,\,\mathrm{d} x %= \int_{0}^{\infty}\!\!\! \lambda \cdot e^{(t -\lambda) x} \,\,\mathrm{d} x %= \left[ \frac{\lambda}{t - \lambda} e^{(t -\lambda) x}\right]_0^\infty = \frac\lambda{\lambda - t}, \end{equation} voor $t < \lambda$. Nu kunnen we $\E(X)$ ook als volgt berekenen \[ \E(X) = M_X'(0) = \left.-\frac\lambda{(\lambda - t)^2}\cdot -1\right|_{t = 0} = \frac1\lambda. \] We proberen ook even $\E(X^2)$ te berekenen volgens hetzelfde recept \[ \E(X^2) = M_X''(0) = \left.-2\frac\lambda{(\lambda - t)^3}\cdot -1\right|_{t = 0} = \frac2{\lambda^2}. \] \section{De normale verdeling} In schoolboeken laat men de normale verdeling vaak uit de lucht vallen. Dat komt komt omdat wiskundige en statistici de normale verdeling bijna overal tegenkomen. De verklaring daarvoor wordt deels gegeven door de {\it centrale limietstelling}, daarover later meer. In dit artikel gebruiken we een differentiaalvergelijking om de normale te introduceren. We laten ook zien hoe de normale verdeling tevoorschijn komt bij het darten. \subsection{Definitie} Een kansverdeling is {\it normaal} als de afgeleide van de kansdichtheid evenredig is met zichzelf en met de afstand tot het gemiddelde $\mu$. In wiskundetaal \[ f'(x) = -\frac1{\sigma^2}\cdot(x - \mu) \cdot f(x), \] waarbij $\sigma > 0$. Omdat $f(x)$ niet negatief mag zijn zorgt het minteken ervoor dat de grafiek van $f$ links van het gemiddelde stijgt en rechts van het gemiddelde daalt. De evenredigheid met de afstand tot het gemiddelde zorgt ervoor dat de top in het gemiddelde zit en de evenredigheid met de $f(x)$ zorgt ervoor dat $f(x)$ niet door de $x$-as gaat. De evenredigheidsconstante hebben we geschreven als $-\frac1{\sigma^2}$, omdat dat later mooi uitkomt, zoals we ook de $\lambda$ eerder uit de lucht hebben laten vallen. \subsection{Kansdichtheidsfunctie} De definitie is een differentiaalvergelijking. We schrijven hem in een vorm die geschikt is om scheiding van variabelen te doen \[ \frac{\mathrm{d}f}{\mathrm{d}x} = -\frac{x - \mu}{\sigma^2} \cdot f. \] Na scheiding van variabelen hebben we \[ \int\!\frac1f\,\, \mathrm{d}f = \int\!\!\!-\frac{x - \mu}{\sigma^2}\,\, \mathrm{d}x. \] Primitiveren geeft \[ \ln(f) = -\frac12\frac{\left(x - \mu\right)^2}{\sigma^2} + c. \] Dus \[ f(x) = A\cdot e^{-\frac{(x - \mu)^2}{2\sigma^2}}. \] We kunnen vervolgens $A$ vinden door te eisen dat $f(x)$ een kansdichtheidsfunctie is \[ \int_{-\infty}^{\infty}\!\!\! A\cdot e^{-\frac{(x - \mu)^2}{2\sigma^2}}\,\,\mathrm{d} x = 1. \] \subsection{Voorfactor berekenen} De bovenstaande integraal is lastig te berekenen, omdat functies zoals $e^{-x^2}$ geen primitieve hebben in termen van standaardfuncties. Maar er is een trucje om de integraal toch te berekenen. In de eerste plaats merken we op dat de waarde van $\mu$ geen invloed heeft op de uitkomst van de integraal, omdat het slechts een verschuiving is, terwijl het integratiegebied de hele $x$-as is, dus we rekenen verder met $\mu = 0$ \[ \int_{-\infty}^{\infty}\!\!\! A\cdot e^{-\frac{x^2}{2\sigma^2}}\,\,\mathrm{d} x = 1. \] Vervolgens kwadrateren we links en rechts \[ \left(\int_{-\infty}^{\infty}\!\!\! A\cdot e^{-\frac{x^2}{2\sigma^2}}\,\,\mathrm{d} x\right)^2 = 1 \] en schrijven we het kwadraat als een product van twee integralen met verschillende integratievariabelen \[ \left(\int_{-\infty}^{\infty}\!\!\! A\cdot e^{-\frac{x^2}{2\sigma^2}}\,\,\mathrm{d} x\right)\cdot\left(\int_{-\infty}^{\infty}\!\!\! A\cdot e^{-\frac{y^2}{2\sigma^2}}\,\,\mathrm{d} y\right) = 1. \] Nu schrijven de ene integraal in de andere integraal en vatten we de integraal op als een tweedimensionale integraal over het vlak \[ A^2\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\!\!\! e^{-\frac{x^2+y^2}{2\sigma^2}}\,\,\mathrm{d} x\,\mathrm{d} y = 1. \] De interpretatie van deze integraal is als volgt. Vermenigvuldig in elk punt de waarde van de functie met de oppervlakte van een rechthoekje met zijdes $\mathrm{d}x$ en $\mathrm{d}y$ en tel al die uitkomsten bij elkaar op. In plaats van allemaal rechthoekjes met een oppervlakte van $\mathrm{d}x\mathrm{d}y$ kunnen we ook kijken naar cirkels om de oorsprong met straal $r$ en dikte $\mathrm{d}r$, deze cirkels hebben een oppervlakte van $2\pi r\mathrm{d}r$. Deze oppervlakte vermenigvuldigen we dan met $e^{-\frac{x^2+y^2}{2\sigma^2}} = e^{-\frac{r^2}{2\sigma^2}}$ en tellen alles op voor $r = 0$ tot oneindig. Als je dit rare argument accepteert, dan kan je de integraal schrijven in de vorm \[ A^2\int_0^\infty e^{-\frac{r^2}{2\sigma^2}} 2\pi r \mathrm{d}r = 1. \] Nu is er een factor $r$ in de integraal gekomen, en die komt tevoorschijn als je $e^{ar^2}$ differentieert. Nu kunnen we makkelijk primitiveren \[ A^2\cdot 2\pi \left[ -\sigma^2 e^{-\frac{r^2}{2\sigma^2}} \right]_0^\infty = 1, \] dit geeft \[ A^2 = \frac1{2\pi\sigma^2}. \] Dus de kansdichtheid van de normale verdeling is \[ f(x) = \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}}. \] \subsection{De verwachtingswaarde} De verwachtingswaarde van een normaal verdeelde kansvariabele $X$ met gegeven $\mu$ en $\sigma$ kan berekend worden door eerst $\E(X-\mu)$ te berekenen \[ \E(X-\mu) = \int_{-\infty}^{\infty} (x-\mu)\cdot \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} \mathrm{d}x. \] Merk op dat de functie in de integraal puntsymmetrisch is in het punt $(\mu, 0)$, dat betekent dat de uitkomst van deze integraal gelijk is aan $0$. Hieruit volgt dat \[ \E(X) = \mu. \] \subsection{De standaardafwijking} De standaardafwijking van $X$ berekenen we als volgt \[ \Var(X) = \E\left((X-\mu)^2\right) = \int_{-\infty}^{\infty} (x-\mu)^2\cdot \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} \mathrm{d}x. \] Partieel integreren geeft \[ \int_{-\infty}^{\infty} (x-\mu)^2\cdot \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} \mathrm{d}x = \left[-(x - \mu)\frac{\sigma^2}{\sigma\sqrt{2\pi}}\cdot e^{-\frac{(x - \mu)^2}{2\sigma^2}}\right]_{-\infty}^{\infty} + \sigma^2 \int_{-\infty}^{\infty} \frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} \mathrm{d}x. \] De eerste term van het rechterlid is $0$ en de tweede term wordt $\sigma^2$. De standaardafwijking van $X$ is dus $\sigma$. \subsection{De momentgenererende functie} De verwachtingswaarde van $e^{t\cdot X}$ is \[ M_X(t) = \int_{-\infty}^{\infty} e^{t\cdot x}\cdot\frac1{\sigma\sqrt{2\pi}} e^{-\frac{(x - \mu)^2}{2\sigma^2}} \mathrm{d}x = e^{\mu t + \frac12\sigma^2t^2}. \] Met behulp van deze functie kun je gemakkelijk $\E(X)$ en $\E(X^2)$ berekenen. \subsection{De normale verdeling in het wild} We bespreken een voorbeeld van een situatie waarin de normale verdelingsfunctie bijna helemaal vanzelf uit naar voren komt. We maken een assenstelsel op de muur en gaan dartpijltjes gooien op de oorsprong. Als we twee aannames doen, dan is het vrij eenvoudig om een kansdichtheidsfunctie af te leiden. Aannames: \begin{enumerate} \item De kansdichtheidsfunctie is rotatiesymmetrisch om de oorsprong. \item De $x$ en $y$ co\"ordinaten van waar het pijltje komt zijn onafhankelijk van elkaar. \end{enumerate} Hieruit volgt dat de kansverdelingsfunctie voor de $x$-co\"ordinaat gelijk is aan die van de $y$-co\"ordinaat. We noemen de functie $f$. De kansdichtheid in punt $P(x, y)$ is dan $f(x)f(y)$, want de kansdichtheden van de $x$ en $y$ mogen worden vermenigvuldigd omdat ze onafhankelijk zijn. Vanwege rotatiesymmetrie zijn de kansdichtheden van $P$ en $Q(\sqrt{x^2+y^2}, 0)$ gelijk aan elkaar. Dus \[ f(x)\cdot f(y) = f\left(\sqrt{x^2+y^2}\right)\cdot f(0). \] Deze formule gaan we eerst links en rechts differenti\"eren naar $x$. Dan differentieren deze zelfde formule ook links en rechts naar $y$. Dit geeft \[ f'(x) \cdot f(y) = f'\left(\sqrt{x^2+y^2}\right)\frac{x}{\sqrt{x^2+y^2}} \cdot f(0) \] en \[ f(x) \cdot f'(y) = f'\left(\sqrt{x^2+y^2}\right)\frac{y}{\sqrt{x^2+y^2}} \cdot f(0). \] Beide formules delen we door de losse co\"ordinaat \[ \frac{f'(x) \cdot f(y)}{x} = \frac{f'\left(\sqrt{x^2+y^2}\right)\cdot f(0)}{\sqrt{x^2+y^2}} \] en \[ \frac{f(x) \cdot f'(y)}{y} = \frac{f'\left(\sqrt{x^2+y^2}\right)\cdot f(0)}{\sqrt{x^2+y^2}} \] Het rechter lid van beide vergelijkingen is gelijk, dus er geldt dat \[ \frac{f'(x) \cdot f(y)}{x} = \frac{f(x) \cdot f'(y)}{y}. \] We delen nu door $f(x)$ en $f(y)$ en krijgen \[ \frac{f'(x)}{x\cdot f(x)} = \frac{f'(y)}{y\cdot f(y)}. \] Het rechter lid is onafhankelijk van $x$, dus het linker lid ook. Dus beide zijn gelijk aan een constante, deze constante noemen we $c$. Dat betekent dat \[ f'(x) = c\cdot x\cdot f(x). \] En dat is de differentiaalvergelijking waar we mee begonnen, met $\mu = 0$ en $-\frac1{\sigma^2} = c$. Als je dus darts gooit op de oorsprong, dan is er nog maar \'e\'en parameter, en dat is de standaardafwijking die aangeeft hoe goed je kunt darten. Goede darters hebben een kleine standaardafwijking en slechte darters een grote. \subsection{De som van twee normaal verdeelde kansvariabelen} Neem aan dat de kansvariabele $X$ normaal verdeeld is met gemiddelde $\mu_X$ en standaardafwijking $\sigma_X$ en kansvariabele $Y$ normaal verdeeld is met gemiddelde $\mu_Y$ en $\sigma_Y$. We gaan ervan uit dat $X$ en $Y$ onafhankelijk van elkaar zijn. We definini\"eren nu kansvariabele $Z = X + Y$. We kunnen de kansdichtheidsfunctie van $Z$ opstellen door het product van de kansdichtheidsfuncties van $X$ en $Y$ te integreren over alle combinaties van $x$ en $y$ die samen gelijk zijn aan een bepaalde waarde van $z$. Bij het integreren is het handig om te werken met een symmetriesche uitdrukking, vandaar dat we bij de kansdichtheid van $X$ het argument $\frac12z + x$ gebruiken en bij de kansdichtheid van $Y$ het argument $\frac12z - x$; de som van beide argumenten is $z$, zoals we willen en dankzij de $x$ worden alle combinaties van $X$ en $Y$ doorlopen die samen $z$ zijn. Dat ziet er als volgt uit \begin{equation} \label{normxy} f_Z(z) = \frac1{2\pi\sigma_X\sigma_Y} \int_{-\infty}^\infty\! e^{-\frac{(\frac12z + x -\mu_X)^2}{2\sigma_X^2}}\cdot e^{-\frac{(\frac12z - x -\mu_Y)^2}{2\sigma_Y^2}} \mathrm{d}x. \end{equation} Als je dit netjes uitschrijft dan zie je dat \[ f_Z(z) = \frac1{\sqrt{\sigma^2_X+\sigma^2_Y}\sqrt{2\pi}} e^{-\frac{(z - (\mu_X + \mu_Y))^2}{2(\sigma^2_X+\sigma^2_Y)}}. \] Aan de vorm van de kansdichtheidsfunctie kun je vervolgens aflezen dat $Z$ inderdaad normaal verdeeld. Het nieuwe gemiddelde en de nieuwe standaardafwijking kenden we al, vanwege de verwachtingswaarde en standaardafwijking van de som van twee onafhankelijke kansvariabelen. \subsection{De som van $X$ en $Y$, maar nu met de momentgenerende functie} We gebruiken de definities van $X$, $Y$ en $Z$ uit het vorige onderdeel. Zoals jullie nog wel weten geldt er dat \[ M_X(t) = e^{\mu_X t + \frac12\sigma_X^2t^2}, \] \[ M_Y(t) = e^{\mu_Y t + \frac12\sigma_Y^2t^2} \] en volgens formule \ref{momentreg} \[ M_Z(t) = M_X(t)\cdot M_Y(t). \] Hieruit volgt vrij direct dat \[ M_Z(t) = e^{\mu_X t + \frac12\sigma_X^2t^2}\cdot e^{\mu_Y t + \frac12\sigma_Y^2t^2} = e^{(\mu_X + \mu_Y)t + \frac12 (\sigma_X^2 + \sigma_Y^2)t^2}. \] We zien dus dat $M_Z(t)$ de juiste vorm heeft, namelijk die van de momentgenererende functie van de normale verdeling en we kunnen ook het gemiddelde en de standaardafwijking van $Z$ aflezen. \section{De centrale limietstelling} De centrale limietstelling heet {\it centraal} omdat zij heel belangrijk is; je kunt de stelling zien als de hoofdstelling\footnote{De hoofdstelling van de algrebra is dat een $n$-degraads vergelijking $n$ oplossingen heeft en de hoofdstelling van de analyse zegt dat differenti\"eren en integreren elkaars inverse zijn.} van de kansrekening. Het woordje centraal slaat dus niet op de limiet, maar op de stelling. \subsection{Stelling} Stel dat je $n$ identiek verdeelde, onafhankelijke kansvariabelen hebt met een eindige variantie\footnote{Meestal is dat zo.} waarbij $\mu$ de verwachtingswaarde en $\sigma$ de standaardafwijking is, en we berekenen de gemiddelde afstand tot de verwachtingswaarde. Dit gemiddelde schalen we met een extra factor $\sqrt{n}$ zodat de standaardafwijking voor alle $n$ en dus ook in de limiet gelijk is aan $\sigma$. \[ \hat{X}_n = \frac{(X_1 - \mu) + (X_2 - \mu) + (X_3 - \mu) + \cdots + (X_n - \mu)}{\sqrt{n}}. \] We definieren $\hat{X} = \lim_{n\to\infty} \hat{X}_n$. Volgens de centrale limietstelling geldt nu dat $\hat{X}$ normaal verdeeld is met gemiddelde $0$ en standaardafwijking $\sigma$. \subsection{Schets van het bewijs} Om het bewijs van van de centrale limietstelling te kunnen schetsen zijn er twee stukjes gereedschap nodig. In de eerste plaats de stelling van Taylor; dat je het gedrag van een functie in een punt op een concrete manier kunt beschrijven met behulp van de afgeleiden van die functie in dat punt. En in de tweede plaats een bekende standaardlimiet die berekend kan worden met de regel van l'H\^opital. \subsubsection{De stelling van Taylor} Jullie weten allemaal dat je van een functie in een punt een lineare benadering kunt maken met behulp van de eerste afgeleide. Bijvoorbeeld in het punt $x = 0$ \begin{equation} \label{eersteordetaylor} f(x) = f(0) + x\cdot f'(0) + O(x^2). \end{equation} De $O(x^2)$ aan het eind geeft aan dat de extra termen die nodig om de benadering exact te maken zijn ten minste kwadraten zijn, en dat geeft weer aan dat de fout in de benadering ten minste honderd keer zo klein wordt als $x$ tien keer zo klein wordt. Het symbool $O(x^2)$ is dus geen functie, maar een notatie voor: er zijn termen, maar die hebben allemaal $x^2$ of een hogere macht. Ondanks dat het geen functie is, kan je er concrete dingen mee doen, zoals \begin{equation} \label{oeigenschap} \lim_{x\to 0} \frac{O(x^2)}{x} = \lim_{x\to 0} O(x) = 0. \end{equation} Hiermee kun je bijvoorbeeld bewijzen dat de afgeleide van de eerst orde Taylorbenadering van $f(x)$ in $x = 0$ gelijk is aan $f'(0)$. Er geldt ook dat de afgeleide van $O(x^2)$ mag worden geschreven als $O(x)$, omdat door differenti\"eren de machten allemaal eentje lager worden. Volgens de stelling van Taylor kan je, door gebruik te maken van hogere orde afgeleiden, benaderingen maken van functies die nog nauwkeuriger zijn. Als we steunpunt $0$ nemen, dan ziet het er zo uit \begin{equation} \label{taylor0} f(x) = f(0) + \frac{_1}{^{1!}}x\cdot f'(0) + \frac{_1}{^{2!}} x^2\cdot f''(0) + \frac{_1}{^{3!}} x^3\cdot f'''(0) + \dots + \frac{_1}{^{n!}}x^n\cdot f^{(n)}(0) + O(x^{n+1}) %f(x) = f(0) + x\cdot f'(0) + \frac12 x^2\cdot f''(0) + \frac1{2\cdot 3} x^3\cdot f'''(0) + \frac1{2\cdot3\cdot4}x^4\cdot f''''(0) + \dots \end{equation} Je kunt nagaan dat alle afgeleiden van de $n$-de orde Taylorbenadering in $x = 0$ precies gelijk zijn aan de afgeleiden van $f$ in $x = 0$. Stel nu dat $X$ een kansvariabele is met gemiddelde $\mu$ en standaardafwijking $\sigma$. We weten het een en ander van de momentgenererende functie van $X$, $M_X(t)$, in $x = 0$. \[ M_X(0) = 1, M_X'(0) = \E(X)\hbox{\ en\ }M_X''(0) = \E(X^2). \] Dat betekent dat, volgens Taylor \begin{equation} \label{taylormoment} M_X(t) = 1 + t\cdot \E(X) + \frac{_1}{^2}t^2 \cdot \E(X^2) + O(t^3). \end{equation} \subsubsection{l'H\^opital} Je zou misschien denken dat de regel van l'H\^opital bedacht is door de Franse wiskundige Guillaume de l'Hôpital, maar hij is eigenlijk afkomstig van Johann Bernoulli\footnote{https://steemit.com/mathematics/@team-leibniz/l-hopital-s-rule-a-17th-century-story-of-paying-for-content-curation}. De regel helpt in bepaalde gevallen met het berekenen van limieten van de vorm \[ \lim_{x\to a} \frac{f(x)}{g(x)}, \] waarbij $f(a) = 0$ en $g(a) = 0$. In dat geval mag je de limiet namelijk berekenen door de teller en noemer te differenti\"eren. \[ \lim_{x\to a} \frac{f(x)}{g(x)} = \lim_{x\to a} \frac{f'(x)}{g'(x)}. \] In eenvoudige gevallen kun je inzien dat deze regel werkt, door eerste orde Taylor te gebruiken in steunpunt $a$. Met behulp van l'H\^opital berekenen we nu de volgende limiet \begin{equation} \label{hopitalexp} \lim_{n\to\infty} \left(1+\frac{a}{n}\right)^n = \lim_{x\to0} e^{\frac{\ln(1+ax)}x} = \lim_{x\to0} e^\frac{a}{1+ax} = e^a. \end{equation} \subsubsection{Bewijsschets} Nu maken we de 2e orde Taylorbenadering van de momentgenererende functie van \[ X_i - \mu, \] Omdat $\mu$ de verwachtingswaarde is van $X_i$, geldt dat $\E(X_i - \mu) = 0$, ook geldt er dat $\E((X_i - \mu)^2) = \Var(X_i - \mu) - \E(X_i - \mu)^2 = \sigma^2$. Dat betekent dat volgens formule \ref{taylormoment} \[ M_{X_i -\mu}(t) = 1 + \frac{_1}{^2}t^2\sigma^2+O(t^3). \] Er geldt nu dat de momentgenererende functie van $\hat{X}_n$, vanwege formule \ref{momentreg} gelijk is aan \[ M_{\hat{X}_n}(t) = \left( 1 + \frac{\frac{1}{2}\sigma^2t^2}n + O(t^3/n^{1\frac12})\right)^n. \] Nu nemen we de limiet voor $n\to\infty$. Door op deze limiet, zoals in het voorbeeld, de regel van l'H\^opital toe te passen, zie je dat je de term $ O(t^3/n^{1\frac12})$ mag verwaarlozen. We krijgen volgens formule \ref{hopitalexp} \[ M_{\hat{X}}(t) = \lim_{n\to\infty} \left( 1 + \frac{\frac{1}{2}\sigma^2t^2}n\right)^n = e^{\frac12\sigma^2t^2} \] en dit is de momentgenererende functie van een normale verdeling met een gemiddelde van $0$ en een standaardafwijking van $\sigma$. En hiermee is de stelling bewezen. \subsection{Toepassingen} Als je nu weer de $X_1$ t/m $X_n$ bekijkt, en dan op de normale manier het gemiddelde berekent; zonder de $-\mu$ en de schaling met $\sqrt{n}$, dan geeft de centrale limietstelling het volgende resultaat, namelijk: het gemiddelde is bij benadering normaal verdeeld met een gemiddelde van $\mu$ en een standaardafwijking van $\sigma/\sqrt{n}$. Dat is een beetje houtje-touwtje, want de centrale limietstelling doet eigenlijk alleen een uitspraak als $n\to\infty$, maar het ligt voor de hand dat als je onderweg bent naar oneindig, dat je ook onderweg bent naar een normale verdeling. In de praktijk heb je al bij een $n$ van minstens zo'n $20$ of $30$ iets dat voldoende lijkt op de normale verdeling. Als je nu de gemiddelde lengte wil weten van alle inwoners van Nederland van $17$ jaar oud, dan neem je een representatieve steekproef van duizend mensen uit deze groep, maak je op grond van de steekproef een schatting van de standaardafwijking van de populatie en kan je de grenzen berekenen waar het echte gemiddelde tussen zit met, bijvoorbeeld, een zekerheid van $95\%$, en dat kan omdat je weet dat de steekproefgemiddeldes, bij benadering, normaal verdeeld. \vfil \break \section{Opgaven} \begin{enumerate} \item Bewijs formule \ref{surv}. \item Bewijs formule \ref{linexp}. \item Bewijs formule \ref{varalt}. \item Bewijs formule \ref{varsum} voor onafhankelijke kansvariabelen $X$ en $Y$. \item Bewijs dat $M_X(0) = 1$, waarbij $X$ een kansvariabele is. \item Bewijs formule \ref{momentreg}. \item Bewijs formule \ref{discmgf} \item Bewijs formule \ref{contmgf} \item Bereken de integraal in formule \ref{normxy}. \item Bereken $\E(X)$ en $\E(X^2)$ met behulp van de momentgenererende functie als $X$ normaal verdeeld is met gemiddelde $\mu$ en standaardafwijking $\sigma$. \item Een darter dart met $\sigma = 0,5\,\hbox{cm}$ en mikt op de oorsprong. Bereken de kans dat zijn pijltje in een cirkel met een diameter van $1\,\hbox{cm}$ terecht komt. \item Bewijs dat de afgeleide van het rechterlid van formule \ref{eersteordetaylor} in het punt $x = 0$ gelijk is aan $f'(0)$, maak hierbij gebruik van de definitie van afgeleide en van formule \ref{oeigenschap}. \item Wat betekent de $f^{(n)}(x)$ in formule \ref{taylor0}? \item Bereken de vierde orde Taylorbenadering van $\sin(x)$. \item Bereken $\lim_{x\to 0} \frac{f(x)}{g(x)}$ met $f(0) = g(0) = 0$ en $g'(0) \not= 0$ door voor $f(x)$ en $g(x)$ een eerste orde Taylorbenadering toe te passen. \item Bereken $\lim_{x\to 0} \frac{\sin(x)}{x}$ met de regel van l'H\^opital. \item Bereken $\lim_{n\to\infty} \left( 1 + \frac{\frac{1}{2}\sigma^2t^2}n + O(t^3/n^{1\frac12})\right)^n$ en laat zien dat je de term $O(t^3/n^{1\frac12})$ inderdaad mag verwaarlozen. Gebruik de aanpak uit formule \ref{hopitalexp}. \end{enumerate} \end{document}