% Uitwerkingen bij "PDF's, MGF's en de CLT" (Rik Snel) % Plain TeX -- compileren met: pdftex pdist-uitwerkingen.tex \magnification=\magstephalf \hsize=16truecm \vsize=24truecm \hoffset=-0.3truecm \voffset=-0.5truecm \parindent=0pt \parskip=4pt plus 2pt \frenchspacing \def\E{\mathop{\rm E}\nolimits} \def\Var{\mathop{\rm Var}\nolimits} \def\d{\,{\rm d}} \def\opgave#1{\goodbreak\bigskip\noindent{\bf Opgave #1}\par\nobreak\smallskip\nobreak} \def\stap#1{\smallskip\noindent{\it #1}\quad} \def\tip#1{\smallskip{\narrower\noindent{\sl #1}\par}} \def\eind{\hfill$\square$} \def\square{\vbox{\hrule\hbox{\vrule height5pt\kern5pt\vrule}\hrule}} \def\half{{\textstyle{1\over2}}} \def\frac#1#2{{#1\over#2}} \font\titelfont=cmbx12 scaled\magstep1 \centerline{\titelfont PDF's, MGF's en de CLT} \centerline{\bf Uitwerkingen van de opgaven} \medskip \centerline{Rik Snel} \bigskip\hrule\bigskip \opgave{1. Bewijs formule 1: $f(x)=-S'(x)$.} De overlevingsfunctie is gedefinieerd als $S(x)=P(X>x)=1-F(x)$. We differenti\"eren beide kanten naar $x$. De afgeleide van de constante $1$ is $0$, en de afgeleide van $F$ is $f$ (zie de definitie in~1.1). Dus $$S'(x) = 0 - F'(x) = -f(x).$$ Vermenigvuldigen met $-1$ geeft $f(x)=-S'(x)$. \eind \opgave{2. Bewijs formule 2: $\E(aX+bY)=a\E(X)+b\E(Y)$.} \stap{Stap 1: \'e\'en kansvariabele.} Eerst bekijken we $\E(aX+b)$, met $a$ en $b$ getallen. Met de formule voor $\E(g(X))$ uit 1.3, met $g(x)=ax+b$: $$\eqalign{ \E(aX+b) &= \int_{-\infty}^{\infty}(ax+b)\,f(x)\d x = a\int_{-\infty}^{\infty}x\,f(x)\d x + b\int_{-\infty}^{\infty}f(x)\d x\cr &= a\cdot\E(X) + b\cdot 1 = a\E(X)+b.\cr}$$ Hier gebruiken we dat je een integraal van een som mag splitsen, dat je constanten buiten de integraal mag halen, en dat $\int_{-\infty}^\infty f(x)\d x=1$ (want $f$ is een kansdichtheid). Een ``flauwe'' kansvariabele die altijd de waarde $b$ aanneemt heeft verwachtingswaarde $b$; de formule hierboven is dus precies formule~2 met als $Y$ zo'n flauwe kansvariabele. \stap{Stap 2: twee kansvariabelen.} Als $X$ en $Y$ samen voorkomen, hebben we een {\it gezamenlijke} kansdichtheid $f(x,y)$ nodig: de kans dat het punt $(X,Y)$ in een klein rechthoekje met zijden ${\rm d}x$ en ${\rm d}y$ rond $(x,y)$ ligt is $f(x,y)\d x\d y$ (vergelijk met de dubbele integraal in 3.3). Als je over alle mogelijke $y$ integreert, houd je de kansdichtheid van $X$ alleen over: $$\int_{-\infty}^\infty f(x,y)\d y = f_X(x),\qquad\hbox{en net zo}\qquad \int_{-\infty}^\infty f(x,y)\d x = f_Y(y).$$ Dan geldt $$\eqalign{ \E(aX+bY) &= \int\!\!\int (ax+by)\,f(x,y)\d x\d y\cr &= a\int_{-\infty}^\infty x\Bigl(\int_{-\infty}^\infty f(x,y)\d y\Bigr)\d x + b\int_{-\infty}^\infty y\Bigl(\int_{-\infty}^\infty f(x,y)\d x\Bigr)\d y\cr &= a\int_{-\infty}^\infty x\,f_X(x)\d x + b\int_{-\infty}^\infty y\,f_Y(y)\d y = a\E(X)+b\E(Y).\cr}$$ Merk op dat we {\it niet} nodig hebben dat $X$ en $Y$ onafhankelijk zijn. \eind \tip{Voor discrete kansvariabelen werkt het precies zo, met sommen in plaats van integralen.} \opgave{3. Bewijs formule 3: $\Var(X)=\E(X^2)-\E(X)^2$.} Schrijf even $\mu=\E(X)$; dat is gewoon een getal. Werk het kwadraat uit: $$(X-\mu)^2 = X^2 - 2\mu X + \mu^2.$$ Neem van beide kanten de verwachtingswaarde en gebruik formule 2 (lineariteit; $\mu^2$ is een constante): $$\Var(X)=\E\bigl((X-\mu)^2\bigr) = \E(X^2) - 2\mu\,\E(X) + \mu^2 = \E(X^2) - 2\mu\cdot\mu + \mu^2 = \E(X^2)-\mu^2.$$ Omdat $\mu=\E(X)$ staat er $\Var(X)=\E(X^2)-\E(X)^2$. \eind \opgave{4. Bewijs formule 4: $\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y)$ voor onafhankelijke $X$ en $Y$.} Schrijf $\mu_X=\E(X)$ en $\mu_Y=\E(Y)$. Volgens formule 2 is $\E(aX+bY)=a\mu_X+b\mu_Y$. Dan is $$aX+bY-\E(aX+bY) = a(X-\mu_X)+b(Y-\mu_Y).$$ Kwadrateren met $(p+q)^2=p^2+2pq+q^2$: $$\bigl(a(X-\mu_X)+b(Y-\mu_Y)\bigr)^2 = a^2(X-\mu_X)^2 + 2ab\,(X-\mu_X)(Y-\mu_Y) + b^2(Y-\mu_Y)^2.$$ Neem de verwachtingswaarde en gebruik formule 2: $$\Var(aX+bY) = a^2\Var(X) + 2ab\,\E\bigl((X-\mu_X)(Y-\mu_Y)\bigr) + b^2\Var(Y).$$ Het blijft over om te laten zien dat de middelste verwachtingswaarde $0$ is. Haakjes uitwerken en weer formule 2 gebruiken: $$\eqalign{ \E\bigl((X-\mu_X)(Y-\mu_Y)\bigr) &= \E(XY) - \mu_Y\E(X) - \mu_X\E(Y) + \mu_X\mu_Y\cr &= \E(XY) - \mu_X\mu_Y - \mu_X\mu_Y + \mu_X\mu_Y = \E(XY)-\E(X)\E(Y).\cr}$$ Voor onafhankelijke $X$ en $Y$ is $\E(XY)=\E(X)\E(Y)$. Dat zie je zo: bij onafhankelijkheid is de gezamenlijke dichtheid het product $f(x,y)=f_X(x)f_Y(y)$ (productregel voor kansen), dus $$\E(XY) = \int\!\!\int xy\,f_X(x)f_Y(y)\d x\d y = \Bigl(\int_{-\infty}^\infty x f_X(x)\d x\Bigr)\cdot \Bigl(\int_{-\infty}^\infty y f_Y(y)\d y\Bigr) = \E(X)\E(Y).$$ De middelste term valt dus weg en $\Var(aX+bY)=a^2\Var(X)+b^2\Var(Y)$. \eind \tip{Let op: ook bij $aX-bY$ krijg je $+\,b^2\Var(Y)$, want $(-b)^2=b^2$. Varianties worden bij onafhankelijke variabelen altijd opgeteld.} \opgave{5. Bewijs dat $M_X(0)=1$.} Vul $t=0$ in de definitie in. Omdat $e^{0\cdot x}=e^0=1$ voor elke $x$: $$M_X(0)=\E(e^{0\cdot X}) = \int_{-\infty}^\infty 1\cdot f(x)\d x = 1,$$ omdat de totale oppervlakte onder een kansdichtheid $1$ is. (Discreet: $\sum_x P(X=x)=1$.) \eind \opgave{6. Bewijs formule 5: $M_{aX+bY}(t)=M_X(at)\cdot M_Y(bt)$ voor onafhankelijke $X$ en $Y$.} Met de definitie en de rekenregel $e^{p+q}=e^p\cdot e^q$: $$M_{aX+bY}(t) = \E\bigl(e^{t(aX+bY)}\bigr) = \E\bigl(e^{atX}\cdot e^{btY}\bigr).$$ Omdat $X$ en $Y$ onafhankelijk zijn, zijn ook $U=e^{atX}$ en $V=e^{btY}$ onafhankelijk (de waarde van $U$ hangt alleen van $X$ af, die van $V$ alleen van $Y$). Net als in opgave~4 geldt dan $\E(UV)=\E(U)\E(V)$; met de productdichtheid: $$\E\bigl(e^{atX}e^{btY}\bigr) = \int\!\!\int e^{atx}e^{bty}f_X(x)f_Y(y)\d x\d y = \int_{-\infty}^\infty e^{(at)x}f_X(x)\d x\cdot\int_{-\infty}^\infty e^{(bt)y}f_Y(y)\d y.$$ De eerste integraal is $M_X$ ingevuld in $at$ en de tweede is $M_Y$ ingevuld in $bt$. Dus $M_{aX+bY}(t)=M_X(at)\cdot M_Y(bt)$. \eind \opgave{7. Bewijs formule 6: $M_X(t)={e^t\over 6-5e^t}$.} Volgens de definitie (discreet geval) en de tabel uit 2.1.1: $$M_X(t)=\sum_{n=1}^\infty e^{tn}\cdot{1\over6}\cdot\Bigl({5\over6}\Bigr)^{n-1}.$$ Schrijf $e^{tn}=e^t\cdot e^{t(n-1)}=e^t\cdot(e^t)^{n-1}$ en haal alles wat niet van $n$ afhangt buiten het somteken: $$M_X(t)={e^t\over6}\sum_{n=1}^\infty\Bigl({5e^t\over6}\Bigr)^{n-1} ={e^t\over6}\sum_{k=0}^\infty g^k\qquad\hbox{met } g={5e^t\over6}\hbox{ en }k=n-1.$$ Dit is een meetkundige reeks, dus (zie 2.1.2) voor $|g|<1$: $$M_X(t)={e^t\over6}\cdot{1\over1-{5e^t\over6}}.$$ Vermenigvuldig teller en noemer met $6$: $$M_X(t)={e^t\over6-5e^t}.$$ Voorwaarde: $5e^t/6<1$, dus $e^t<6/5$, oftewel $t<\ln(6/5)$. Omdat we $M_X$ alleen rond $t=0$ nodig hebben, is dat geen probleem. \eind \tip{Controle: $M_X(0)=1/(6-5)=1$, zoals het hoort (opgave 5).} \opgave{8. Bewijs formule 7: $M_X(t)={\lambda\over\lambda-t}$ voor de exponenti\"ele verdeling.} Met $f(x)=\lambda e^{-\lambda x}$ voor $x\ge0$ (en $0$ voor $x<0$): $$M_X(t)=\int_0^\infty e^{tx}\cdot\lambda e^{-\lambda x}\d x =\lambda\int_0^\infty e^{(t-\lambda)x}\d x.$$ Een primitieve van $e^{cx}$ is ${1\over c}e^{cx}$; hier is $c=t-\lambda$: $$M_X(t)=\lambda\Bigl[{1\over t-\lambda}e^{(t-\lambda)x}\Bigr]_0^\infty.$$ Als $t<\lambda$ is $t-\lambda<0$, dus $e^{(t-\lambda)x}\to0$ als $x\to\infty$. De bovengrens levert daarom $0$ op en de ondergrens $e^0=1$: $$M_X(t)=\lambda\Bigl(0-{1\over t-\lambda}\Bigr)={\lambda\over\lambda-t}.$$ (Voor $t\ge\lambda$ bestaat de integraal niet: $e^{(t-\lambda)x}$ gaat dan niet naar $0$.) \eind \opgave{9. Bereken de integraal in formule 8.} We moeten laten zien dat $${1\over2\pi\sigma_X\sigma_Y}\int_{-\infty}^\infty e^{-{(\frac12z+x-\mu_X)^2\over2\sigma_X^2}}\cdot e^{-{(\frac12z-x-\mu_Y)^2\over2\sigma_Y^2}}\d x ={1\over\sqrt{\sigma_X^2+\sigma_Y^2}\sqrt{2\pi}}\, e^{-{(z-(\mu_X+\mu_Y))^2\over2(\sigma_X^2+\sigma_Y^2)}}.$$ \stap{Stap 1: afkortingen.} Om het overzichtelijk te houden schrijven we $$p=\sigma_X^2,\quad q=\sigma_Y^2,\quad a=\half z-\mu_X,\quad b=\half z-\mu_Y.$$ Dan is $\half z+x-\mu_X=x+a$ en $\half z-x-\mu_Y=b-x$, en $(b-x)^2=(x-b)^2$. Let op: $a+b=z-\mu_X-\mu_Y$; dat is precies wat er straks in het antwoord moet komen. \stap{Stap 2: exponenten samenvoegen.} Met $e^u\cdot e^v=e^{u+v}$ wordt de exponent $$-{(x+a)^2\over2p}-{(x-b)^2\over2q} = -{q(x+a)^2+p(x-b)^2\over2pq}.$$ De teller uitwerken en ordenen naar machten van $x$: $$N=q(x+a)^2+p(x-b)^2=(p+q)x^2+2(qa-pb)x+qa^2+pb^2.$$ \stap{Stap 3: kwadraat afsplitsen.} Schrijf $s=p+q$ en $c={qa-pb\over s}$. Dan is $s(x+c)^2=sx^2+2(qa-pb)x+sc^2$, dus $$N=s(x+c)^2+qa^2+pb^2-sc^2.$$ De constante rest rekenen we uit: $$\eqalign{ qa^2+pb^2-sc^2 &= {(qa^2+pb^2)(p+q)-(qa-pb)^2\over p+q}\cr &= {pqa^2+q^2a^2+p^2b^2+pqb^2-q^2a^2+2pqab-p^2b^2\over p+q}\cr &= {pq(a^2+2ab+b^2)\over p+q} = {pq\,(a+b)^2\over p+q}.\cr}$$ Dus de hele exponent is $$-{N\over2pq} = -{(p+q)(x+c)^2\over2pq} - {(a+b)^2\over2(p+q)}.$$ \stap{Stap 4: wat afhangt van $x$ en wat niet.} Het tweede stuk hangt niet van $x$ af en mag dus buiten de integraal: $$f_Z(z)={1\over2\pi\sigma_X\sigma_Y}\,e^{-{(a+b)^2\over2(p+q)}} \int_{-\infty}^\infty e^{-{(x+c)^2\over2\tau^2}}\d x \qquad\hbox{met }\tau^2={pq\over p+q}.$$ \stap{Stap 5: de overgebleven integraal.} In 3.3 hebben we bewezen dat ${1\over\tau\sqrt{2\pi}}e^{-(x+c)^2/(2\tau^2)}$ een kansdichtheid is (normale verdeling met gemiddelde $-c$ en standaardafwijking $\tau$); de integraal daarvan is dus $1$. Daaruit volgt $$\int_{-\infty}^\infty e^{-{(x+c)^2\over2\tau^2}}\d x=\tau\sqrt{2\pi} ={\sigma_X\sigma_Y\over\sqrt{\sigma_X^2+\sigma_Y^2}}\sqrt{2\pi}.$$ \stap{Stap 6: alles samen.} $$f_Z(z)={1\over2\pi\sigma_X\sigma_Y}\cdot{\sigma_X\sigma_Y\sqrt{2\pi}\over\sqrt{\sigma_X^2+\sigma_Y^2}}\, e^{-{(z-\mu_X-\mu_Y)^2\over2(\sigma_X^2+\sigma_Y^2)}} ={1\over\sqrt{\sigma_X^2+\sigma_Y^2}\,\sqrt{2\pi}}\, e^{-{(z-(\mu_X+\mu_Y))^2\over2(\sigma_X^2+\sigma_Y^2)}},$$ want $2\pi=\sqrt{2\pi}\cdot\sqrt{2\pi}$. Dit is de dichtheid van een normale verdeling met gemiddelde $\mu_X+\mu_Y$ en standaardafwijking $\sqrt{\sigma_X^2+\sigma_Y^2}$. \eind \opgave{10. Bewijs dat de normale dichtheid buigpunten heeft bij $x=\mu\pm\sigma$.} We gebruiken de differentiaalvergelijking uit 3.1: $$f'(x)=-{1\over\sigma^2}(x-\mu)f(x).$$ Differentieer nog een keer met de productregel ($(x-\mu)'=1$): $$\eqalign{ f''(x)&=-{1\over\sigma^2}\bigl(1\cdot f(x)+(x-\mu)f'(x)\bigr) =-{1\over\sigma^2}\Bigl(f(x)-{(x-\mu)^2\over\sigma^2}f(x)\Bigr)\cr &={f(x)\over\sigma^4}\bigl((x-\mu)^2-\sigma^2\bigr).\cr}$$ Omdat $f(x)>0$ voor alle $x$ (een $e$-macht is nooit $0$) en $\sigma^4>0$, geldt $$f''(x)=0\iff(x-\mu)^2=\sigma^2\iff x-\mu=\pm\sigma\iff x=\mu\pm\sigma.$$ Het teken van $f''$ is het teken van $(x-\mu)^2-\sigma^2$: positief voor $x<\mu-\sigma$, negatief tussen $\mu-\sigma$ en $\mu+\sigma$, en weer positief voor $x>\mu+\sigma$. De tweede afgeleide wisselt in beide punten van teken, dus het zijn echt buigpunten. \eind \opgave{11. Bereken $\E(X)$ en $\E(X^2)$ met de MGF van de normale verdeling.} Uit 3.6: $M_X(t)=e^{\mu t+\frac12\sigma^2t^2}$. Eerste afgeleide (kettingregel; de afgeleide van de exponent $\mu t+\half\sigma^2t^2$ is $\mu+\sigma^2t$): $$M_X'(t)=(\mu+\sigma^2t)\,e^{\mu t+\frac12\sigma^2t^2}=(\mu+\sigma^2t)M_X(t).$$ Tweede afgeleide (productregel): $$M_X''(t)=\sigma^2M_X(t)+(\mu+\sigma^2t)M_X'(t) =\bigl(\sigma^2+(\mu+\sigma^2t)^2\bigr)M_X(t).$$ Invullen van $t=0$, met $M_X(0)=e^0=1$: $$\E(X)=M_X'(0)=\mu,\qquad \E(X^2)=M_X''(0)=\sigma^2+\mu^2.$$ Controle met formule 3: $\Var(X)=\E(X^2)-\E(X)^2=\sigma^2+\mu^2-\mu^2=\sigma^2$. Dat klopt met 3.5. \eind \opgave{12. Een darter met $\sigma=0{,}5$\thinspace cm mikt op de oorsprong. Bereken de kans dat het pijltje in een cirkel met diameter $1$\thinspace cm komt.} \stap{Stap 1: de dichtheid in het vlak.} Uit 3.7 weten we dat de $x$- en $y$-co\"ordinaat onafhankelijk en normaal verdeeld zijn met $\mu=0$. De dichtheid in het punt $(x,y)$ is dan $$f(x)f(y)={1\over\sigma\sqrt{2\pi}}e^{-{x^2\over2\sigma^2}}\cdot {1\over\sigma\sqrt{2\pi}}e^{-{y^2\over2\sigma^2}} ={1\over2\pi\sigma^2}e^{-{x^2+y^2\over2\sigma^2}} ={1\over2\pi\sigma^2}e^{-{r^2\over2\sigma^2}},$$ waarbij $r=\sqrt{x^2+y^2}$ de afstand tot de oorsprong is. \stap{Stap 2: integreren over de schijf.} De cirkel heeft straal $R=0{,}5$\thinspace cm. Net als in 3.3 delen we de schijf op in dunne ringen met straal $r$ en dikte ${\rm d}r$, met oppervlakte $2\pi r\d r$: $$P(\hbox{binnen de cirkel})=\int_0^R{1\over2\pi\sigma^2}e^{-{r^2\over2\sigma^2}}\cdot2\pi r\d r =\int_0^R{r\over\sigma^2}e^{-{r^2\over2\sigma^2}}\d r.$$ Een primitieve is $-e^{-r^2/(2\sigma^2)}$ (controleer met de kettingregel). Dus $$P=\Bigl[-e^{-{r^2\over2\sigma^2}}\Bigr]_0^R=1-e^{-{R^2\over2\sigma^2}}.$$ \stap{Stap 3: invullen.} Met $R=0{,}5$ en $\sigma=0{,}5$ is ${R^2\over2\sigma^2}={0{,}25\over0{,}5}=\half$, dus $$P=1-e^{-1/2}\approx 0{,}393.$$ De kans is ongeveer $39\%$. \eind \tip{Valkuil: $P(-0{,}5