Σ Mean Sigma (Posts about dissectie)

Formules voor variantie & co

Mean Sigma — Thu, 10 Nov 2022 23:00:00 GMT

We hebben het eerder al gehad over het gemiddelde dat je op drie manieren kan berekenen. Maar de variantie spant wel de kroon wat betreft het aantal formules, zeker als we conditionele variantie mee in scope nemen.

Om te beginnen hebben we twee soorten varianties die als volgt gedefinieerd zijn:

$s_x^2 = \frac{1}{n} \sum_i (x_i - \overline x)^2$
$s_x^{\prime 2} = \frac{1}{n-1} \sum_i (x_i - \overline x)^2$

Merk op dat $\frac{s_x^{\prime 2}}{s_x^2} = \frac{n}{n-1}$ . Je kan de tweede lijn dus ook schrijven als $s_x^{\prime 2} = \frac{n}{n-1} s_x^2$ .

Naast beide varianties heb je ook nog de standaarddeviaties. Gelukkig moet je die formules niet apart van buiten leren, want het zijn gewoon de vierkantswortels van bovenstaande formules.

$s_x = \sqrt{\frac{1}{n} \sum_i (x_i - \overline x)^2} = \sqrt{s_x^2}$
$s'_x = \sqrt{\frac{1}{n-1} \sum_i (x_i - \overline x)^2} = \sqrt{s_x^{\prime 2}}$

In plaats van de variantie te berekenen volgens de definitie, kan het ook (efficiënter) met de chiastische eigenschap:

$s_x^2 = \frac{1}{n} \sum_i x_i^2 - \overline{x}^2$

Alsof dat nog niet genoeg was, gooit de prof nog vier extra formules in de mix.

$s_x^2 = \frac{1}{n} \sum_j (x_j - \overline x)^2 freq_X(x_j)$
$s_x^2 = \frac{1}{n} \sum_j x_j^2 freq_X(x_j) - \overline{x}^2$
$s_x^2 = \sum_j (x_j - \overline x)^2 p_X(x_j)$
$s_x^2 = \sum_j x_j^2 p_X(x_j) - \overline{x}^2$

Kan het eenvoudiger?

Dit begint verwarrend te worden. Tijd dus om wat orde in de chaos te scheppen. We zullen de zes formules voor $s_x^2$ in een $3 \times 2$ tabel gieten. De rijen staan voor de drie manieren waarop je het gemiddelde kan berekenen en de kolommen voor de manier waarop je de variantie zelf kan berekenen.

gemiddelde	definitie $s_x^2$	chiastische eigenschap
$\frac{1}{n} \sum_i x_i$	$\frac{1}{n} \sum_i (x_i - \overline x)^2$	$\frac{1}{n} \sum_i x_i^2 - \overline{x}^2$
$\frac{1}{n} \sum_j x_j freq_X(x_j)$	$\frac{1}{n} \sum_j (x_j - \overline x)^2 freq_X(x_j)$	$\frac{1}{n} \sum_j x_j^2 freq_X(x_j) - \overline{x}^2$
$\sum_j x_j p_X(x_j)$	$\sum_j (x_j - \overline x)^2 p_X(x_j)$	$\sum_j x_j^2 p_X(x_j) - \overline{x}^2$

Eigenlijk heeft het dus totaal geen zin om de negen formules in de tabel apart van buiten te leren. Als we symbolisch kunnen uitdrukken dat we een gemiddelde van een uitdrukking (zoals $(x - \overline x)^2$ of $x^2$ ) nodig hebben, zonder dat we ons moeten vastpinnen op één specifieke rekenmethode, kunnen we de tabel drastisch vereenvoudigen. Hiervoor gebruiken we de notatie met de streep boven de uitdrukking zoals we dat ook al deden voor $\overline x$ .

gemiddelde	definitie $s_x^2$	chiastische eigenschap
$\overline x$	$\overline{(x - \overline x)^2}$	$\overline{x^2} - \overline{x}^2$

Op deze manier zit de essentie van alle zes formules vervat in slechts twee formules. Samen met de drie formules voor het gemiddelde (dus vijf in totaal) kan je de hele tabel hierboven met negen formules reconstrueren. Een mooie besparing!

Samengevat moet je voor dit luik van de leerstof enkel dit onthouden:

$s_x^2 = \overline{(x - \overline x)^2} = \overline{x^2} - \overline{x}^2$
$s_x^{\prime 2} = \frac{n}{n-1} s_x^2$
$s_x = \sqrt{s_x^2}$
$s'_x =\sqrt{s_x^{\prime 2}}$

Conditionele varianties

Wat verderop in de cursus worden conditionele varianties geintroduceerd. Zelfs zonder de aanwezigheid van standaarddeviaties en $s'$ varianten krijg je hier acht complexe formules naar het hoofd geslingerd. De eerste boosdoener is het feit dat conditionele variabelen in twee richtingen kunnen voorkomen: $X \mid Y$ of $Y \mid X$ . Dit is puur een kwestie van $X$ en $Y$ van plaats te wisselen (en ook $j \leftrightarrow j'$ ). Van de acht formules kan je er dus al vier schrappen als niet-essentieel.

De vier overgebleven formules vertonen een bekend patroon! Er zijn twee manieren om het conditionele gemiddelde te berekenen ( $freq$ of $p$ ), en we zitten opnieuw met het onderscheid tussen definitie en chiastische eigenschap. We kunnen dus dezelfde vereenvoudiging doorvoeren als we gedaan hebben in het univariate luik.

gemiddelde	definitie $s_{y \mid X=x_j}^2$	chiastische eigenschap
$\overline{y \mid X=x_j}$	$\overline{(y - \overline{y \mid X=x_j})^2 \mid X=x_j}$	$\overline{y^2 \mid X=x_j} - \overline{y \mid X=x_j}^2$

Covarianties

Nu is de beurt aan jullie. Hoe zouden jullie de formules rond covarianties vereenvoudigen?

Ongelijkheid van Tchebychev

Mean Sigma — Thu, 27 Oct 2022 22:00:00 GMT

In de cursus vinden we twee vormen van de ongelijkheid van Tchebychev:

$k > 1 \implies p( |X-\overline x| \geq ks_x) \leq \frac{1}{k^2}$

$k' > 1 \implies p[(X-\overline x)^2 \geq k' s_x^2] \leq \frac{1}{k'}$

In het tweede luik van de cursus vinden we ook nog de twee inductieve tegenhangers hiervan.

Wanneer gebruiken?

De enige reden waarom je de ongelijkheid van Tchebychev zou gebruiken, is als je de verdeling van de toevalsvariabele $X$ niet kent: geen $p_x$ , geen $\pi_X$ , geen $\Phi_X$ , ... Als je de verdeling wel kent, heeft deze ongelijkheid geen enkel nut meer. Dan kan je veel nauwkeuriger de kansen o.b.v. de verdelingsfunctie berekenen.

Als je er over nadenkt, is het wel straf dat we toch nog bepaalde uitspraken kunnen doen over $X$ zonder dat we veel over de verdeling weten. Uiteraard moeten we wel het gemiddelde en de variantie kennen. Dat is meteen ook een goede tip voor op het examen: als kansen gevraagd worden over een variabele waar je verdacht weinig over weet behalve die twee maten, is de kans groot dat je met Tchebychev aan de slag moet. Andersom kan het zijn dat je één maat krijgt en de constante $k$ , en dan je de andere maat moet proberen achterhalen. Ook die oefeningen zijn herkenbaar door de aanwezigheid van die constante.

Vereenvoudigen

Naar analogie met de eerdere blogpost rond dissectie van formules gaan we deze formules proberen te ontleden.

Aangezien beide varianten nogal een mond vol zijn, zouden we graag een manier vinden om ze korter voor te stellen. Met een concept dat we enkele bladzijden verderop in de cursus geleerd hebben, is dat gelukkig niet al te moeilijk. We kunnen binnen de proportie namelijk beide leden delen door $s_x$ (resp. $s_x^2$ ) tot we plots iets herkenbaar zien.

$k > 1 \implies p\left(\frac{|X-\overline x|}{s_x} \geq k\right) \leq \frac{1}{k^2}$

$k' > 1 \implies p\left[\frac{(X-\overline x)^2}{s_x^2} \geq k' \right] \leq \frac{1}{k'}$

Voor we verder gaan moeten we ons wel de vraag stellen: mogen we die deling altijd zomaar uitvoeren? Helaas niet, we komen in de problemen als $s_x = 0$ of als $s_x < 0$ .

Als $s_x = 0$ delen we door $0$ , wat uiteraard niet toegestaan is. Gelukkig komt die situatie niet zo vaak voor. Een spreiding van $0$ betekent intuitief dat er geen spreiding is of dat dus alle gegevens op elkaar liggen.

$s_x^2 = \frac{1}{n} \sum_i (x_i - \overline x)^2 = 0$
$\iff \sum_i (x_i - \overline x)^2 = 0$

De som van positieve getallen kan alleen nul zijn als elke individuele term ook nul is

$\iff \forall i: (x_i - \overline x)^2 = 0$
$\iff \forall i: x_i = \overline x$

Dit kan dus enkel als alle observaties gelijk zijn aan hun gemiddelde en dus ook gelijk zijn aan alle andere observaties. In dat geval blijft er weinig mysterie over rond onze toevalsvariabele en hebben we Tchebychev niet nodig om uitspraken over proporties te doen.

Naast $s_x=0$ geeft ook $s_x < 0$ problemen. Gelukkig is dat per definitie onmogelijk. (Als dit wel mogelijk was, zou onze ongelijkheid omdraaien omdat we delen door een negatief getal.)

Nu kunnen we onze formules verder herschrijven:

$k > 1 \implies p\left( \left|\frac{X-\overline x}{s_x}\right| \geq k\right) \leq \frac{1}{k^2}$

$k' > 1 \implies p\left[\left(\frac{X-\overline x}{s_x}\right)^2 \geq k'\right] \leq \frac{1}{k'}$

Aangezien $s_x = |s_x|$ kunnen we de absolute waarde uitbreiden naar heel de breuk. In de tweede formule kunnen we op een gelijkaardige manier de macht rond de hele breuk zetten.

Het heeft wat moeite gekost, maar door deze stappen te zetten kunnen we nu wel drastisch vereenvoudigen:

$k > 1 \implies p(|Z_X| \geq k) \leq \frac{1}{k^2}$

$k' > 1 \implies p(Z_X^2 \geq k') \leq \frac{1}{k'}$

Interpretatie

Als je een intuitief begrip hebt van Z-scores, kan je de formules op deze manier wellicht al wat beter vatten. Tchebychev zegt eigenlijk gewoon dat hogere Z-scores (dus waarden verder weg van het gemiddelde) een steeds kleinere kans hebben.

Nog een andere formuleringswijze

Vertrek van de oorsponkelijke stelling:

$k > 1 \implies p( |X-\overline x| \geq ks_x) \leq \frac{1}{k^2}$

Stel nu $k = \frac{a}{s_x}$ . Dan krijgen we:

$a > s_x \implies p( |X-\overline x| \geq a) \leq \frac{s_x^2}{a^2}$

Voor de tweede stelling krijgen we op gelijkaardige manier met $k' = \frac{a'}{s_x^2}$ :

$a' > s_x^2 \implies p[(X-\overline x)^2 \geq a'] \leq \frac{s_x^2}{a'}$

Wat met de constante?

Een andere vraag die je jezelf zou kunnen stellen, is waarom $k$ per se groter dan één moet zijn. Wat gebeurt er als $k \in \mathopen]0, 1]$ ? Dan is $\frac{1}{k^2} \geq 1$ . Aangezien een proportie altijd in $[0, 1]$ ligt, leren we hier niets nieuw meer uit. De formule is dus niet fout voor deze waarden van $k$ , maar ook niet nuttig.

Een ander geval om naderbij te bekijken is $k=0$ . In dat geval komen we wel in de problemen omdat we in het rechterlid delen door nul. Anderzijds hebben we Tchebychev niet nodig om te weten wat de proportie $p(|Z_X| \geq 0)$ is, want die is altijd gelijk aan $1$ .

Tot slot, wat met $k < 0$ (resp. $k' < 0$ )? Hier kunnen we dezelfde redenering toepassen: $|Z_X|$ is gegarandeerd groter dan een negatieve $k$ dus de proportie zal opnieuw altijd $1$ zijn.

Voor $k'$ kunnen we een analoge redenering opbouwen. Conclusie: strikt gezien had er als voorwaarde $k > 0$ (resp. $k' > 0$ ) mogen staan, maar we zouden daar niets bij winnen. Pas bij waarden strikt groter dan $1$ begint de stelling te renderen.

Relatie tussen de twee stellingen

In de cursus worden de twee stellingen als equivalent neergezet. Een bewijs daarvan krijgen we helaas niet. Je moet de prof dus op zijn woord geloven. Een kritische student zou toch kunnen proberen om zelf uit de eerste versie de tweede te bewijzen of omgekeerd.

Je kan beginnen met in de tweede stelling $k'$ gelijk te stellen aan $k^2$ . Dan krijg je:

$k^2 > 1 \implies p(Z_X^2 \geq k^2) \leq \frac{1}{k^2}$

Dit lijkt al een beetje op de eerste stelling, maar we zijn er nog niet helemaal. Voor positieve waarden van $k$ komt de uitspraak $k^2 > 1$ inderdaad mooi overeen met $k > 1$ . M.a.w.: $\forall k \in \mathbb R_0^+: k^2 > 1 \iff k > 1$ . Dan hebben we:

$k > 1 \implies p(Z_X^2 \geq k^2) \leq \frac{1}{k^2}$

Als derde en laatste stap moeten we aantonen dat $p(Z_X^2 \geq k^2) = p(|Z_X| \geq k)$ . Meer algemeen zou moeten gelden dat $\forall c: p(X^2 \geq c^2) = p(|X| \geq |c|)$ . Merk op dat we $Z_X$ vervangen hebben door $X$ omdat deze stelling niet specifiek afhangt van Z-getransformeerde variabelen maar wellicht meer algemeen geldig is. Verder hebben we het over $|c|$ i.p.v. $k$ . Aangezien $k$ altijd strikt positief moet zijn, kunnen we in dat specifieke geval de absolute waarde achterwege laten.

In de praktijk blijkt het moeilijk te zijn om hier een formeel bewijs voor te geven, maar de face validity van de stelling is gelukkig al redelijk hoog. Ze rust op het feit dat $\sqrt{x^2} = |x|$ en dat de vierkantswortel als strikt monotoon stijgende functie geen vreemde effecten op ongelijkheden heeft. Als je de stelling probeert toe te passen op verschillende voorbeelden merk je ook dat het altijd lijkt te kloppen. Geen van beide opmerkingen is een garantie dat de stelling effectief klopt, maar het is voorlopig goed genoeg voor ons. Beide stellingen lijken dus inderdaad helemaal equivalent aan elkaar te zijn.

Trapezium

Mean Sigma — Sun, 17 Apr 2022 22:00:00 GMT

Op het examen ga je waarschijnlijk voor één van de vragen de oppervlakte onder een curve $\varphi_X$ moeten berekenen. Wie niet graag met integralen goochelt, geraakt er meestal ook wel door die oppervlakte op te kappen in rechthoeken, driehoeken en - af en toe - trapezia. Iedereen heeft in het lager onderwijs wel uitgebreid over die vlakke figuren geleerd, maar in het secundair komen trapezia niet vaak meer terug. Bij deze dus een korte opfrisser.

Een trapezium is een convexe vierhoek met minstens 1 paar evenwijdige zijden. De kortste van die twee noemen we de kleine basis $b$ en de andere noemen we de grote basis $B$ . Daarnaast hebben we nog de hoogte $h$ die we loodrecht op beide basissen meten. Waarschijnlijk denk je in de eerste plaats aan de gele figuur hieronder, maar de twee andere figuren zijn evengoed trapezia.

Op basis van deze definitie is elke parallellogram (incl. elke rechhoek en elke ruit) ook een trapezium.

Oppervlakte

Je kan elke trapezium opdelen in een rechthoek en eventueel een rechthoekige driehoek per zijkant. Je hoeft dus niet per se de formule voor de oppervlakte van een trapezium vanbuiten te leren, want je kan gewoon de som van de oppervlaktes van die rechthoek en driehoek(en) berekenen. Anderzijds is de formule ook niet zo moeilijk, en alles wat tijd kan besparen op het examen is meer dan welkom.

De oppervlakte van een trapezium is $\frac{(B+b)h}{2}$ . Nu weten we wat we moeten weten, dus zouden we hier kunnen afsluiten. Of... we kunnen nog wat dieper graven. We hebben bijvoorbeeld gezegd dat elke rechthoek ook een trapezium is. De oppervlakte formules voor beide zouden dus consistent moeten zijn. Anders gezegd:

$\dfrac{(B+b)h}{2} = b_r h_r$

met $b_r$ de basis en $h_r$ de hoogte van de rechthoek. De hoogte van beide meten we op dezelfde manier ( $h = h_r$ ) dus kunnen we vereenvoudigen tot

$\dfrac{(B+b)}{2} = b_r$

Voor een rechthoek geldt $B = b = b_r$ , dus de formules zijn inderdaad mooi consistent. Wat nog interessanter is, is dat we nu een nieuwe manier hebben om de term $\frac{(B+b)}{2}$ te interpreteren. Als we onze statistische bril opzetten, zien we dat hier een gemiddelde berekend wordt. Je zou de formule voor de oppervlakte van een trapezium dus ook kunnen lezen als $\overline{b}h$ met $\overline b$ het gemiddelde van de grote en de kleine basis. Nu is het direct overduidelijk dat de formule consistent is met die van een rechthoek, want in dat geval is $\overline b = b = B = b_r$ .

Volume

Als de prof een stapje verder wil gaan, kan hij dezelfde soort vraagen stellen maar dan voor een bivariate verdeling $\varphi_{X,Y}$ . Dan krijg je een 3D grafiek en moet je volumes berekenen in plaats van oppervlaktes. Meestal kan je hier de vuisregel oppervlakte grondvlak maal hoogte $h'$ toepassen. Voor een 3D trapezium (een soort prisma) krijg je dan $\overline{b}hh'$ . Verwar deze nieuwe hoogte $h'$ niet met de originele hoogte $h$ in 2D. Je zou $h'$ ook de diepte $d$ kunnen noemen als dat het duidelijker maakt.

Optimale voorspelling - coefficienten

Mean Sigma — Tue, 08 Mar 2022 23:00:00 GMT

Bij optimale lineaire voorspelling hebben we een statistisch model van de vorm $y_i^{est}(x_i) = b_0 + b_1 x_i$ met volgende waarden voor de coefficienten:

$b_0 = \overline y - b_1 \overline x$
$b_1 = r_{xy} \frac{s_y}{s_x}$

Deze formules kunnen worden afgeleid uit $Z_Y(y_i^{est}) = r_{xy} Z_X(x_i)$ door de Z-transformaties uit te schrijven en de vergelijking vervolgens uit te werken naar $y_i^{est}$ . In dit artikel wil ik niet zozeer focussen op de algebraische uitwerking, maar wel op het intuitief begrip van deze formules. Zorg dat je eerstegraadsfuncties (leerstof derde middelbaar) goed onder de knie hebt voor je verder leest.

Intercept $b_0$

De eerste formule is de gemakkelijkste. Ze gaat er van uit dat je $b_1$ al kent, en op zoekt bent naar de gepaste $b_0$ . Wat bedoelen we hier met gepast? Het valt op dat deze formule sterk lijkt op de formule van ons model. Herschrijven geeft $b_0 = \overline y - b_1 \overline x \iff \overline y = b_0 + b_1 \overline x$ . De gepaste $b_0$ is dus diegene die ervoor zorgt dat, indien onze predictor $x_i$ gelijk is aan $\overline x$ , ons criterium $y_i^{est}$ gelijk is aan $\overline y$ .

Beeld je in dat je de waarde van $b_0$ met een draaiknop kan regelen. Dan zal je merken dat onze rechte, door heen en weer aan die knop te draaien, enkel naar boven of naar onder schuift. De rico ligt al vast op $b_1$ , dus kantelen kan niet meer. De gepaste waarde voor $b_0$ is dan diegene waardoor de rechte precies door punt $(\overline x, \overline y)$ gaat.

Zie ook https://www.desmos.com/calculator/axxshcb5mh.

Als we in plaats van met de originele $X$ en $Y$ werken met $Z_X$ en $Z_Y$ , hebben we $\overline x = \overline y = 0$ . Dan gaat de rechte volgens onze redenering hierboven door $(0, 0)$ . Dat klopt helemaal met de fundamentele formule waarvan we met optimale lineaire voorspelling vertrokken zijn: $Z_Y(y_i^{est}) = r_{xy} Z_X(x_i)$ . Die formule is van de vorm $y = mx$ en gaat ook gegarandeerd door $(0, 0)$ . Enkel rechten van de vorm $y = mx + q$ met $q \neq 0$ gaan niet door $(0, 0)$ .

Richtingscoefficient $b_1$

Ik schrijf de formule $b_1 = r_{xy} \frac{s_y}{s_x}$ liever als $b_1 = s_y r_{xy} \frac{1}{s_x}$ . Dat is niet bepaald korter, maar toont wel beter welke stappen er achtereenvolgens gezet worden. Deze $b_1$ wordt uiteindelijk vermenigvuldigd met $x_i$ (en bij $b_0$ geteld) om $y_i^{est}$ te berekenen, dus we moeten het vanuit dat perspectief bekijken. De drie stappen zijn dan de haakjes in volgende formule van binnen naar buiten uitwerken: $y_i^{est}(x_i) = b_0 + b_1 x_i = b_0 + (s_y (r_{xy} (\frac{1}{s_x} x_i)))$ .

De eerste stap is de (gedeeltelijke) standaardisatiestap door vermenigvuldiging van $x_i$ met $\frac{1}{s_x}$ . Vergelijk het met een Z-transformatie: de standaardafwijking wordt teruggebracht van $s_x$ tot $1$ maar van het gemiddelde $\overline x$ trekken we ons voorlopig niets aan. (Dat deel van de standaardisatie zit in $b_0$ .) Zo zetten we intuitief de stap van de $X$ -wereld naar de $Z_X$ wereld.

Eens we $x_i$ gestandaardiseerd hebben, kunnen we de vertaalslag maken van de $Z_X$ -wereld naar de $Z_Y$ -wereld. Dat doen we door te vermenigvuldigen met $r_{xy}$ . Reminder: $r_{xy} = s_{Z_X Z_Y}$ .

Tot slot de-standaardiseren we door te vermenigvuldigen met $s_y$ en dus de standaardafwijking te veranderen van $1$ naar $s_y$ . Opnieuw trekken we ons van $\overline y$ nog niets aan. Zo belanden we van de $Z_Y$ -wereld in de $Y$ -wereld. Zo zijn we in drie stappen van de $X$ -wereld in de $Y$ -wereld geraakt.

Je kan $b_0$ beschouwen als de correctiefactor die we achteraf nog nodig hebben omdat we in de stappen hierboven $\overline x$ en $\overline y$ niet in rekening gebracht hebben.

Als je deze logica kan volgen, moet je nooit meer twijfelen of het nu $r_{xy} \frac{s_x}{s_y}$ of $r_{xy} \frac{s_y}{s_x}$ was. Je vertrekt van $x_i$ in de $X$ -wereld, dus het zou niet erg logisch zijn om daar direct $\frac{1}{s_y}$ op los te laten. Dat heeft alleen zin in de $Y$ -wereld.

Somvariabelen

Mean Sigma — Sun, 06 Mar 2022 23:00:00 GMT

De formules voor somvariabelen zijn bij de meest intimiderende uit de hele cursus. Ze zijn zo lang dat ze moeilijk van buiten te leren zijn. Toch zal je ze gegarandeerd nodig hebben op het examen. Je moet ze niet alleen foutloos kunnen toepassen, maar dat moet ook nog eens tegen een stevig tempo gebeuren. In deze blogpost proberen we ze beter te begrijpen. We bespreken enkel de relevante formules uit beschrijvende statistiek, maar dezelfde redenering is ook van toepassing op hun tegenhangers uit de inductieve statistiek.

Somvariabelen voor gemiddelde

Voor we overgaan naar het meest uitdagende deel over (co)varianties, bekijken we kort eerst somvariabelen voor gemiddeldes. In de cursus vinden we een korte en een iets minder korte formule:

$\overline{x+y} = \overline x + \overline y$ $\overline{a_0 + \sum_k a_k x_k} = a_0 + \sum_k a_k \overline{x_k}$

Onderliggend zijn deze formules gestoeld op volgende eigenschap van het sommatieteken:

$\displaystyle \sum_i (ax_i + by_i) = a\sum_i x_i + b\sum_i y_i$

Hopelijk is het voor iedereen duidelijk dat de eerste formule gewoon een speciaal geval is van de tweede. Als je de tweede goed begrijpt, moet je de eerste dus niet meer apart van buiten leren. Om de vertaalslag te maken, stel je $a_0=0, a_1=a_2=1, x_1=x, x_2=y$ . Dan krijg je:

$\overline{a_0 + \sum_k a_k x_k} = a_0 + \sum_k a_k \overline x_k$
$\iff \overline{\sum_k a_k x_k} = \sum_k a_k \overline x_k$ ( $a_0=0$ )
$\iff \overline{a_1 x_1 + a_2 x_2} = a_1 \overline x_1 + a_2 \overline x_2$ ( $k \in \{1, 2\}$ )
$\iff \overline{x_1 + x_2} = \overline x_1 + \overline x_2$ ( $a_1=a_2=1$ )
$\iff \overline{x + y} = \overline x + \overline y$ ( $x_1=x, x_2=y$ )

Fun fact: we mogen deze formule niet toepassen op het product van twee toevalsvariabelen. Dankzij de chiastische eigenschap van de covariantie weten we echter wel dat $\overline{x \cdot y} = \overline x \cdot \overline y + s_{xy}$ .

Er zijn tussen deze twee extreme vormen nog tussenliggende versies te bedenken, bijvoorbeeld $\overline{ax + by + c} = a \overline x + b \overline y + c$ . Als er maar één toevalsvariabele $X$ in het spel is, krijgen we $\overline{ax + b} = a \overline x + b$ , wat we al eerder in de cursus gezien hadden bij univariate statistiek. Stiekem is het allemaal één pot nat.

Somvariabelen voor (co)varianties

En de pot nat zal snel nog groter worden. Voor (co)varianties geldt opnieuw dat de formules voor lineaire transformaties en bivariate sommen speciale gevallen zijn van volgende complexe formules:

$s_{a_0 + \sum_k a_k x_k}^2 = \sum_k a_k^2 s_{x_k}^2 + 2 \sum_{k, k', k < k'} a_k a_{k'} s_{x_k x_{k'}}$

$s_{a_0 + \sum_k a_k x_k \;\; b_0 + \sum_{k'} b_{k'} y_{k'}} = \sum_k \sum_{k'} a_k b_{k'} s_{x_k y_{k'}}$

De eerste heeft betrekking op varianties, en de tweede op covarianties. In beide gevallen valt $a_0$ weg want een verschuiving heeft uiteraard geen invloed op de spreiding van de gegevens. Wie een beetje heeft opgelet, weet ook dat elke variantie stiekem ook een covariantie is: $s_x^2 = s_{xx}$ . We kunnen dus $s_{a_0 + \sum_k a_k x_k}^2$ ook schrijven als $s_{a_0 + \sum_k a_k x_k\;\;a_0 + \sum_k a_k x_k}$ . Daar kunnen we dan weer de tweede formule op toepassen. Zo bekomen we een kortere versie van de eerste formule:

$s_{a_0 + \sum_k a_k x_k}^2 = \sum_k \sum_{k'} a_k a_{k'} s_{x_k x_{k'}}$

De luie (of efficiënte, het is maar hoe je het bekijkt) studenten onder ons kunnen de eerste formule dus links laten liggen, en gewoon altijd de tweede gebruiken.

Aangezien we geen twee verschillende uitkomsten kunnen hebben voor $s_{a_0 + \sum_k a_k x_k}^2$ , moet $\sum_k a_k^2 s_{x_k}^2 + 2 \sum_{k, k', k < k'} a_k a_{k'} s_{x_k x_{k'}} = \sum_k \sum_{k'} a_k a_{k'} s_{x_k x_{k'}}$ . Hoe kunnen we dat beter begrijpen? Stel bij wijze van voorbeeld dat $k$ en $k'$ beide van $1$ tot $3$ lopen, dan kunnen we onze berekening in een $3 \times 3$ tabel gieten waarbij elke cel één term uit $\sum_k \sum_{k'} a_k a_{k'} s_{x_k x_{k'}}$ voorstelt:

	$a_1 x_1$	$a_2 x_2$	$a_3 x_3$
$a_1 x_1$	$a_1^2s_{x_1}^2$	$a_2a_1s_{x_2x_1}$	$a_3a_1s_{x_3x_1}$
$a_2 x_2$	$a_1a_2s_{x_1x_2}$	$a_2^2s_{x_2}^2$	$a_3a_2s_{x_3x_2}$
$a_3 x_3$	$a_1a_3s_{x_1x_3}$	$a_2a_3s_{x_2x_3}$	$a_3^2s_{x_3}^2$

Om te beginnen focussen we op de diagonaal:

	$a_1 x_1$	$a_2 x_2$	$a_3 x_3$
$a_1 x_1$	$a_1^2s_{x_1}^2$
$a_2 x_2$		$a_2^2s_{x_2}^2$
$a_3 x_3$			$a_3^2s_{x_3}^2$

In dit geval is $k=k'$ en krijgen we termen van de vorm $a_k^2 s_{x_k}^2$ . Dat verklaart hoe we bij $\sum_k a_k^2 s_{x_k}^2$ komen in de lange formule.

Onze volgende vaststelling is dat de tabel symmetrisch opgebouwd is: rij 1 kolom 2 bevat bijvoorbeeld dezelfde waarde als rij 2 kolom 1: $a_2a_1s_{x_2x_1} = a_1a_2s_{x_1x_2}$ want $s_{xy} = s_{yx}$ . We hoeven de drie termen onder de diagonaal (waar $k>k'$ ) dus niet te berekenen, we kunnen gewoon de termen boven de diagonaal (waar $k

Drie formules voor het gemiddelde

Mean Sigma — Sat, 05 Mar 2022 23:00:00 GMT

In de vorige blogpost hebben we de klassieke formule voor het steekproefgemiddelde ontleed. De prof merkt in de cursus casually op dat je dit gemiddelde op nog twee andere manieren kan berekenen. In totaal zijn er dus drie manieren.

$\overline x = \frac{1}{n} \sum_{i=1}^n x_i$
$\overline x = \frac{1}{n} \sum_{j=1}^m x_j freq_X(x_j)$
$\overline x = \sum_{j=1}^m x_j p_X(x_j)$

Voor dezelfde steekproef geven al deze formules hetzelfde resultaat. Het moet dus mogelijk zijn om wiskundig uit één versie de twee andere versies af te leiden. Dat geeft volgende zes stellingen:

$(1) \implies (2)$
$(1) \implies (3)$
$(2) \implies (1)$
$(2) \implies (3)$
$(3) \implies (1)$
$(3) \implies (2)$

~~Zet de weblecture even stil~~ Probeer voor je verder leest zelf deze stellingen te bewijzen.

Bewijs voor $(3) \implies (2)$

$\overline x$
$= \sum_j x_j p_X(x_j)$ (gegeven)
$= \sum_j x_j \frac{1}{n} freq_X(x_j)$ (definitie $p_X$ )
$= \frac{1}{n} \sum_j x_j freq_X(x_j)$ (constante buitenbrengen)

In mensentaal: omdat de proportie de deling door $n$ impliciet al bevat, staat die in formule $(3)$ niet meer in. (Anders zou je delen door $n^2$ .) In $freq_X$ zit $\frac{1}{n}$ nog niet verwerkt, dus daar moet je de deling wel expliciet opnemen in de formule. In plaats van elke term apart te delen, tel je tot slot eerst alles op en doe je dan eenmalig de deling (distributiviteit).

Aangezien gelijkheid symmetrisch is (dus $a = b \iff b = a$ ) kunnen we aantonen dat $(2) \implies (3)$ door het bewijs van achter naar voor te lezen. We hebben dus eigenlijk $(2) \iff (3)$ bewezen.

Omdat $(2)$ en $(3)$ equivalent zijn, moet je van de overige vier stellingen nog maar twee bewijzen. Als je bijvoorbeeld $(1) \implies (2)$ kan bewijzen, kan je met één extra stap direct $(1) \implies (3)$ bewijzen.

Bewijs voor $(1) \implies (2)$

Dit is al iets moeilijker omdat we geen wiskundige formule hebben om $freq_X$ voor te stellen. Hier moet je dus op je intuitie rekenen. Een voorbeeld kan daarbij helpen. Stel dat we een steekproef voor $X$ hebben met waardes $1, 2, 2, 3$ . Als we hier formule $(1)$ op loslaten krijgen we

$\overline x = \frac{1}{n} \sum_i x_i = \frac{1+2+2+3}{4} = 2$

Om formule $(2)$ te testen moeten we eerst een frequentietabel opstellen.

$X$	$freq_X$
1	1
2	2
3	1

Dan krijgen we:

$\overline x = \frac{1}{n} \sum_j x_j freq_X(x_j) = \frac{1 \cdot 1 + 2 \cdot 2 + 3 \cdot 1}{4} = \frac{1 + 2 + 2 + 3}{4} = 2$

Zo zie je onmiddelijk dat de twee formules exact hetzelfde zeggen, maar op een subtiel verschillende manier. $(1)$ telt gewoon alle $x_i$ waardes bij elkaar op ongeacht de aanwezigheid van duplicaten, terwijl $(2)$ enkel naar de unieke $x_j$ waarden kijkt en dan via vermenigvuldiging aangeeft hoeveel keer elk getal voorkomt.

Normaal gesproken is één geslaagd voorbeeld niet genoeg om iets wiskundig te bewijzen. Dichter dan dit gaan we in dit geval helaas niet geraken met de beperkte notatiewijze die we in de cursus hanteren. Hopelijk is het toch intuitief duidelijk dat de twee berekeningen in alle gevallen equivalent zijn. Besluit: $(1) \iff (2)$ want je kan ook dit bewijs omgekeerd toepassen.

Speciaal geval: geen duplicaten

Wie wiskundig toch op zijn honger blijft zitten, kan een speciaal geval van de stelling proberen te bewijzen. Stel dat we een steekproef hebben zonder duplicaten. Dan is $\forall j: freq_X(x_j) = 1$ en $m = n$ (waarom?). Hiermee kunnen we wel aan de slag.

$\overline x$
$= \frac{1}{n} \sum_{i=1}^n x_i$ (gegeven)
$= \frac{1}{n} \sum_{i=1}^m x_i$ ( $m=n$ )
$= \frac{1}{n} \sum_{j=1}^m x_j$ (hernoem index)
$= \frac{1}{n} \sum_{j=1}^m x_j \cdot 1$ (neutraal element voor vermenigvuldiging)
$= \frac{1}{n} \sum_{j=1}^m x_j \cdot freq_X(x_j)$ (gegeven)

Het hernoemen van een index is wiskundig gezien altijd toegestaan (zolang de nieuwe letter nog geen eerdere invulling had) aangezien het niets verandert aan de inhoudelijke betekenis van de formule. In onze cursus hebben we wel specifieke conventies vastgelegd voor het gebruik van $i$ en $j$ , dus pas daar mee op.

Aangezien we nu weten dat $(1) \iff (2)$ en $(2) \iff (3)$ hebben we impliciet alle zes stellingen bewezen.

Frequentie anders bekenen

Veel studenten kennen formule $(1)$ al lang maar zijn nog niet vertrouwd met formule $(2)$ op het moment dat ze aan statistiek beginnen. De kans is echter groot dat ze die formule zonder het goed te beseffen al verschillende keren hebben toegepast op een subtiel andere manier.

Neem een voorbeeld waarbij $X$ de examenscores van een eerstejaarsstudent voorstellen.

Vak	Stp	Punten (op 20)
Functieleer	6	10
Sociale psychologie 1	6	12
Statistiek 1	8	8
Methoden 1	4	16
Sociologie	4	14

Als we de studiepunten even negeren, kunnen we het gemiddelde heel eenvoudig berekenen:

$\overline x = \frac{1}{n} \sum_i x_i = \frac{10+12+8+16+14}{5} = 12$

We kunnen bijvoorbeeld ook formule $(2)$ gebruiken, maar dat gaat uiteraard exact hetzelfde geven. Er zijn zelfs geen duplicaten, dus de berekening zal identiek zijn. Je zou echter kunnen beargumenteren dat dit gemiddelde niet representatief is, omdat het hetzelfde gewicht geeft aan kleine als aan grote vakken.

We moeten dus het gewogen gemiddelde berekenen waarbij we rekening houden met de studiepunten. Dit is trouwens ook de berekening die achterliggend in het studievoortgangsdossier gebruikt wordt om tot de totaalscore te komen. In de cursus staat dit concept niet, maar iedereen die ooit zelf het eindresultaat op zijn of haar rapport heeft nagerekend in het middelbaar weet hoe dit moet:

$\frac{6 \cdot 10 + 6 \cdot 12 + 8 \cdot 8 + 4 \cdot 16 + 4 \cdot 14}{6 + 6 + 8 + 4 + 4} = \frac{316}{28} \approx 11.2857$

Dubbelcheck: is dit een logische uitkomst? Ja, het is in de buurt van de $12$ die we eerder hadden, maar iets lager omdat onze student relatief slechter scoorde op de grotere vakken.

Vermoedelijk doet deze werkwijze je denken aan formule $(2)$ , maar we hebben net gezegd dat die formule gewoon als resultaat $12$ zou geven. Wat is hier aan de hand? In $(2)$ drukken we gewicht uit in termen van frequentie, maar je kan gewicht dus ook op andere manieren uitdrukken (zoals hier in aantal studiepunten). Om formule $(2)$ te kunnen toepassen, moeten we onze frequenties kunstmatig bijstellen door een score meerdere keren op te nemen in onze steekproef. Zo krijgen we $\underbrace{10, 10, 10, 10, 10, 10}_6, 12, \ldots, 16, \underbrace{14, 14, 14, 14}_4$ . Probeer zelf eens formule $(2)$ hierop toe te passen, dan zal je zien dat we inderdaad opnieuw $11.2857$ uitkomen.

Kort samengevat: formule $(2)$ berekent het gewogen gemiddelde waarbij het gewicht van een waarde gelijk is aan de overeenkomstige frequentie.

Conclusie

Zelfs achter de simpelste formules in de cursus zit een heel verhaal. Nu is het aan jou om de verhalen achter de andere concepten uit de cursus te achterhalen.

Fun fact

Als je een steekproef partitioneert, daarna van elk deel het gemiddelde neemt en tot slot het gewogen gemiddelde neemt van die gemiddeldes, kom je uit op het het originele gemiddelde van de hele steekproef. Kan je dat bewijzen?

Voorbeeld: $\{1, 2, 3\} \to \{\{1, 2\}, \{3\}\}$

$\overline x = \frac{1+2+3}{3} = 2$
$\overline x_1 = \frac{1+2}{2} = 1.5$
$\overline x_2 = \frac{3}{1} = 3$
$\overline{\overline x_i} = \frac{2}{3} \cdot 1.5 + \frac{1}{3} \cdot 3=2=\overline x$

Deze techniek kan je bijvoorbeeld gebruiken als je het gemiddelde van een rij getallen moet berekenen, en er stromen altijd nieuwe getallen binnen aan het einde van die rij. In plaats van dan alle getallen vanaf het begin terug op te tellen en te delen door de nieuwe $n$ , kan je verder rekenen vanaf het vorige berekende gemiddelde $\overline x_{old}$ . Voor één nieuw element $x_n$ krijg je dan volgende algemene formule:

$\overline x_{new} = \frac{n-1}{n} \overline x_{old} + \frac{1}{n} x_n$

Hoe zou de formule er uit zien als er $a$ getallen in één keer binnen stromen i.p.v. slechts één?

Dissectie van formules

Mean Sigma — Fri, 18 Feb 2022 23:00:00 GMT

Biologie

Een bioloog die een muis bestudeert, kan er eens oppervlakkig naar kijken en dan direct zijn conclusies trekken.

vier poten met elk 5 vingers
staart
zoogdier
vacht
knaagdier, grote snijtanden
twee ogen, lateraal
twee oren, grote oorschelpen
snorharen

Dat is een goede eerste stap maar er valt nog veel meer te leren over muizen, bijvoorbeeld hoe hun lichaam intern werkt. Onze bioloog gaat dan wel zijn handen moeten vuilmaken door een dissectie uit te voeren.

Statistiek

Bij wiskunde en statistiek gebeurt er vaak iets gelijkaardig, maar dan met formules in plaats van met muizen. Een student ziet een formule, probeert die hopelijk minstens oppervlakkig te begrijpen in plaats van die van buiten te leren, en gaat dan snel verder naar de volgende formule in de cursus.

Hoe moeten we ons dat praktisch voorstellen? Neem een formule die iedereen kent:

$\overline x = \frac{1}{n} \sum_i x_i$

Wat zijn onze voorlopige conclusies?

$\overline x$ is het (steekproef)gemiddelde
berekening: tel eerst alle $x$ -waarden bij elkaar op, en deel dan door $n$

Mystery solved. Of toch niet helemaal? Hoe kunnen we deze formule net als onze muis binnenstebuiten keren om er alles over te leren?

We kunnen beginnen met de vaststelling dat de formule drie componenten heeft.

$\overline x$
$\frac{1}{n}$
$\sum_i x_i$

In de originele vorm berekenen we (1) uit (2) en (3), maar andere combinaties zijn ook mogelijk. Stel dat we (3) willen berekenen uit (1) en (2).

$\sum_i x_i = n \overline x$

Dit doet je misschien denken aan de formule $\sum_i c = nc$ , maar die heeft er niets rechtstreeks mee te maken aangezien $x_i$ geen constante is binnen de som. Je kan de formule hier wel andersom toepassen met $c = \overline x$ . Dan krijgen we

$\sum_i x_i = n \overline x = \sum_i \overline x$

Hier leren we plots iets heel anders uit. Als je $n$ keer het gemiddelde neemt, kom je uit op de som van alle $x$ -waarden. Stel dat we als $x$ -waarden $2, 5, 4, 1$ gevonden hebben met als som $\sum_i x_i = 2+5+4+1 = 12$ . Dan is het gemiddelde $3$ want $4 \cdot 3 = 3+3+3+3 = 12$ . Grafisch voorgesteld:

+--+-----+----+-+
| 2|  5  |  4 |1|
+--++---++--+-+-+
| 3 | 3 | 3 | 3 |
+---+---+---+---+

Je kan je afvragen of de omgekeerde redenering $n\overline x = \sum_{i=1}^{\overline x} n = 4 \cdot 3 = 4+4+4 = 12$ met de rol van $n$ en $\overline x$ omgewisseld ook zinvol is. Vanwege commutativiteit zal je inderdaad altijd op het juiste getal uitkomen, maar hier zit niet echt een intuitieve logica achter. Als $\overline x$ een decimaal getal is, loopt het trouwens helemaal in het honderd want dan is het geen zinvolle index meer voor het sommatieteken. Dit is duidelijk geen goede manier om er naar te kijken, maar het was zeker een poging waard. Niet elke dissectie hoeft een succes te zijn.

Als laatste kunnen we ook (2) berekenen uit (1) en (3).

$\frac{1}{n} = \frac{\overline x}{\sum_i x_i} \iff n = \frac{\sum_i x_i}{\overline x}$

Toegepast op ons voorbeeld: als de som $12$ is, en het gemiddelde $3$ , kunnen we afleiden dat $n = \frac{12}{3} = 4$ .

Deze formules staan niet expliciet in de cursus, maar blijken vaak best belangrijk te zijn. Ga dus niet te snel over eender welke formule, maar probeer de vergelijking altijd vanuit meerdere perspectieven te bekijken. Voor mensen met een wiskundeknobbel is dit vanzelfsprekend. De prof gaat hier meestal dan ook niet dieper op in, maar dat maakt het niet minder belangrijk.

Nog een inzicht: eens je het gemiddelde kent, kan je de andere getallen ook voorstellen als afwijking ten opzichte daarvan. Voor $X: 2, 5, 4, 1$ krijgen we dan $3-1, 3+2, 3+1, 3-2$ of ook $X-3: -1, 2, 1, -2$ . Als we van deze nieuwe getallen het gemiddelde berekenen moeten we altijd op $0$ uitkomen aangezien $\overline{x - \overline x} = \overline x - \overline x = 0$ . (Dit is ook de reden waarom $\overline{Z_X(x) = 0}$ .) In ons geval is inderdaad $\frac{-1 + 2 + 1 - 2}{4} = 0$ . De laatste deling door $n$ is zelfs overbodig. Als de teller gelijk is aan $0$ weet je genoeg. Deze techniek is vooral nuttig als je voor een kleine dataset het gemiddelde "op het zicht" wil gokken en daarna snel wil checken of dat getal ook echt het gemiddelde is. Voor $Y: 4, 6, 8, 10$ zou je kunnen gokken dat het gemiddelde $7$ is. Aangezien $-3-1+1+3=0$ was dat inderdaad een goede gok.

Een andere belangrijke wiskundige vaardigheid is het vinden van verbanden tussen verschillende formules. Vaak moet je het niet al te ver zoeken. Voor het steekproefgemiddelde hebben we bijvoorbeeld drie verschillende formules die voor een gegeven steekproef altijd dezelfde uitkomst geven.

$\overline x = \frac{1}{n} \sum_i x_i$
$\overline x = \frac{1}{n} \sum_j x_j freq_X(x_j)$
$\overline x = \sum_j x_j p_X(x_j)$

Kan jij in eigen woorden uitleggen waarom dat zo is?

To be continued...