Statistisk usikkerhed på meningsmålinger

[Mikael Boldt]

Catinét for Ritzau
Gallup for Berlingske
Greens for Børsen
Megafon for TV2
Rambøll for Jyllandsposten
Synovate Vilstrup for Politiken

har alle i disse dage travlt med at lave meningsmålinger som man kan følge og sammenligne på avisernes hjemmesider. Derudover skrives der historier: "Socialdemokratiets nedtur forsætter", "Enhedlisten klarer spærregrænsen", "Khader på vej under spærregrænsen", "Kristendemokraterne klarer skærerne, hvis valgdeltagelsen bliver høj"... Disse historier afspejler i høj grad avisens journalistiske linje og de virker for mig som en overtolkning af meningsmålingerne.

Mit spørgsmål er: hvor stor sikkerhed kan man tillægge disse målinger, rent matematisk? så kan vi jo altid sammenligne med det aktuelle resultat på tirsdag.

Min far sagde altid: "I og med man kun spørger via telefon har man jo udelukket en befolkningsgruppe." Den gælder vel stadig for nu ringer man kun til folk på fastnet.

God debat

Mikael Boldt

[harbst]

Ja og dertil lommer at man kun får svar fra den slags folk, som overhovedet vil svare.
Af  de, der svarer, er der vel en del, som  laver fis og svarer noget helt andet, en det de lige nu regner med  at stemme.

Tilbage er de troskyldige , som svarer efter bedste evne. Det er nok de samme som bliver væk på selve valgdagen.

 

[Mikael Boldt]

På Bornholms Gymnasium forsøger eleverne i samfundsfag hver gang der er valg at lave en meningsmåling - og hvergang er der de meget langt fra noget der ligner et Bornholmsk eller et landsresultat, simpelt hen fordi de:
a) ikke spørger hvad folk stemte sidst
b) ikke holder deres resultat op imod sidste valg resultat
c) ikke regner på tallene rent matematisk/statistisk, finder spredning og usikkerhed.

Et andet eksempel er version2.dk som påstår at deres læsere dømmer VK-regeringen ude på baggrund af afkrydsninger på hjemmesiden - uden at måle hvor stor en del af deres læsere der egentlig har stemt.

Men sådan er det ikke med de professionelle meningsmålingsinstitutter. Hvor stor en usikkerhed regner de med i deres beregning, siden de kan sætte decimal på deres procent fordeling?

Eller leverer institutterne bare det som aviserne gerne vil ha?
Berlingske vil ha Venstre skal være større end Socialdemokraterne og Politiken vil ha De Radikale store og Ny Alliance marginaliseret?

nedenstående skema sammenligner Gallup og Vilstrups målinger den 11-11-07

parti	Vilstrup	Gallup
A	27,8	25,2
B	6,0	5,1
C	11,4	11,5
F	12,3	12,9
K	1,2	1,3
O	11,3	12,6
V	25,2	25,6
Y	2,9	4,3
Ø	1,9	1,8
øvr	0,0	0,0

god debat

Mikael Boldt

[Morten Jødal]

Der er naturligvis en veludviklet matematik bag meningsmålinger.
Jeg har lært en del af den, men skal det give mening at gøre rede for matematikken udover de problemer, Mikael Boldt allerede har antydet, bliver det alt for omfattende til et site som dette.
Men der er meget stor forskel på, om man spørger 500 eller 1000 vælgere (flere er meget sjældent pga prisen).
Dertil kommer, at meningsmålingsinstitutterne bagefter korrigerer for metodefejl, idet de selv er klar over, at der er systematiske fejl ved flere af de anvendte metoder.
Metoderne kan fx være:
- et fast panel (kan give en systematisk fejl, der er konstant over en periode)
- interviewere, der opsøger folk personligt (meget sikkert, men uegnet til at opfange pludselige omsving, da interviewerne typisk har en uge til at indsamle resultater)
- telefoninterviews, hvor man bliver ved til puljen er stor nok (her er det klart, at der kan være forskel på, hvilke partiers vælgere, der hyppigst lægger røret på uden at svare).

Mikael Boldts to meningsmålinger viser tydeligt, at der er endog meget store usikkerheder på målingerne. Og korrektionen for systematiske fejl er lidt "black box".
Også jeg har bemærket, at der tilsyneladende er systematiske forskelle på, hvad forskellige avisers prognoser siger - men jeg kan ikke afgøre, om det er helt tilfældigt, om aviserne bevidst vælger det institut, der giver det resultat, læserne bedst kan lide, eller - oh, rædsel! - meningsmålingsinstitutterne selv korrigerer for metodefejl efter ikke helt neutrale principper.

[B Mønnike]

Den sidste bemærkning fra Morten, får mig til at tænke på sentenser, der er tillagt Churchill....om det er sandt, at han har udtrykt sig således er et åbent spørgsmål.

1. Der findes løgn. Der findes forbandet løgn og der findes statestik.

2. Man kan ikke stole på en statestik, man ikke selv har manipuleret.

En af mine Klassekammerater fra mellemskolen, er havnet som direktør i et af de store markedsanalysefirmaer, hvilket jeg fornemmer, er den gamle sandhed, at man nok bliver forfremmet til mindst et trin over sin virkelige kompertance.

Men vi lærte også i skolen...hellere ramme ved siden af, end slet ikke at ramme.....

Menings målinger bygger på en kombination af sandsynlighedsregning og statestik.

Meningsmålings institutterne
studerer statestikkerne grundigt, for at kunne lave og indsnævre det sandsynlighedsunivers, hvorudfra de mener, at kunne beregne et sandsynligt udfald.

Det er som bekendt lettere, at slå en sekser med en terning, end to seksere med to terninger.

Når det forarbejde er gjort, går interveiwrunderne igang.

Om der er institutter, der bevidst pleaser deres kunder, kan jeg ikke tro, idet deres professionelle omdømme, ville lide skade, hvis deres resultater hver eneste gang, havde den samme tendens.

Jeg tror, at de overlader den slags gætterier til diverse spindoktorer.
Kåre R Skov er et udemærket eksempel, på et noget ensidigt væsen.
Han er bestemt ikke den eneste, men nok den tydeligste.

[Morten Jødal]

1. Der findes løgn. Der findes forbandet løgn og der findes statestik.

2. Man kan ikke stole på en statestik, man ikke selv har manipuleret.

Den første af de citerede bemærkninger om statistik er med 100% sikkerhed ældre end Churchills "citatperiode". Jeg har selv i den gamle Ingeniørdebat citeret den svenske humorist Albert Engström for den - og blev da belært om, at den kunne føres tilbage til Mark Twain.
Nr. 2 er derimod vistnok en "ægte Churchill".

Du refererer forøvrigt også i dit indlæg til "Peter-princippet": Man bliver forfremmet til man når et job, man IKKE magter. Derefter bliver man naturligvis ikke forfrememt mere - man har nået sit "inkompetenceniveau".

[harbst]

Peterprincippet stammer fra "Parkinsons lov".  Det er ikke en lov , men en bog , som hedder sådan. Mange citerer den, men få har læst den.

[Morten Jødal]

Peterprincippet stammer fra "Parkinsons lov". 

Det mener jeg faktisk ikke du har ret i.
Peter-princippet skyldes Dr. Lawrence J. Peter, medens Parkinsons lov kan føres tilbage til Cyril Northcote Parkinson, oprindeligt som humoristisk essay i The Economist, senere udvidet til en bog.
http://da.wikipedia.org/wiki/Peter-princippet
http://en.wikipedia.org/wiki/Parkinson's_law
Begge bøger kan købes på engelsk hos Amazion.com. "The Peter Principle" koster $21,86, medens "Parkinson's Law" kan fås for blot $17,13.
Jeg har ikke læst nogen af dem - men kender principperne fra de populære kortfattede referater. Og de er altså forskellige.

[Mikael Boldt]

jeg har startet en ny tråd hvor disse "principper" kan diskuteres videre,

Bare for at guldkornene ikke forsvinder i valgmørket 
Se her:Management Guldkorn

God Debat

Mikael Boldt