Meinungsumfragen und Hintergründe
BERLIN In den letzten Jahren hat es sich eingebürgert, Umfragen zu gesellschaftlich diskutierten Themen häufig, schnell und einfach im Web zu erheben, auszuwerten und zu veröffentlichen. Die Auswerteverfahren sind dabei in den meisten Fällen "proprietär", was heißt, sie gehören einer Firma und sind als Geschäftsgeheimnis nicht offengelegt.
Was man alles damit machen kann, ist von uns an einem sehr interessanten Beispiel untersucht worden: der Civey-Umfrage zur Vergesellschaftung von Immobilienkonzernen. Das Resultat, dass innerhalb der Fehlerquote eine leichte Mehrheit der Befragtengegen eine Vergesellschaftung gestimmt hatten, erschien unserer Erfahrung nach nur bedingt glaubhaft - hat man diese Fragen etwa nur Immobilienbesitzern gestellt (nein) - aber warum und wie kommt man zu diesem Ergebnis?
Umfrage zu Enteignung von großen Immobilienunternehmen
Dubiose Umfrageergebnisse oder nicht? Unsere Untersuchungsergebnisse
Hier zuerst die Daten, entnommen der Webseite der Firma, und dann die Erklärung.
Frage: Befürworten Sie die Idee, große Immobilienkonzerne zu enteignen und in Gemeineigentum zu überführen? |
Zielgebiet: Berlin |
Quelle: |
Antwort: | „Repräsentativ“ | „Repräsentativ“ | „Rohdaten“ | „Rohdaten“ | Differenz der Stimmen | |||||
Ergebnis in % | Ergebnis in Stimmen | Ergebnis in % | Ergebnis in Stimmen | Rohdaten – Repräsentativ | ||||||
(= ignorierte Abstimmungen) | ||||||||||
Ja, auf jeden Fall | 29,50 % | 295,59 | 42,60 % | 640,704 | 345,114 | |||||
Eher ja | 16,50 % | 165,33 | 12,20 % | 183,488 | 18,158 | |||||
Unentschieden | 7,90 % | 79,158 | 4,70 % | 70,688 | -8,47 | |||||
Eher nein | 14,70 % | 147,294 | 12,00 % | 180,48 | 33,186 | |||||
Nein, auf keinen Fall | 31,40 % | 314,628 | 28,50 % | 428,64 | 114,012 | |||||
Anzahl gesamt | 1002 | 1501 | ||||||||
Umfragedaten | ||||||||||
Stichprobengröße | 1002 | |||||||||
Statistischer Fehler | 5,60 % | |||||||||
Teilnehmer | 1504 | |||||||||
Zielgruppe | Berlin | |||||||||
Befragungszeitraum | 18.10.19 - 22.10.19 | |||||||||
Abgeschlossen | Umfrage beendet |
Erläuterung: Es wurden insgesamt 1504 Personen befragt, die zum Umfrageergebnis beitrugen. Deren Abstimmungen ("Rohdaten" genannt) wurden laut Webseite durch ausgefeilte modernste Algorithmen (eben die firmeneigenen geheimen...) verarbeitet und daraus eine "repräsentative Stichprobe" aus nur noch 1002 Abstimmungen ausgewählt.
Bemerkung: Die publizierten gerundeten Prozentzahlen mussten wir zurückrechnen auf die Stimmenzahl, durch die Rundungsfehler sind jetzt keine ganzzahligen Stimmenzahle mehr sichtbar, dies kann man jedoch getrost ignorieren (die Summe stimmt jedenfalls)
Angezeigt wird jedem, der die Seite aufruft, zuerst die Stichprobe. Klein rechts unten wird ein kaum als Umschalter kennbarer unscheinbar kleiner Knopf eingeblendet, mit dem man von "Stichprobe" auf "Rohdaten" umschalten kann.
Und diese Umschaltung ändert nun alles: Plötzlich sind weit mehr Abstimmungen für die Enteignung sichtbar!
Interessant ist der Unterschied zwischen den Ergebnissen aus Rohdaten und Stichprobe. So hat man aus den Rohdaten mehr als die Hälfte der "Ja"-Stimmen entfernt, jedoch nur knapp ein Viertel der Stimmen für "Nein" und ein Zehntel der Stimmen aus den anderen Kategorien (sichtbar in der äußersten rechten Spalte der Tabelle). Dies mag man einem Algorithmus zuschreiben, der nach unbekannten Kriterien (!) ungültige Stimmen verwirft. Dieser Algorithmus muss dann aber als "sehr merkwürdig selektiv" deklariert werden...
Was jedoch sehr bedenklich stimmen sollte, ist die Feststellung, dass dieser Algorithmus offenbar Stimmen aus dem Nichts erzeugen kann, indem er für die Rubrik Unentschieden aus rund 71 abgegebenen Stimmen in den Rohdaten jetzt ca. 79 Stimmen in der Stichprobe produziert.
Und dies darf muss man wohl als eigentlich ausgeschlossen bezeichnen.
Mal ganz abgesehen davon, dass nirgends eine Warnung erscheint, wenn Stichprobe und Rohdaten so weit voneinander abweichen, ist auch nur bei sehr gutem Augenmerk die Umschaltmöglichkeit erkennbar. Die Art der Manipulation wird sowieso erst beim Nachrechnen deutlich.
Allen Nutzern von Umfrageergebnissen dieser Art wäre also anzuraten, sehr stark eine Manipulationsmöglichkeit zu welchen Zwecken auch immer sehr gründlich und mit Fachkenntnis zu hinterfragen. Dies geht vor allem an Medien, die sehr stark komprimieren und verkürzen (müssen? Wirklich?) und dies dann publizieren.
NACHBEMERKUNG: Inzwischen kam ein Hinweis auf einen Zeitungsartikel, der über diese Umfrage berichtet (vielen Dank dafür!), aber leider auch nicht auf Details des Verfahrens eingeht:
https://www.neues-deutschland.de/artikel/1127798.enteignung-sozialisierung-bleibt-populaer.html