Geratene Gewichte kosten zehnmal mehr als Quantisierung
Lange Zeit beschrieben wir einen Defekt als das ernste Problem unserer Namenshäufigkeitsdaten: Gewichte, die in ein einzelnes Byte gepresst wurden, sodass die Hälfte einer Liste am Minimum gleichauf landete. Wir haben ihn dokumentiert, wir haben ihn behoben, und die Behebung war real — die Geschichte steht in Die Hälfte Ihrer gewichteten Liste ist nicht gewichtet.
Dann haben wir gemessen, was dieser Defekt wert gewesen war. Die totale Variationsdistanz zwischen der defekten schwedischen Vornamenliste und derselben Liste mit echten Zählungen betrug 2,45 % für Frauen und 2,25 % für Männer.
Das ist eine kleine Zahl, und wir hatten den Mechanismus dahinter als das Hauptproblem der Daten behandelt. Also stellten wir endlich die Frage, für die wir nie eine Zahl gehabt hatten: Wie groß ist die Distanz für einen Korpus, dessen Gewichte nie Zählungen waren — bei dem sich jemand mit einer Namensliste hinsetzte und jedem einen Wert zwischen 1 und 100 aus Wissen, Intuition und ein paar veröffentlichten Top-20-Tabellen zuwies?
Für finnische Vornamen, gemessen am nationalen Bevölkerungsregister: 20,96 % für Männer, 28,50 % für Frauen. Für drei schweizerische Nachnamenkorpora, gemessen am Bundesregister: 22,05 %, 35,67 % und 25,60 %.
Ungefähr das Zehnfache des Defekts, den wir benannt hatten. Im selben Verzeichnis, unter demselben Validator, in Dateien, die von außen ununterscheidbar sind.
Zwei Defekte, die dieselbe Datei erzeugen
Beide Fehlermodi liefern eine zweispaltige TSV aus Namen und kleinen positiven ganzen Zahlen, absteigend sortiert. Jede strukturelle Prüfung besteht bei beiden. Aber sie sind keine Varianten eines Problems; sie sind in nahezu jeder Eigenschaft, die zählt, Gegensätze.
| Eigenschaft | Quantisierte echte Zählungen | Kuratierte Modellierung |
|---|---|---|
| Woher die Zahlen stammen | gemessen, dann heruntergeteilt | von Hand aus Einschätzung zugewiesen |
| Maximalgewicht | eine Behälterkante: 255, 127 | die runde Zahl eines Menschen: 100, 70, 50, 40 |
| Rangordnung | exakt; die Transformation ist monoton | annähernd; Inversionen durchgehend |
| Erzeugter Fehler | Gleichstände, nur im Schwanz | falsche Werte überall, Kopf inbegriffen |
| Distanz zur Wahrheit | 2,45 % (gemessen) | 16–36 % (gemessen) |
| Die Behebung | die Spalte verbreitern | eine Quelle beschaffen — oder eingestehen, dass es keine gibt |
Das verräterische Zeichen ist die Obergrenze, und sie ist fast peinlich leicht zu lesen. Ein Maximum von genau 255 bedeutet, dass die Zahl an die Kante eines Bytes stieß. Ein Maximum von genau 100 oder 44 oder 40 bedeutet, dass die Zahl an die Kante eines Menschen stieß. Über die modellierten Korpora auf der Platte hinweg waren die Obergrenzen, die wir zählten, 100 (115 Dateien), 40 (34), 70 (6), 35 (6), 44 (5), 45 (4), 30 (4), 55, 46, 28, 24, 20 (je 2), 75 und 42 (je 1). Keine einzige davon ist eine Zweierpotenz minus eins, und jede von ihnen ist eine Zahl, die ein Mensch wählen würde, während er eine Liste in Stufen einteilt.
Das zweite verräterische Zeichen ist die Auflösung. Im schweizerisch-französischen Nachnamenkorpus trugen 831 Zeilen 23 verschiedene Gewichte — 2,8 % der Zeilen. Die deutsch-schweizerische Liste: 710 Zeilen, 22 verschiedene Werte. Die italienisch-schweizerische Liste: 489 Zeilen, 16 Werte, wobei 48,7 % aller Zeilen auf Gewicht 1 sitzen. Das sind keine Messungen, die sich zufällig wiederholen. Es sind Etiketten: sehr häufig, häufig, schon gesehen, selten.
Was die zwei Defekte tatsächlich kosten
Jede Zahl in dieser Tabelle ist eine totale Variationsdistanz zwischen den Gewichten, die im Korpus standen, und den echten Zählungen, die das jeweilige nationale Register veröffentlicht, berechnet über die Menge der Namen, die beide gemeinsam haben. Die beiden schwedischen Zeilen sind der Byte-Defekt. Alles Übrige ist kuratierte Modellierung.
| Korpus | Gewichte stammen aus | Verglichen mit | Distanz |
|---|---|---|---|
| Schwedische Vornamen ♀ | Zählungen, auf 1–255 gekürzt | Statistics-Sweden-Zählungen | 2,45 % |
| Schwedische Vornamen ♂ | Zählungen, auf 1–255 gekürzt | Statistics-Sweden-Zählungen | 2,25 % |
| Finnische Nachnamen | kuratiert, Skala 7–100 | DVV-Register | 15,97 % |
| Finnische Vornamen ♂ | kuratiert, Skala 2–100 | DVV-Register | 20,96 % |
| Deutsch-schweizerische Nachnamen | kuratiert, Skala 1–40 | Bundesregister | 22,05 % |
| Italienisch-schweizerische Nachnamen | kuratiert, Skala 1–50 | Bundesregister | 25,60 % |
| Finnische Vornamen ♀ | kuratiert, Skala 2–100 | DVV-Register | 28,50 % |
| Französisch-schweizerische Nachnamen | kuratiert, Skala 1–30 | Bundesregister | 35,67 % |
Die Ordnung in dieser Tabelle ist der ganze Artikel. Der Defekt mit einem Namen, einer Dokumentation und einer Behebung steht ganz oben als das am wenigsten schädliche Ding der Menge. Der Defekt, den niemand benannt hatte — weil er kein Bug war, sondern einfach die Art, wie die Daten immer schon gemacht worden waren —, besetzt den Rest der Bandbreite in sechs- bis fünfzehnfacher Größe.
Es gibt einen arithmetischen Grund, und es ist dasselbe Argument wie im Byte-Artikel, nur mit schlimmeren Zahlen. Eine gewichtete Liste muss einen dynamischen Bereich abbilden: das Verhältnis zwischen dem häufigsten und dem seltensten Eintrag, den sie enthält. Für die 295 finnischen männlichen Vornamen im Korpus reichen die Registerzählungen für genau diese Namen von 5 bis 43.107 — eine Spanne von ×8.621. Die kuratierte Skala reichte von 2 bis 100: eine Spanne von ×50. Der Byte-Defekt waren 2.679 benötigte gegen 255 verfügbare. Dies sind 8.621 benötigte gegen 50 verfügbare, und anders als beim Byte war die Obergrenze durch nichts erzwungen.
Die Negativkontrolle: Wie viel davon ist die Skala selbst?
Die Zahl 20,96 % vermischt zwei Fehler mit völlig unterschiedlichen Gegenmitteln:
- Ordnungsfehler — der Kurator brachte die Namen in die falsche Reihenfolge.
- Formfehler — selbst in der richtigen Reihenfolge kann eine 1–100-Stufenskala nicht die Kurve erzeugen, die echte Häufigkeiten haben.
Wäre der Schaden überwiegend Ordnungsfehler, würde eine besser kuratierte Liste ihn beheben. Wäre er überwiegend Formfehler, würde kein Maß an Kuratierung ihn beheben, und das einzige Gegenmittel sind Zählungen.
Also bauten wir eine Negativkontrolle. Nimm eine Sprachregion, für die wir echte Registerzählungen halten — Norwegen, Schweden, die Vereinigten Staaten, Spanien, Frankreich. Kürze sie auf die Top N. Nimm dann die Multimenge der Gewichte aus einem echten kuratierten Korpus derselben Größe und weise sie strikt nach Rang zu: das größte Gewicht des Kurators dem tatsächlich häufigsten Namen, das zweite dem zweiten, und so weiter bis ganz nach unten.
Diese Konstruktion gibt dem Kurator eine perfekte Note bei der Ordnung. Jeder Name steht genau am richtigen Platz. Das Einzige, was noch falsch ist, ist die Form der Zahlen. Welche Distanz auch immer überlebt, ist der Preis der Skala allein.
Dreißig Paare — sechs Referenzverteilungen gegen fünf Spender-Formen:
| Referenz (echte Zählungen) | Form: Deutschland ♂ | Form: Dänemark ♀ | Form: Japan ♂ | Form: Kroatien ♀ | Form: Rumänien ♂ |
|---|---|---|---|---|---|
| Norwegen ♀ | 9,69 % | 12,39 % | 15,38 % | 8,96 % | 15,48 % |
| Norwegen ♂ | 6,98 % | 9,55 % | 12,37 % | 7,80 % | 12,30 % |
| Schweden ♀ | 7,84 % | 10,35 % | 13,64 % | 8,26 % | 13,07 % |
| Vereinigte Staaten ♀ | 12,44 % | 14,93 % | 18,57 % | 12,66 % | 17,24 % |
| Spanien ♂ | 12,29 % | 11,76 % | 6,17 % | 14,36 % | 6,81 % |
| Frankreich ♀ | 7,20 % | 9,61 % | 12,80 % | 6,77 % | 12,92 % |
Median 12,30 %, Spanne 6,17 % bis 18,57 %.
Das ist der Befund. Von den 21–28 %, die wir an echten kuratierten Korpora gemessen haben, ist etwa die Hälfte die Form einer 1–100-Stufenskala, und sie bleibt bestehen, selbst wenn die Ordnung fehlerfrei ist. Ein besserer Kurator entfernt sie nicht. Eine längere kuratierte Liste entfernt sie nicht. Nur Zählungen entfernen sie.
Die Matrix zeigt auch, warum der Rest variiert. Spaniens männliche Vornamen sind am Kopf ungewöhnlich flach, sodass die flachen Spender-Formen (Japan, Rumänien) am besten passen und die steilen am schlechtesten; die amerikanische Frauenliste ist die steilste Referenz der Menge, und jede Spender-Form schneidet bei ihr schlecht ab. Formfehler ist keine konstante Steuer — er ist eine Fehlanpassung zwischen zwei Kurven, und er wächst mit dem Ausmaß der Schieflage der echten Verteilung.
Die Vorbehalte, da sie für jeden zählen, der dies wiederholt. Die Referenzverteilung ist auf die Top N gekürzt und über diesen Kopf renormiert, sodass dies allein den Formfehler misst und das weiter unten besprochene Tiefenproblem bewusst ausschließt. Die Spender-Formen sind selbst kuratierte Korpora mit ihren eigenen Obergrenzen (100, 44, 40), sodass die Kontrolle die Familie der Formen misst, die wir tatsächlich ausliefern, nicht einen theoretischen schlimmsten Fall. Und dreißig Paare ergeben einen Median, kein Konfidenzintervall.
Ein realer Fall mit perfektem Kopf und 16 % Fehler
Die sauberste Demonstration ist gar nicht die synthetische Kontrolle. Es ist der finnische Nachnamenkorpus.
Alle 618 Namen darin wurden im DVV-Register gefunden, exakt, ohne Schreibweisen-Abweichungen. Seine Top 10 war Korhonen Virtanen Mäkinen Nieminen Mäkelä Hämäläinen Laine Heikkinen Koskinen Järvinen — und die Top 10 des Registers waren dieselben zehn Namen in derselben Reihenfolge. Zehn von zehn, in Reihenfolge, keine Inversionen.
Die Distanz zwischen den kuratierten Gewichten und den echten Zählungen betrug 15,97 %.
Nichts war falsch an der Liste, nichts war falsch an der Kopf-Reihenfolge, und eine von sechs Zeilen der Wahrscheinlichkeitsmasse war trotzdem am falschen Ort, weil eine Skala, die von 7 bis 100 reicht, Zählungen darstellen sollte, die von 59 bis 21.209 reichen.
Die Ordnung war ebenfalls falsch
Bei Vornamen war, anders als bei Nachnamen, die kuratierte Ordnung wirklich schlecht — was klar gesagt werden sollte, denn es ist der Teil, den ein sorgfältiger Mensch im Prinzip hätte verbessern können.
Gegen die Statistik der ersten Vornamen des Registers erzielte der Korpus eine Spearman-Rangkorrelation von +0,430 für Männer und +0,618 für Frauen. Von den Top-10-Männernamen des Korpus erschienen 7 in der Top 10 des Registers; bei den Frauen 2. Erweitert man das Fenster, verbessert es sich: 82 unserer Top-100-Männernamen waren in der Top 100 des Registers, und 71 von 100 bei den Frauen. Der Kopf war dort, wo die Kuratierung am wenigsten zuverlässig war — genau dort, wo eine Häufigkeitsliste gelesen wird.
Ein methodischer Fallstrick verdient eine eigene Zeile, denn er verschob unsere Schlagzeilenzahl um acht Punkte. Das finnische Register veröffentlicht mehrere Tabellen: nur erster Vorname und alle Vornamen zusammengezählt. Finnen tragen üblicherweise zwei oder drei Vornamen, und die beiden Tabellen erzeugen unterschiedliche Rangfolgen — Juhani ist der häufigste männliche erste Vorname, rangiert aber unter allen Namen anders, und die eigene Top 10 des Registers unterscheidet sich zwischen den Blättern. Gemessen an allen Vornamen erzielt derselbe Korpus 29,24 % für Männer und 22,16 % für Frauen; gemessen an ersten Vornamen 20,96 % und 28,50 %. Der männliche und der weibliche Fehler tauschen die Plätze rein aufgrund der Wahl des Vergleichswerts. Wir berichten die Zahlen für erste Vornamen, weil der Korpus ein Vornamenkorpus ist, aber jeder, der Häufigkeitsdaten gegen eine offizielle Quelle prüft, sollte feststellen, welche Population die Quelle zählt, bevor er eine Distanz zitiert.
Wie viel davon überhaupt behebbar ist
Zum Zeitpunkt der Prüfung enthielt die Sammlung 128 Namenskorpora über 64 Sprachregionen. Zwanzig davon trugen bereits echte Zählungen. Die anderen 108 nicht, und die ehrliche Frage ist nicht „wie schlecht sind sie", sondern „wie viele von ihnen lassen sich reparieren".
Also klassifizierten wir alle 108 nach dem Einzigen, das die Antwort bestimmt: ob eine Quelle mit Zählungen existiert.
| Klasse | Bedeutung | Korpora | Anteil |
|---|---|---|---|
| A | Eine Quelle mit echten Zählungen existiert und ist nutzbar | 21 | 19 % |
| A~, A? | Teilweise oder unverifizierte Quelle — eine Region, eine Kohorte, eine Behauptung | 7 | 6 % |
| B | Eine Quelle existiert, veröffentlicht aber nur eine Obergrenze — eine Top-N | 23 | 21 % |
| C | Keine Quelle existiert, aus der man bauen könnte | 55 | 51 % |
| X | Die Bedingungen der einzigen Quelle schließen sie aus | 2 | 2 % |
Klasse A ist eine Arbeitswarteschlange: Die nationalen Statistikämter in Finnland, der Schweiz, Belgien, Slowenien, Kroatien, Polen, Lettland, Island und Brasilien veröffentlichen Namenszählungen, und zwischen diesen Dateien und dem Korpus steht nichts außer der Arbeit, sie einzulesen.
Klasse B ist eine Obergrenze in der Quelle, nicht bei uns. Ungarns Innenministerium veröffentlicht die Top 100 der Nachnamen und nicht mehr. Chinas Ministerium für öffentliche Sicherheit veröffentlicht die Top 100 mit Prozentsätzen. Portugals Register veröffentlicht die Top 20 der Vornamen. Man kann den Kopf dieser Listen reparieren und nur den Kopf; unterhalb von Rang 100 gibt es nichts, womit man ihn reparieren könnte.
Klasse C ist nicht „in Ordnung"
Das ist der Punkt, der nicht verwischt werden darf, und er ist der Grund, warum die Taxonomie überhaupt im Artikel steht.
Klasse C bedeutet nicht, dass die Daten akzeptabel sind. Sie bedeutet, dass der Fehler groß ist und es nichts gibt, womit man ihn beheben könnte. Das sind völlig verschiedene Aussagen, und sie zusammenzuwerfen ist der verlockendste Fehler in einer Datenprüfung, denn eine Kategorie, die keine Aufgaben erzeugen kann, hört still auf, Aufmerksamkeit zu erzeugen.
Die Unterscheidung ist die zwischen einer Schuld und einem Limit:
- Eine Schuld ist ein Defekt mit bekanntem Gegenmittel, das noch nicht bezahlt wurde. Klasse A ist Schuld. Sie gehört auf einen Plan mit einem Datum.
- Ein Limit ist ein Defekt ohne verfügbares Gegenmittel. Klasse B und C sind Limits. Sie gehören in die Dokumentation, offen benannt, neben die Daten, die sie betreffen.
Einige Beispiele aus Klasse B und C, damit „keine Quelle existiert" nicht als „wir haben nicht nachgesehen" gelesen wird:
- Slowakei — das Bevölkerungsregister ist per Gesetz geschlossen, und das Statistikamt erstellt keine Namensstatistiken.
- Tschechien — das Innenministerium stellte 2017 aus Datenschutzgründen die Veröffentlichung von Namenshäufigkeiten ein. Was überlebt, ist regional und mehrere Jahre älter.
- Ungarn — die Veröffentlichung ist auf die Top 100 gedeckelt.
- Deutschland — es gibt überhaupt kein nationales Nachnamenregister, und die Gesellschaft, die Vornamenstatistiken veröffentlicht, gibt nur eine Top 10 pro Jahr kostenlos heraus.
- Italien — das Statistikamt führt kein Nachnamenhäufigkeitsregister, was wir bestätigt statt angenommen haben.
- Serbien — der Zensus von 2022 veröffentlichte eine Top 10 und nichts darunter.
Serbien ist das schlimmste Loch der Menge und zeigt, was eine Klasse-B-Obergrenze mit einem Korpus darunter macht. Die serbische Nachnamenliste enthält 958 Zeilen auf einer Skala mit Obergrenze 70, und 748 davon — 78,1 % — sitzen auf dem Mindestgewicht. Drei Viertel der Datei sind ein einziger undifferenzierter Block, und die veröffentlichte Quelle kann genau zehn Namen unterscheiden.
Es steht nicht allein. Italienische Nachnamen: 67,9 % der Zeilen auf dem Boden. Neuseeländische Nachnamen: 58,2 %. Deutsche Nachnamen: 57,4 %. In jedem Fall ist die Flachheit keine Modellierungsentscheidung; sie ist die Form des verfügbaren Wissens.
Zwei Korpora fallen in Klasse X, wo die einzige existierende Quelle Bedingungen trägt, die sie für diesen Zweck unbrauchbar machen. Das Gegenmittel dort ist keine Reparatur. Es ist die Entfernung, und es anders zu nennen hieße vorzugeben, ein Limit sei eine Schuld.
Was die Reparaturen bewiesen — einschließlich des Teils, der nichts beweist
Vier Sprachregionen wurden in einer Sitzung repariert, indem kuratierte Gewichte durch Registerzählungen auf derselben Namensmenge ersetzt wurden.
| Korpus | Vorher | Nachher |
|---|---|---|
| Finnische Vornamen ♂ | 20,96 % | 0 % |
| Finnische Vornamen ♀ | 28,50 % | 0 % |
| Finnische Nachnamen | 15,97 % | 0 % |
| Deutsch-schweizerische Nachnamen | 22,05 % | 0,0001 % |
| Französisch-schweizerische Nachnamen | 35,67 % | 0,0002 % |
| Italienisch-schweizerische Nachnamen | 25,60 % | 0,0133 % |
Diese Nullen sind eine Tautologie, keine Leistung. Setzt man die Gewichte gleich den Zählungen, muss die Distanz zwischen den Gewichten und den Zählungen zwangsläufig null sein; der einzige Grund, warum die schweizerischen Zeilen nicht exakt null sind, ist, dass eine Handvoll Namen über Schreibweisen-Varianten zugeordnet werden mussten, bevor die Werte kopiert werden konnten. Eine Vorher/Nachher-Tabelle, berechnet auf der gemeinsamen Menge, misst, dass die Kopie gelang. Sie misst nicht, dass der Korpus nun korrekt ist, und sie zu zitieren, als täte sie es, ist eine der einfachsten Arten, ein ungelöstes Problem in eine grüne Zahl umzuwaschen.
Die Messung, die etwas bedeutet, ist gegen das volle Register, mit jedem Namen, den das Register kennt und der Korpus nicht, eingetragen mit Masse null. Dort hat die Distanz einen harten Boden: Sie kann nicht unter 1 − Abdeckung fallen, wobei die Abdeckung der Anteil der Bevölkerung ist, der von den Namen getragen wird, die der Korpus tatsächlich enthält. Wir saßen genau auf diesem Boden:
| Korpus | Gehaltene Namen | Anteil abgedeckter Träger | Distanz zum vollen Register | Boden (1 − Abdeckung) |
|---|---|---|---|---|
| Finnische Vornamen ♂ | 295 | 78,7 % | 21,31 % | 21,31 % |
| Finnische Vornamen ♀ | 290 | 71,4 % | 28,61 % | 28,61 % |
| Finnische Nachnamen | 618 | 42,0 % | 58,03 % | 58,03 % |
| Deutsch-schweizerische Nachnamen | 710 | 24,9 % | — | 75,06 % |
| Französisch-schweizerische Nachnamen | 831 | 20,3 % | — | 79,75 % |
Auf dem Boden zu sitzen ist die richtige Lesart einer erfolgreichen Gewichtsreparatur: Der Gewichtsdefekt ist erschöpft, und jede verbleibende Einheit an Distanz ist ein anderes Problem — Tiefe. Ein Korpus von 618 finnischen Nachnamen, der 42 % der Bevölkerung abdeckt, ist nicht mehr falsch gewichtet; er ist zu kurz. Das sind getrennte Defekte mit getrennten Behebungen, und der Wert der Messung gegen das volle Register liegt darin, dass sie sich weigert, den einen im anderen verstecken zu lassen.
Es lohnt sich auch zu sagen, in welche Richtung die Tiefenzahl schneidet. Um eine plausible Person zu generieren, ist es völlig vernünftig, die Namen von 79 % der finnischen Männer zu halten — die fehlenden 21 % sind der lange Schwanz, und aus dem Kopf zu ziehen ist genau das, was man will. Um zu behaupten, der Korpus repräsentiere das Register, sind 42 % Abdeckung der Nachnamen die Zahl, die zählt. Dieselbe Datei ist angemessen oder unangemessen, je nach der über sie erhobenen Behauptung, weshalb die Behauptung in die Dokumentation neben die Datei gehört.
Die Listen waren gut gewählt; nur die Zahlen waren erfunden
Das Nützlichste, was die Reparatur hervorbrachte, war nicht eine kleinere Distanz. Es war ein Urteil über die Kuratoren.
Als jeder Korpus mit seinem Register verknüpft wurde, zählten wir, von wie vielen seiner Namen das Register nie gehört hatte:
| Korpus | Namen im Korpus | Im Register gefunden | Nicht gefunden |
|---|---|---|---|
| Finnische Vornamen ♂ | 295 | 295 | 0 |
| Finnische Vornamen ♀ | 290 | 290 | 0 |
| Finnische Nachnamen | 618 | 618 | 0 |
| Deutsch-schweizerische Nachnamen | 710 | 707 | 3 |
| Französisch-schweizerische Nachnamen | 831 | 827 | 4 |
| Italienisch-schweizerische Nachnamen | 489 | 480 | 9 |
Drei der finnischen Korpora passten perfekt. Die schweizerischen Fehltreffer summieren sich auf sechzehn von 2.030 Zeilen, und fünf davon waren überhaupt keine Datenprobleme: Doerig und Duebendorfer waren ASCII-Erweiterungen von Dörig und Dübendorfer, und Étienne, Crétegny und Émery sind im Register ohne ihre Akzente hinterlegt. Diese fünf lösten sich in dem Moment zu Registerzeilen auf, in dem die Schreibweisen normalisiert wurden — dieselbe Fehlerklasse wie die Suchen, beschrieben in Die Prüfung, die genau dort blind wird, wo Sie sie brauchen, wo ein Name für fehlend erklärt wurde, weil ein Diakritikum nicht übereinstimmte. Sechs weitere existieren in der Schweiz, aber in einer anderen Sprachregion, was eine Frage danach ist, wo der Korpus seine Grenze zieht, und nicht danach, ob der Name echt ist. Bleiben fünf Namen unter 2.030, die das nationale Register überhaupt nicht enthält.
Die Zusammensetzung dieser handgebauten Listen war also gut. Wer auch immer sie zusammenstellte, wusste, welche Namen zu Finnland gehören und welche Nachnamen zur italienischsprachigen Schweiz, und sie lagen im Wesentlichen jedes Mal richtig. Was sie unmöglich wissen konnten, war, wie häufig jeder einzelne ist, denn damals hatte niemand ihnen das Register vorgelegt.
Das ist der Satz, den man aus alldem mitnehmen sollte: kuratiert bedeutet nicht erfunden. Es bedeutet, dass die Zugehörigkeit Wissen ist und die Gewichte Vermutungen sind, und diese beiden Hälften derselben Datei verdienen völlig unterschiedliche Vertrauensstufen. Unser eigener Fehler war, die Datei als ein einziges Objekt mit einer einzigen Qualität zu behandeln — und dann jahrelang die Hälfte zu verbessern, die bereits korrekt war.
Was wir jetzt zuerst prüfen würden
- Lies das Maximalgewicht vor allem anderen. 255 und 127 sind Behälter; 100, 70, 50, 44 und 40 sind Menschen. Die Obergrenze sagt Ihnen in etwa einer Sekunde, welchen der beiden Defekte Sie haben.
- Teile verschiedene Gewichte durch Zeilen. 23 verschiedene Werte über 831 Zeilen sind keine Messung von irgendetwas. Unter ein paar Prozent bedeutet, dass die Spalte Kategorien enthält.
- Miss gegen eine Quelle, nicht gegen dich selbst. Jede interne Konsistenzprüfung, die wir besaßen, bestand bei Dateien, die 20–35 % von der Wahrheit entfernt waren. Die Distanz zu einem externen Register ist die einzige Zahl, die sich bewegt, wenn die Daten falsch sind.
- Trenne Ordnungsfehler von Formfehler, bevor du ein Gegenmittel wählst. Führe die Negativkontrolle durch: Zwinge die kuratierte Form durch perfekten Rang auf echte Zählungen. Überlebt der Großteil der Distanz das, wird bessere Kuratierung dich nicht retten und nur Zählungen werden es.
- Berichte nie eine Vorher/Nachher-Distanz allein auf der gemeinsamen Menge. Sie ist konstruktionsbedingt eine Tautologie. Berichte die Distanz zur vollen Quelle, wo der Boden
1 − Abdeckungist, und sage, welche der beiden du zitierst. - Klassifiziere jeden Korpus danach, ob eine Quelle existiert, nicht danach, wie schlecht er aussieht. Die Zahl, die du zur Planung brauchst, ist, wie viele Defekte bezahlbar sind, nicht wie viele existieren.
- Schreibe die Limits dorthin, wo die Daten sind, nicht dorthin, wo die Tickets sind. Ein Defekt ohne Gegenmittel muss trotzdem deklariert werden; sonst wird das Einzige, was kommuniziert wird, die Teilmenge, die zufällig behebbar war.
- Wenn eine Reparatur auf einem harten Boden landet, sage, woraus der Boden besteht. Unserer ist Tiefe, nicht Gewichtung, und die beiden wären in einer einzigen Zusammenfassungszahl ununterscheidbar gewesen.
Der Byte-Defekt war 2,45 % wert, und wir fanden ihn, weil er einen Fingerabdruck hinterließ — eine Obergrenze von genau 255 und die halbe Datei gleichauf am Boden. Der Kuratierten-Gewichts-Defekt war das Zehnfache davon wert und hinterließ überhaupt keinen Fingerabdruck, denn eine handzugewiesene Skala sieht genau wie eine wohlerzogene Messung aus, bis man sie neben eine stellt.
Zum Byte-Defekt selbst und zur Diagnostik, die ihn fängt, siehe Die Hälfte Ihrer gewichteten Liste ist nicht gewichtet. Zur allgemeinen Methode, einen Korpus mit seiner Quelle zu vergleichen, siehe Wie man Namenshäufigkeitsdaten prüft. Wie der Kopf einer echten Häufigkeitsverteilung aussieht, wenn er intakt ist, siehe Nachnamen-Konzentrationskurven. Zur anderen Art von Wert, der zwei Dinge zugleich bedeutet, siehe Wenn Null zwei verschiedene Dinge bedeutet.
Daten mit Stand 2026-07-22
Alle Zahlen wurden am 22. Juli 2026 gemessen, gegen die Korpusdateien auf der Platte, gegen Sicherungen derselben Dateien vor der Änderung und gegen die unten genannten Registerauszüge. Die hier zitierten Distanzen wurden für diesen Artikel neu abgeleitet statt aus dem Änderungsprotokoll kopiert; wo ein zweiter Ableitungsweg einen leicht abweichenden Wert ergab, sind beide vermerkt.
Methode. Jede Distanz ist eine totale Variationsdistanz — die Hälfte der Summe der absoluten Differenzen zwischen zwei Wahrscheinlichkeitsverteilungen über derselben Namensmenge. „Gemeinsame Menge" bedeutet, dass der Vergleich auf Namen beschränkt ist, die in beiden — Korpus und Register — vorhanden sind, wobei beide Seiten renormiert werden. „Volles Register" bedeutet, dass jeder Registername, der im Korpus fehlt, mit Masse null einbezogen wird, weshalb diese Variante einen Boden von 1 − Abdeckung hat.
Quellen und Zuschreibung:
- Finnland — DVV (Digital and Population Data Services Agency), Etunimitilasto und Sukunimitilasto, Stand 3. Februar 2026, lizenziert CC BY 4.0, veröffentlicht über
avoindata.suomi.fi. Vornamen werden mit einer Schwelle von ≥5 Trägern veröffentlicht (7.312 männliche und 9.616 weibliche erste Vornamen); Nachnamen mit einer Schwelle von ≥20 (23.228 Einträge). Die Arbeitsmappe trägt getrennte Blätter für ens (erster Vorname) und kaikki (alle Vornamen); die Schlagzeilenzahlen hier verwenden ens. Alle Verarbeitung, Gewichtung und jeder aus diesen Zählungen abgeleitete Prozentsatz stammen von uns, nicht von der DVV. - Schweiz — Bundesamt für Statistik (BFS), Nachnamen der ständigen Wohnbevölkerung nach Sprachregion, Daten 2024, veröffentlicht auf opendata.swiss, Datensatz unter <bfs.admin.ch/asset/de/ts-x-01.04.00…;. Die Bedingungen lauten „Open use. Must provide the source. […] You must provide the source (author, title and link to the dataset)", weshalb Autor, Titel und Link alle in dieser Anmerkung erscheinen. Hier verwendete Regionaltotale: 6.066.184 Träger in der deutschsprachigen Region, 2.080.145 in der französischsprachigen Region, 333.620 in der italienischsprachigen Region. Die abgeleiteten Gewichte und Distanzen stammen von uns.
- Schweden — die Zahlen 2,45 % und 2,25 % sind unsere eigene Berechnung aus Vornamenzählungen, veröffentlicht von Statistics Sweden (SCB). Das verarbeitete Material, die Gewichte und die Prozentsätze stammen von uns und nicht von SCB; SCB ist nicht die Quelle der verarbeiteten Zahlen, und nur die zugrunde liegenden Zählungen sind der Behörde zuzuschreiben.
- Referenzverteilungen in der Negativkontrolle — Norwegen (SSB), Schweden (SCB), Vereinigte Staaten (Census Bureau 2020), Spanien (INE), Frankreich (INSEE), alle als echte Zählungen gehalten. Die Spender-Formen wurden aus den kuratierten Korpora für Deutschland, Dänemark, Japan, Kroatien und Rumänien genommen, jede auf die kleinere der beiden Zeilenzahlen gekürzt (266 bis 369 Zeilen pro Paar).
- Finnische Vornamen, vor der Reparatur — 295 männliche Namen auf einer 2–100-Skala mit 47 verschiedenen Werten, 290 weibliche Namen auf einer 2–100-Skala mit 44 verschiedenen Werten. Beide passten zu 100 % zum Register. Distanzen gegen die ens-Blätter: 20,96 % und 28,50 %. Gegen die kaikki-Blätter: 29,24 % und 22,16 %.
- Finnische Nachnamen, vor der Reparatur — 618 Zeilen auf einer 7–100-Skala mit 58 verschiedenen Werten, keine Zeilen auf Gewicht 1, alle 618 im Register vorhanden. Distanz 15,97 %, für diesen Artikel aus der Sicherung vor der Änderung gemessen; das Prüfprotokoll enthält diese Zahl nicht.
- Schweizerische Nachnamen, vor der Reparatur — 710 Zeilen auf einer 1–40-Skala (22 verschiedene Werte, 18,6 % auf Gewicht 1), 831 Zeilen auf 1–30 (23 Werte, 28,2 % auf Gewicht 1), 489 Zeilen auf 1–50 (16 Werte, 48,7 % auf Gewicht 1). Distanzen 22,05 %, 35,67 % und 25,60 %. ⚠ Die italienisch-schweizerische Zahl wurde zweimal über zwei verschiedene Join-Wege erzeugt und kam als 25,60 % und 25,59 % heraus; der Unterschied ist die Behandlung einer kleinen Anzahl von Schreibweisen-Varianten, und der größere Wert wird oben verwendet.
- Nach der Reparatur — 0 % auf der gemeinsamen Menge für alle drei finnischen Korpora und 0,0001 % / 0,0002 % / 0,0133 % für die drei schweizerischen Korpora, wobei der Rest die zugeordneten Schreibweisen-Varianten sind. Gegen das volle Register: 21,31 %, 28,61 % und 58,03 % für Finnland, jeweils gleich
1 − Abdeckungauf zwei Dezimalstellen. Abdeckung der Regionalregister durch die schweizerischen Korpora: 24,94 %, 20,25 %, 20,32 %. - Die sechzehn schweizerischen Fehltreffer — 3 in der deutsch-schweizerischen Liste, 4 in der französisch-schweizerischen Liste, 9 in der italienisch-schweizerischen Liste, von 2.030 Zeilen. Fünf waren Schreibweisen-Varianten (
Doerig,Duebendorferals ASCII-Erweiterungen;Étienne,Crétegny,Émerymit Akzent gegen Registerzeilen ohne Akzent); sechs existieren im nationalen Register, aber in einer anderen Sprachregion; fünf fehlen im nationalen Register gänzlich. Nach der Normalisierung lauten die Exakt-Treffer-Zählungen auf der Platte 709, 830 und 480. - Die Negativkontrolle — sechs Referenzverteilungen × fünf Spender-Formen = 30 Paare, Median 12,30 %, Spanne 6,17 % bis 18,57 %. Die Referenz ist auf die Top N gekürzt und renormiert, sodass die Kontrolle den Formfehler isoliert und die Tiefe bewusst ausschließt.
- Die Taxonomie — 128 Korpora über 64 Sprachregionen; 20 auf echten Zählungen zum Prüfzeitpunkt, 108 nicht. Die 108 wurden von Hand gegen die veröffentlichte Ausgabe des Statistikamts oder Bevölkerungsregisters jedes Landes klassifiziert: 21 Klasse A, 7 teilweise oder unverifiziert, 23 Klasse B, 55 Klasse C, 2 Klasse X. Die Anteile sind gerundet und summieren sich auf 99 %. Nach den oben beschriebenen Reparaturen tragen 25 Korpora echte Zählungen und 103 nicht.
- Für Klasse-B- und -C-Korpora zitierte Boden-Anteile — Serbien 748 von 958 Nachnamenzeilen auf dem Mindestgewicht (78,1 %), Italien 67,9 %, Neuseeland 58,2 %, Deutschland 57,4 %, alle direkt aus den Dateien auf der Platte gemessen.
- ⚠ Hier nicht gemessen. Dieser Artikel vergleicht Gewichte mit Zählungen. Er sagt nichts darüber, ob die Namen in einem Korpus die richtigen Namen sind, über die Vorhandenseinsprüfung hinaus, nichts über Kohorten- oder Altersstruktur und nichts über die Korpora, die bereits echte Zählungen tragen — diese wurden konstruktionsbedingt aus der Taxonomie ausgeschlossen und sind nicht Teil der 108.