JustLayMe

Grey Mirror von JustLayMe

Message Export Quality Index und 100.000-Nachrichten-Stresstest

Autor: Layne Weant · Veröffentlicht: · Aktualisiert:

Völlig kostenlose Analyse. Keine Kreditkarte erforderlich. Vollständige Berichte sind optional.

Meine kostenlose Analyse starten

Der öffentliche Benchmark von Grey Mirror führt jetzt den Produktions-Nachrichtenparser gegen eine veröffentlichte, versionierte synthetische Ground-Truth-Matrix mit fünf Exportformen aus und behält dann den bestehenden 100.000-Nachrichten-Aggregations-Stresstest im selben maschinenlesbaren Artefakt bei. Jede Eingabe, erwartete Nachricht, Formel, jedes Ergebnis und jede Einschränkung wird veröffentlicht.

Von Layne Weant

Veröffentlicht

Aktualisiert

Gesamtbewertung des Parsers auf der engen synthetischen v1-Fixture-Matrix.
100 / 100
20 erwartete Nachrichten über UTC-Text-, CSV-, JSON- und NDJSON-Fixtures.
5 Formen
Generierte Nachrichten im separaten Aggregations-Stresstest.
100.000

Was ist der Grey Mirror Message Export Quality Index?

Der Message Export Quality Index v1 führt den Produktionsparser von Grey Mirror gegen fünf synthetische Ground-Truth-Exportformen mit 20 erwarteten Nachrichten aus. Der Lauf vom 28. Juli 2026 erzielte 20 von 20 und erreichte 100 in Nachrichtenwiederherstellung, Texttreue, Zeitstempel-Erhalt, Absenderauflösung und Richtungsauflösung, für insgesamt 100/100 bei gleichen Gewichten von 20 %.

  • Umfang: fünf kleine, plattformneutrale Happy-Path-Fixtures – nicht jeder echte Export, beschädigte Archive, jedes Locale, jeder Anhang, jede Reaktion oder jeder Screenshot.
  • Separater Test: Dasselbe Artefakt zeichnet einen synthetischen Aggregationslauf mit 100.000 Nachrichten auf, der durch Wiederholung von 30 Repository-Fixture-Nachrichten erstellt wurde.
  • Grenze: Keines der Ergebnisse misst die Genauigkeit von Beziehungsinterpretation, klinische Validität, Kundenoutcomes oder Produktionskapazität.

Ergebnisse des Message Export Quality Index v1

Jede Form enthält dieselben vier synthetischen Ground-Truth-Nachrichten, damit die Formatbehandlung verglichen werden kann, ohne die Konversation zu verändern. Die untenstehenden Bewertungen werden vom Produktionsparser erzeugt und nicht manuell eingegeben.

Eine Bewertung von 100/100 bedeutet, dass der Parser diese enge versionierte Matrix erfüllt hat. Es bedeutet nicht, dass jeder Nachrichtenexport perfekt geparst wird.

Wie die 100-Punkte-Bewertung berechnet wird

Der Index verwendet fünf gleich gewichtete Dimensionen. Jede Exportform trägt zu jeder Dimension gleich bei, und die Gesamtbewertung ist das gewichtete arithmetische Mittel.

  • Nachrichtenwiederherstellung: 100 × min(erwartete Anzahl, wiederhergestellte Anzahl) ÷ max(erwartete Anzahl, wiederhergestellte Anzahl).
  • Texttreue: exakte Textübereinstimmungen an der erwarteten Sequenzposition ÷ erwartete Nachrichten × 100.
  • Zeitstempel-Erhalt: exakte UTC-Epoch-Millisekunden-Übereinstimmungen an der erwarteten Sequenzposition ÷ erwartete Nachrichten × 100.
  • Absenderauflösung: exakte Übereinstimmungen der Absenderbezeichnung an der erwarteten Sequenzposition ÷ erwartete Nachrichten × 100.
  • Richtungsauflösung: exakte Übereinstimmungen von gesendet/empfangen an der erwarteten Sequenzposition ÷ erwartete Nachrichten × 100.
  • Gesamt: 20 % × jeder der fünf Dimensionswerte.

Was die synthetische Fixture-Matrix abdeckt

Die v1-Matrix testet nur Formate mit deterministischen UTC-Zeitstempeln und expliziten oder auflösbaren Teilnehmern. Die Bezeichnungen beschreiben Datenformen, die der Parser akzeptiert; sie sind keine Behauptungen offizieller Plattformzertifizierung.

Text in Klammern

ISO-8601-UTC-Zeitstempel, Absenderbezeichnung und Nachrichtentext in jeder Zeile.

CSV-Varianten

Zwei Header-Vokabulare testen maschinenartige Aliase und menschenlesbare Spaltennamen.

JSON-Varianten

Ein verschachteltes messages-Array und durch Zeilenumbrüche getrennte Datensätze testen strukturierte JSON-Pfade.

Der separate 100.000-Nachrichten-Stresstest

Der bestehende Stresstest bleibt Teil des Artefakts. Er wiederholt 30 Metrik-Fixture-Nachrichten aus dem Repository, bis die Eingabe 100.000 Datensätze erreicht, weist deterministische Zeitstempel und Rollen zu und misst die Konstruktion von Nachrichtenmerkmalen sowie Fingerprint-, Übergangs- und Genom-Aggregation.

Wie man das Ergebnis reproduziert und untersucht

Der Generator liest nur die versionierte synthetische Fixture-Matrix, führt den aktuellen Parser- und Metrikcode aus und schreibt passende öffentliche Artefakte. Die JSON enthält die vollständigen Fixture-Definitionen, erwartete Nachrichten, beobachtete Nachrichten, Formeln, SHA-256-Digest der Ground Truth, Laufzeitumgebung und gemessene Ausgaben.

  1. Führe npm run generate:grey-mirror-benchmark-snapshot aus dem Repository-Stammverzeichnis aus.
  2. Untersuche messageExportQualityIndex auf Fixture-Eingaben, Ground Truth, beobachtete Ausgabe, Formeln, Bewertungen und Einschränkungen.
  3. Untersuche metricPhase auf Umgebung, Timing, Speicher und Ausgabefelder des 100.000-Nachrichten-Stresstests.
  4. Vergleiche den SHA-256-Digest und die Benchmark-Version, bevor du Ergebnisse über Revisionen hinweg vergleichst.

Einschränkungen und die nächste glaubwürdige Erweiterung

Das v1-Ergebnis ist eine Regressions-Baseline, keine allgemeine Aussage zur Parser-Genauigkeit. Eine stärkere nächste Version sollte geprüfte Fehler-Fixtures hinzufügen, ohne Parser-Qualität, Analyzer-Genauigkeit, Konfidenz-Kalibrierung und Nützlichkeit von Beziehungen in einen einzigen Score zu kollabieren.

  • Nicht abgedeckt: ZIP- oder GZIP-Extraktion, beschädigte oder abgeschnittene Dateien, mehrdeutige lokale Datumsangaben, Anhänge, Reaktionen, Semantik gelöschter Nachrichten, Screenshots, OCR und adversarielle Eingaben.
  • Nicht gemessen: Analyzer-Labels, Evidenzqualität, Nützlichkeit von Berichten, klinische Aussagen, Beziehungsergebnisse oder Generalisierung auf Populationen.
  • Nicht garantiert: maximale Upload-Größe, Produktionsdurchsatz, Berichtslatenz oder Leistung bei jedem Kundenexport.
  • Nächstes: synthetische Fehler-Fixtures, lokalspezifische Zeitstempel, Archiv-Extraktion, Medien-Platzhalter und explizites erwartetes Fehlerverhalten.
Ergebnisse des Message Export Quality Index v1
Synthetische Export-FormWiederhergestelltTextZeitstempelAbsenderRichtungGesamt
UTC-Text in Klammern4 / 4100100100100100
Strukturierte CSV-Aliase4 / 4100100100100100
Menschenlesbare CSV-Header4 / 4100100100100100
Verschachteltes JSON-Nachrichten-Array4 / 4100100100100100
Zeilengetrenntes JSON4 / 4100100100100100
Matrix-Gesamt20 / 20100100100100100
Der separate 100.000-Nachrichten-Stresstest
Veröffentlichtes FeldWertWas es unterstützt
Zielnachrichten100.000Eingabegröße, die durch die gemessenen Aggregationsstufen geleitet wurde.
Quellnachrichten30 wiederholte FixturesEine deterministische Arbeitslast, keine 100.000 unabhängig verfassten Nachrichten.
Stufen-ZeitmessungenMillisekunden im JSON-ArtefaktEin aufgezeichneter Lauf in der angegebenen Umgebung, keine Latenzgarantie.
SpeicherRSS- und Heap-SnapshotBeobachteter Prozessspeicher, keine Produktionsobergrenze.
AusgabeformÜbergänge, Phasen, ausgewählte MetrikenDeterministische Ausführung für dieses wiederholte Fixture, keine Prävalenz in der realen Welt.

Häufig gestellte Fragen

Was ist der Message Export Quality Index?

Es ist ein reproduzierbarer Parser-Regressions-Benchmark, der die tatsächliche Ausgabe von Grey Mirrors Nachrichtenparser mit einer veröffentlichten, versionierten synthetischen Ground-Truth-Matrix über Wiederherstellung, Text, Zeitstempel, Absender und Richtungen vergleicht.

Welchen Score hat Message Export Quality Index v1 ergeben?

Das Artefakt vom 28. Juli 2026 meldet 20 von 20 wiederhergestellten Nachrichten und 100 in allen fünf gleich gewichteten Dimensionen, was einem Gesamtwert von 100/100 bei fünf schmalen synthetischen Happy-Path-Exportformen entspricht.

Bedeutet 100/100, dass jeder Nachrichtenexport perfekt geparst wird?

Nein. Der Score gilt nur für diese kleine versionierte Fixture-Matrix. Er deckt keine beschädigten Archive, mehrdeutigen Locales, jede Plattformvariante, Medien-Semantik, Screenshots, OCR oder adversarielle Eingaben ab.

Verwendet dieser Benchmark Kundengespräche?

Nein. Die veröffentlichte Parser-Matrix und der Stress-Test mit 100.000 Nachrichten verwenden versionierte synthetische Fixtures aus dem Repository und lesen oder aggregieren keine privaten Kundenberichte.

Was misst das Ergebnis mit 100.000 Nachrichten?

Es erfasst umgebungsspezifisches Timing, Speicher und Ausgabeform für Feature-Konstruktion und ausgewählte Aggregationsstufen bei einem deterministischen wiederholten Fixture. Es ist keine Genauigkeits- oder Produktionskapazitätsgarantie.

Wie kann ich den Benchmark prüfen oder reproduzieren?

Öffnen Sie das veröffentlichte JSON-Artefakt für Eingaben, Ground Truth, beobachtete Ausgabe, Formeln, Digest, Umgebung und Grenzen. Führen Sie im Repository npm run generate:grey-mirror-benchmark-snapshot aus.

Referenzen und Methodik

Verwandte Grey Mirror-Leitfäden

Hier starten

Mehr von Grey Mirror

Verwandte Leitfäden

Die Unterscheidungen wahren

Produktbenchmarks und Beziehungsforschung messen unterschiedliche Dinge

Visuelle Anleitung aktualisiert

  1. Methodenleistung

    Kontrollierte Benchmark-Eingaben bewerten, ob eine Methode die Veränderung erkennt, die sie erkennen soll.

  2. Beziehungs-Korpus

    Beschreibende Forschung fasst Maße in bereitgestellten Geschichten mit expliziten Stichprobenbeschränkungen zusammen.

  3. Persönliche Interpretation

    Kein Ergebnis stellt eine universelle Regel für deine Beziehung dar oder beweist die Absicht einer Person.

Konzeptioneller Leseleitfaden. Dieses Diagramm erklärt, was zu prüfen ist; es ist kein Kundenbericht, Diagnosetest oder gemessener Beziehungswert.
Diesen Leitfaden auf die Frage anwenden, mit der du gekommen bist

Lies den Benchmark-Aufbau und den Nenner. Ein Ergebnis über einen synthetischen Test ist kein Ergebnis über reale Beziehungsausgänge.