JustLayMe

JustLayMeによるGrey Mirror

メッセージエクスポート品質インデックスと100,000メッセージストレステスト

著者: Layne Weant · 公開: · 更新:

完全無料の分析。クレジットカードは不要です。フルレポートはオプションです。

無料分析を開始する

Grey Mirrorの公開ベンチマークは now 、公開され、バージョン管理された合成グラウンドトゥルー矩阵に対して5つのエクスポート形状で本番メッセージパーサを実行し、同じ機械読み取り可能なアーティファクトで既存の100,000メッセージ集約ストレステストを維持しています。すべての入力、期待されるメッセージ、式、結果、および制限が公開されています。

著者 Layne Weant

公開

更新

狭いv1合成フィクスチャー矩阵におけるパーサ総合スコア。
100 / 100
UTCテキスト、CSV、JSON、およびNDJSONフィクスチャーにおける20の期待メッセージ。
5つの形状
別個の集約ストレステストにおける生成メッセージ。
100,000

Grey Mirrorメッセージエクスポート品質インデックスとは何ですか？

Message Export Quality Index v1は、Grey Mirrorの本番パーサを使用して、20の期待メッセージを含む5つの合成グラウンドトゥルーエクスポート形状を評価します。2026年7月28日の実行では、20/20のメッセージ回復を達成し、テキストの忠実性、タイムスタンプの保存、送信者解決、方向解決において100点を獲得し、同等の20%重みでの総合スコアは100/100となりました。

  • スコープ: 5つの小さなプラットフォームニュートラルなハッピーパスフィクスチャー — — すべての実際のエクスポート、破損したアーカイブ、ロケール、添付ファイル、リアクション、またはスクリーンショットではない。
  • 別のテスト: 同じアーティファクトは、30のリポジトリフィクスチャーメッセージを繰り返して構築された100,000件のメッセージの合成集約ランを記録しています。
  • 境界: いずれの結果も関係解釈の正確性、臨床的妥当性、カスタマーアウトカム、または生産能力を測定しません。

メッセージエクスポート品質インデックス v1 結果

各シェイプには同じ4つの合成グランドトゥルースメッセージが含まれているため、会話を変更せずにフォーマットの扱いを比較できます。以下のスコアは、手動入力ではなく本番パーサーによって生成されます。

100/100のスコアは、パーサーがこの狭いバージョン済みマトリックスに一致したことを意味します。すべてのメッセージエクスポートが完全にパースされるということではありません。

100ポイントスコアの計算方法

インデックスは、同等に重み付けされた5つの次元を使用します。各エクスポートシェイプは各次元に等しく貢献し、総合スコアは重み付き算術平均となります。

  • メッセージ回復: 100 × min(期待数, 回復数) ÷ max(期待数, 回復数)。
  • テキスト忠実性: 期待シーケンス位置での正確なテキスト一致 ÷ 期待メッセージ数 × 100。
  • タイムスタンプ保持: 期待シーケンス位置での正確なUTCエポックミリ秒一致 ÷ 期待メッセージ数 × 100。
  • 送信者解決: 期待シーケンス位置での正確な送信者ラベル一致 ÷ 期待メッセージ数 × 100。
  • 方向解決: 期待シーケンス位置での正確な送信/受信一致 ÷ 期待メッセージ数 × 100。
  • 総合: 各5つの次元スコアの20%。

合成フィクスチャーマトリックスがカバーするもの

v1マトリックスは、決定論的なUTCタイムスタンプと明示的または解決可能な参加者を持つフォーマットのみをテストします。ラベルはパーサーが受け入れるデータシェイプを説明し、公式プラットフォーム認証を主張するものではありません。

ブラケットテキスト

各行にISO 8601 UTCタイムスタンプ、送信者ラベル、およびメッセージ本文。

CSVバリアント

2つのヘッダー語彙は、機械スタイルのエイリアスと人間が読めるカラム名を演習します。

JSONバリアント

ネストされたメッセージ配列と改行区切りレコードは、構造化JSONパスを演習します。

別の100,000メッセージストレステスト

既存のストレステストはアーティファクトの一部として残ります。リポジトリのメトリクスフィクスチャーメッセージ30件を繰り返して入力が100,000レコードに達するまで実行し、決定論的タイムスタンプと役割を割り当て、メッセージ機能構築およびフィンガープリント、遷移、ゲノム集約を測定します。

結果の再現と検査方法

ジェネレータはバージョン済み合成フィクスチャーマトリクスのみを読み込み、現在のパーサーとメトリクスコードを実行し、一致する公開アーティファクトを書き出します。JSONには、完全なフィクスチャー定義、期待メッセージ、観測メッセージ、式、SHA-256グランドトゥルースダイジェスト、実行環境、および測定された出力が含まれます。

  1. リポジトリルートからnpm run generate:grey-mirror-benchmark-snapshotを実行してください。
  2. messageExportQualityIndexを検査して、フィクスチャ入力、グランドトゥルース、観測出力、式、スコア、および制限を確認してください。
  3. metricPhaseを検査して、100,000メッセージストレステスト環境、タイミング、メモリ、および出力フィールドを確認してください。
  4. 結果をリビジョン間で比較する前に、SHA-256ダイジェストとベンチマークバージョンを比較してください。

制限と次の信頼できる拡張

v1結果は回帰ベースラインであり、汎用パーサー精度の主張ではありません。より強力な次のバージョンでは、パーサー品質、アナライザー精度、信頼度校正、および関係の有用性を1つのスコアに組み込まずに、レビュー済みの失敗フィクスチャーを追加すべきです。

  • カバーされていないもの: ZIPまたはGZIP抽出、破損または切り詰められたファイル、あいまいなローカル日付、添付ファイル、リアクション、削除メッセージの意味論、スクリーンショット、OCR、および敵対的入力。
  • 測定されていないもの: アナライザーラベル、証拠の質、レポートの有用性、臨床的主張、関係のアウトカム、または人口の一般化。
  • 保証されていないもの: 最大アップロードサイズ、本番スループット、レポート遅延、またはすべてのカスタマーエクスポートでのパフォーマンス。
  • 次: 合成失敗フィクスチャー、ロケール固有のタイムスタンプ、アーカイブ抽出、メディアプレースホルダー、および明示的な期待されるエラー動作を追加します。
メッセージエクスポート品質インデックス v1 結果
合成エクスポートシェイプ回復済みテキストタイムスタンプ送信者方向総合
ブラケットUTCテキスト4 / 4100100100100100
構造化CSVエイリアス4 / 4100100100100100
人間が読めるCSVヘッダー4 / 4100100100100100
ネストされたJSONメッセージ配列4 / 4100100100100100
改行区切りJSON4 / 4100100100100100
マトリックストータル20 / 20100100100100100
別の100,000メッセージストレステスト
公開フィールド値何をサポートするか
ターゲットメッセージ100,000測定された集約ステージを通過した入力サイズ。
ソースメッセージ30回繰り返されたフィクスチャー決定論的なワークロードであり、100,000件の独立して作成されたメッセージではありません。
ステージタイミングJSONアーティファクト内のミリ秒リストされた環境での記録された実行であり、レイテンシー保証ではありません。
メモリRSSおよびヒープスナップショット観測されたプロセスメモリであり、本番の上限ではありません。
出力シェイプトランジション、フェーズ、選択されたメトリクスこの繰り返しフィクスチャーでの決定論的実行であり、実際の普及度ではありません。

よくある質問

メッセージエクスポート品質インデックスとは何ですか？

これは、Grey Mirrorの実際のメッセージパーサー出力を、バージョン済み合成グランドトゥルースマトリックスと比較する再現可能なパーサーレグレッションベンチマークです。復元、テキスト、タイムスタンプ、送信者、および方向にわたって行われます。

メッセージエクスポート品質インデックス v1 が生成したスコアは何ですか？

2026年7月28日のアーティファクトでは、20/20のメッセージが回復され、5つ同等に重み付けされた次元でそれぞれ100点を記録し、5つの狭い合成ハッピーパスエクスポートシェイプで総合100/100点を達成しています。

100/100はすべてのメッセージエクスポートが完全にパースされるということですか？

いいえ。このスコアは、この小さなバージョン済みフィクスチャーマトリックスにのみ適用されます。破損したアーカイブ、あいまいなロケール、すべてのプラットフォームバリアント、メディアセマンティクス、スクリーンショット、OCR、または敵対的入力はカバーしません。

このベンチマークはお客様の会話を使用していますか？

いいえ。公開されたパーサーマトリックスと100,000メッセージのストレステストは、リポジトリのバージョン済み合成フィクスチャーを使用し、プライベートなお客様のレポートを読み取ったり集約したりすることはありません。

100,000メッセージの結果は何を測定しますか？

決定論的に繰り返されたフィクスチャー上での機能構築および選択された集約ステージにおける環境固有のタイミング、メモリ、および出力シェイプを記録します。精度または生産能力の保証ではありません。

ベンチャマークをどのように検査または再現できますか？

公開されたJSONアーティファクトを開いて、入力、グランドトゥルース、観測出力、式、ダイジェスト、環境、および制限を確認してください。リポジトリ内で、npm run generate:grey-mirror-benchmark-snapshot を実行してください。

参考文献と方法論

関連するGrey Mirrorガイド

ここから始める

Grey Mirrorのその他のコンテンツ

関連ガイド

区別を保つ

製品ベンチマークと関係研究は異なるものを測定します

ビジュアルガイドを更新しました

  1. メソッドパフォーマンス

    管理されたベンチマーク入力は、メソッドが検出するように設計された変更を検出できるかどうかを評価します。

  2. 関係コーパス

    記述的研究は、提供された履歴における測定値を、明確なサンプル制限とともに要約します。

  3. 個人的な解釈

    どちらの結果も、あなたの関係に普遍的なルールを確立したり、人物の意図を証明したりするものではありません。

概念的な読解ガイド。この図は検査する内容を説明しています。顧客レポート、診断テスト、または測定された関係スコアではありません。
このガイドを、あなたが持ってきた質問に使用してください

ベンチマークの設定と分母を読みます。合成テストの結果は、実際の関係の結果に関する結果ではありません。