JustLayMeによるGrey Mirror

転換点検知: 実際には存在しない変化をどのくらい頻繁に見つけるか

完全無料の分析。クレジットカードは不要です。フルレポートはオプションです。

Grey Mirrorは、関係が測定可能に変化した瞬間を検出します。難しいのは変化を見つけることではなく、変化がないのにそれを見つけないようにすることです。このページでは、偽陽性率、検出率、局所化誤差、そしてその背後にある方法を公開しており、これらの数値を信頼せずに検証できるようにしています。

著者 Layne Weant

更新 2026-08-06

実際の変化がない40のスレッドにおける偽陽性率: 0%
既知の変化を含む40のスレッドにおける検出率: 100%
変化が検出された後の日付特定の中央誤差: 0日

Grey Mirrorの転換点検知の精度はどの程度ですか？

実際の変化がない合成スレッド40件では、Grey Mirrorは0%のスレッドでのみ転換点を報告しました。既知の変化が植え込まれた40のスレッドでは、変化を100%検出し、方向を100%正しく特定し、中央誤差0日で日付を特定しました。10,283メッセージ、730日間のスレッドは約4秒で処理完了します。これらの結果は、地上の真実が合成データでのみ知られているため、偽陽性率を測定できる唯一の設定でのものです。

なぜこの数値で、他の数値ではないのか

偽陽性率こそが重要な数値であり、ほとんど誰もそれを公表していません。

どんな変化点アルゴリズムも、毎回何かを見つけるように調整できます。そのようなバージョンはデモでは良く見えますが、価値はありません。なぜなら、ツールがいつも転換点を見つけるなら、それを見つけても何の意味もないからです。したがって、まず測るべきは、変化していない関係において変化があると間違って主張する頻度です。

常に反応する検出器は情報を持ちません

すべてのスレッドが転換点を出力するなら、その結果は発見ではなく形式です。その主張は、ツールが「変化なし」と言える能力があるときだけ価値があります。

日常的な増減は転換点ではありません

メッセージの活動は斑点状です：静かな週が静かな週に続きます。 naiveな検出器は、この通常の変動を期間に分割し、算術上だけ存在する転換点を報告します。

したがって、すべての候補は有意性検定を通過しなければなりません

Grey Mirrorは、変化がスレッドの通常のリズムから際立っているときのみ転換点を報告します。そうでなければ、変化なしと述べます。

方法

測定の仕組み、議論できるほどの詳細で。

評価では、各腕で40試行を行います。一方の腕には変化のないスレッドが含まれ、他方の腕には既知の日付と方向の植え込まれた変化を含むスレッドが含まれます。地上の真実は構築によって知られており、これがまさに合成データを使用する理由であり、実際の会話ではありません。

多くの行動を総合して読む

暖かさ、好奇心、返報性、反応性、修復、衝突、投資、開始はタイムライン全体で総合的に読まれ、単一の激しい週が結果を支配することを防ぎます。

変化は複数の行動にわたって現れなければなりません

転換点は、1つの騒がしいチャネルではなく、複数の行動にわたって現れなければなりません。

非常に短い履歴は却下されます

意味のある「前」がなければ、転換点を見つけることはできません。単一のメッセージから期間をでっち上げるのではなく、Grey Mirrorは回答を控えます。

決定論的なので、結果は再現可能です

同じスレッドは毎回同じ答えを出すため、結果を信じるのではなく検証できます。

制限事項

これらの数値が主張していないこと

公開された精度の数値は誇張されやすいので、その限界をはっきりと述べる価値があります。

合成データは人間のデータではありません

生成されたスレッドでの0%の偽陽性率は、有意性ゲートが機能していることを示しています。ただし、実際のすべての会話で同じ率が得られることを約束するものではなく、合成データでのベンチマークではそれが示せません。

変化を検出することは、それを説明することではありません

アナライザーはシフトの日付を特定し、どの行動が動いたかを名前で示します。しかし、なぜそれが動いたかを言うことはできません。職の変化、喪失、興味の喪失は、メッセージのタイミングだけでは区別できません。

これらの数値を出すために、実際のユーザー会話は使用されませんでした

評価は完全に地上の真実が既知の生成スレッドで行われています。このページのいかなる内容も、アップロードされたメッセージ履歴から導き出されたものではありません。

よくある質問

関係の変化点検知の精度はどの程度ですか？

公開されたベンチマークでは、変化のない40スレッドでの偽陽性率0%、既知の変化が植え込まれた40スレッドでの検出率100%、方向精度100%、日付特定の中央誤差0日となっています。これらの数値は、正解が事前に分かっている合成スレッドから得られています。

なぜ精度ではなく偽陽性率を測定するのか

なぜなら、すべての会話で反応する検出器は、検出率だけでは高得点になるかもしれませんが、役に立ちません。偽陽性率こそが、本当の転換点を見つけるツールと、でっち上げるツールを分けるものであり、この分野のほとんどのツールが公開しない数値だからです。

なぜ実際の会話ではなく合成会話を使うのか

偽陽性率は、真実が分かっている場合のみ測定できます。実際の会話では、変化がないことを確実に言える人はいないため、地上の真実がなく、スコアをつけることはできません。合成スレッドこそがこの問いに答える唯一の設定であり、ユーザーデータは一切使用されていません。

円形ブロック置換検定とは何ですか

これは、個々の時間バケツではなく、タイムラインの連続したブロックをシャッフルすることで、帰無分布を構築します。個々のバケツをシャッフルすると、メッセージの自然な塊りが壊れ、ほぼすべての候補が有意に見えてしまいます。ブロックを置換することで、その構造を保ち、候補は人工的な帰無ではなく現実的な帰無に勝たなければならなくなります。

Grey Mirrorは、関係がなぜ変化したかを教えてくれますか

いいえ。変化の時期と、その周辺でどの行動が動いたかは特定できますが、なぜそれらの行動が動いたかはメッセージのメタデータには含まれておらず、レポートでは推測しません。