JustLayMe

Grey Mirror par JustLayMe

Détection du point de retournement : À quelle fréquence il trouve un changement qui n'existe pas

Analyse entièrement gratuite. Aucune carte de crédit requise. Les rapports complets sont facultatifs.

Commencer mon analyse gratuite

Grey Mirror détecte le point où une relation a changé de manière mesurable. La partie difficile n'est pas de trouver des changements ; c'est de refuser de les trouver quand rien ne s'est passé. Cette page publie le taux de faux positifs, le taux de détection, l'erreur de localisation et la méthode qui les sous-tend, afin que ces chiffres puissent être vérifiés plutôt que pris pour acquis.

Par Layne Weant

Mis à jour

Taux de faux positifs sur 40 fils stables sans réel changement.
0 %
Taux de détection sur 40 fils contenant un changement connu.
100 %
Erreur médiane dans la datation du changement une fois détecté.
0 jours

Quelle est la précision de la détection du point de retournement de Grey Mirror ?

Sur 40 fils synthétiques ne contenant aucun changement réel, Grey Mirror a signalé un point de retournement dans 0 % d'entre eux. Sur 40 fils contenant un changement connu implanté, il a détecté le changement à 100 %, identifié la bonne direction à 100 % et daté celui-ci avec une erreur médiane de 0 jours. Un fil de 730 jours et 10 283 messages se termine en environ 4 secondes. Ces résultats proviennent de données synthétiques où la vérité terrain est connue, ce qui est l'unique contexte où un taux de faux positifs peut être mesuré.

Pourquoi ce nombre et pas un autre

Le taux de faux positifs est le nombre qui compte, et presque personne ne le publie.

Tout algorithme de détection de changement peut être réglé jusqu'à ce qu'il trouve quelque chose dans chaque conversation. Cette version fait une bonne démonstration et est inutile : si l'outil trouve toujours un point de retournement, en trouver un ne vous apprend rien. Donc, la première chose qui vaut la peine d'être mesurée est la fréquence à laquelle il prétend un changement dans une relation qui n'a jamais changé.

Un détecteur qui déclenche toujours ne transporte aucune information

Si chaque fil produit un point de retournement, la sortie n'est pas une découverte, c'est une formalité. La revendication ne vaut quelque chose que si l'outil est capable de dire que rien ne s'est passé.

Les hauts et les bas ordinaires ne sont pas des points de retournement

L'activité des messages est en rafales : des semaines tranquilles suivent des semaines tranquilles. Un détecteur naïf divisera cette variation ordinaire en périodes et signalera un point de retournement qui n'existe que dans l'arithmétique.

Ainsi, chaque candidat doit survivre à un test de signification

Grey Mirror ne signale un point de retournement que lorsque le changement se démarque du rythme normal du fil. Sinon, il dit que rien ne s'est passé.

Méthode

Comment fonctionne la mesure, en détail suffisant pour en discuter.

L'évaluation effectue 40 essais par bras. Un bras contient des fils sans changement ; l'autre contient des fils avec un changement implanté de date et de direction connus. La vérité terrain est connue par construction, ce qui explique exactement pourquoi des données synthétiques sont utilisées ici plutôt que de vraies conversations.

Plusieurs comportements, considérés ensemble

La chaleur, la curiosité, la réciprocité, la réactivité, la réparation, le conflit, l'investissement et l'initiation sont lus ensemble sur la timeline, afin qu'une semaine bruyante ne domine pas le résultat.

Un changement doit apparaître dans plusieurs comportements

Un point de retournement doit apparaître dans plusieurs comportements à la fois, et non dans un seul canal bruyant.

Les historiques très courts sont rejetés

Sans un 'avant' significatif, il n'y a pas de point de retournement à trouver. Plutôt que de fabriquer des périodes à partir de messages uniques, Grey Mirror refuse de répondre.

Déterministe, donc les résultats sont reproductibles

Le même fil produit la même réponse à chaque fois, donc un résultat peut être vérifié plutôt que pris pour acquis.

Limites

Ce que ces chiffres ne prétendent pas.

Les chiffres de précision publiés sont faciles à surinterpréter, donc les limites méritent d'être clairement exprimées.

Les données synthétiques ne sont pas des données humaines

Un taux de faux positifs de 0 % sur des fils générés montre que la porte de signification fait son travail. Cela ne promet pas le même taux sur chaque conversation réelle, et aucun benchmark sur des données synthétiques ne peut le faire.

Détecter un changement ne l'explique pas

L'analyseur date un déplacement et indique quels comportements ont changé. Il ne peut pas dire pourquoi ils ont changé. Un changement d'emploi, un deuil et une perte d'intérêt sont indiscernables uniquement par le timing des messages.

Aucune conversation d'utilisateur n'a été utilisée pour produire ces chiffres

L'évaluation s'effectue entièrement sur des fils générés avec une vérité terrain connue. Rien sur cette page ne provient de quelconque historique de messages téléchargé.

Questions fréquentes

Quelle est la précision de la détection du point de changement de relation ?

Sur la référence publiée, 0 % de faux positifs sur 40 fils sans réel changement, 100 % de détection et 100 % de précision de direction sur 40 fils avec un changement connu implanté, et une erreur médiane de datation de 0 jours. Ces chiffres proviennent de fils synthétiques où la réponse correcte est connue à l'avance.

Pourquoi mesurer le taux de faux positifs au lieu de simplement la précision ?

Parce qu'un détecteur qui déclenche à chaque conversation obtiendrait un score élevé sur la détection seule tout en étant inutile. Le taux de faux positifs est ce qui sépare un outil qui trouve de vrais points de tournant d'un outil qui les fabrique, et c'est le chiffre que la plupart des outils de ce domaine ne publient jamais.

Pourquoi utiliser des conversations synthétiques plutôt que réelles ?

Un taux de faux positifs ne peut être mesuré que lorsque la vérité est connue. Dans une conversation réelle, personne ne peut dire avec certitude que rien n'a changé, donc il n'y a pas de vérité terrain pour établir un score. Les fils synthétiques sont le seul cadre où la question peut être répondue, et aucune donnée d'utilisateur n'est impliquée.

Qu'est-ce qu'un test de permutation de blocs circulaires ?

Il construit la distribution nulle en mélangeant des blocs contigus de la chronologie plutôt que des tranches de temps individuelles. Mélanger des tranches individuelles détruirait le regroupement naturel des messages et rendrait presque tout candidat significatif significatif. Permuter des blocs conserve cette structure, donc un point de changement doit battre un nul réaliste plutôt qu'un nul artificiel.

Grey Mirror peut-il me dire pourquoi la relation a changé ?

Non. Il peut dater le changement et nommer quels comportements se sont déplacés autour de lui. Pourquoi ces comportements se sont déplacés n'est pas présent dans les métadonnées des messages, et le rapport ne le devine pas.

Références et méthodologie

Guides Grey Mirror associés

Commencez ici

Plus de Grey Mirror

Suivez la séquence

Un benchmark vérifie une tâche de détection définie

Guide visuel mis à jour

  1. Entrée contrôlée

    Lisez comment les fils de discussion stationnaires et changeants synthétiques sont construits pour le test.

  2. Résultat spécifié

    Vérifiez la définition de la détection, la précision de la direction et les faux positifs dans cette configuration.

  3. Conclusion bornée

    Un résultat contrôlé étaye une affirmation sur ce test, et non une précision garantie sur chaque relation réelle.

Guide de lecture conceptuelle. Ce diagramme explique ce qu'il faut inspecter ; il n'est pas un rapport client, un test diagnostique ou une note de relation mesurée.
Utilisez ce guide sur la question que vous avez apportée

Conservez le bras de référence, le dénominateur et les limitations avec tout pourcentage que vous citez. Les performances de détection sont séparées de la signification d'un changement dans la vie réelle.