JustLayMe

Grey Mirror da JustLayMe

Detecção de Ponto de Virada: Com que Frequência Ela Encontra uma Mudança Que Não Existe

Análise completamente gratuita. Não é necessário cartão de crédito. Os relatórios completos são opcionais.

Iniciar a minha análise gratuita

O Grey Mirror detecta o ponto em que um relacionamento mudou de forma mensurável. A parte difícil não é encontrar mudanças; é recusar-se a encontrá-las quando nada aconteceu. Esta página publica a taxa de falsos positivos, a taxa de detecção, o erro de localização e o método por trás deles, para que os números possam ser verificados em vez de aceitos por confiança.

Por Layne Weant

Atualizado

Taxa de falsos positivos em 40 conversas estáveis sem mudança real.
0%
Taxa de detecção em 40 conversas contendo uma mudança conhecida.
100%
Erro mediano na datação da mudança depois de detectada.
0 dias

Quão precisa é a detecção de ponto de virada do Grey Mirror?

Em 40 conversas sintéticas sem mudança real, o Grey Mirror relatou um ponto de virada em 0% delas. Em 40 conversas contendo uma mudança plantada conhecida, ele detectou a mudança em 100%, identificou a direção correta em 100% e a datou com um erro mediano de 0 dias. Uma conversa de 730 dias e 10.283 mensagens é concluída em cerca de 4 segundos. Estes são resultados em dados sintéticos onde a verdade fundamental é conhecida, que é o único cenário em que uma taxa de falsos positivos pode ser medida.

Por que este número e não outro

A taxa de falsos positivos é o número que importa, e quase ninguém a publica.

Qualquer algoritmo de ponto de mudança pode ser ajustado até encontrar algo em toda conversa. Essa versão faz boa demonstração e é inútil: se a ferramenta sempre encontra um ponto de virada, encontrar um não lhe diz nada. Então a primeira coisa que vale medir é com que frequência ela afirma uma mudança em um relacionamento que nunca mudou.

Um detector que sempre dispara não carrega informação

Se toda conversa produz um ponto de virada, o resultado não é uma descoberta, é uma formalidade. A afirmação só vale algo se a ferramenta for capaz de dizer que nada aconteceu.

Altos e baixos comuns não são pontos de virada

A atividade de mensagens é irregular: semanas tranquilas seguem semanas tranquilas. Um detector ingênuo dividirá essa variação comum em períodos e relatará um ponto de virada que existe apenas na aritmética.

Então todo candidato precisa passar por um teste de significância

O Grey Mirror só relata um ponto de virada quando a mudança se destaca do ritmo normal da própria conversa. Caso contrário, diz que nada aconteceu.

Método

Como a medição funciona, com detalhe suficiente para contestar.

A avaliação executa 40 testes por braço. Um braço contém conversas sem mudança; o outro contém conversas com uma mudança plantada de data e direção conhecidas. A verdade fundamental é conhecida por construção, e é exatamente por isso que se usam dados sintéticos aqui em vez de conversas reais.

Muitos comportamentos, lidos em conjunto

Carinho, curiosidade, reciprocidade, responsividade, reparo, conflito, investimento e iniciativa são lidos em conjunto ao longo da linha do tempo, para que uma única semana barulhenta não domine o resultado.

Uma mudança tem que aparecer em vários comportamentos

Um ponto de virada tem que aparecer em vários comportamentos ao mesmo tempo, não em um único canal ruidoso.

Históricos muito curtos são recusados

Sem um antes significativo, não há ponto de virada a encontrar. Em vez de fabricar períodos a partir de mensagens isoladas, o Grey Mirror se recusa a responder.

Determinístico, então os resultados são reproduzíveis

A mesma conversa produz a mesma resposta toda vez, então um resultado pode ser verificado em vez de aceito por confiança.

Limites

O que esses números não afirmam.

Números de precisão publicados são fáceis de superinterpretar, então vale declarar os limites claramente.

Dados sintéticos não são dados humanos

Uma taxa de 0% de falsos positivos em conversas geradas mostra que a barreira de significância está fazendo seu trabalho. Não promete a mesma taxa em toda conversa real, e nenhum benchmark em dados sintéticos pode prometer.

Detectar uma mudança não é explicá-la

O analisador data uma mudança e nomeia quais comportamentos se moveram. Não pode dizer por que se moveram. Uma mudança de emprego, um luto e uma perda de interesse são indistinguíveis apenas pelo timing das mensagens.

Nenhuma conversa de usuário foi usada para produzir esses números

A avaliação roda inteiramente em conversas geradas com verdade fundamental conhecida. Nada nesta página é derivado de qualquer histórico de mensagens enviado.

Perguntas frequentes

Quão precisa é a detecção de ponto de mudança em relacionamentos?

No benchmark publicado, 0% de falsos positivos em 40 conversas sem mudança real, 100% de detecção e 100% de precisão de direção em 40 conversas com uma mudança plantada conhecida, e um erro mediano de datação de 0 dias. Esses números vêm de conversas sintéticas onde a resposta correta é conhecida de antemão.

Por que medir a taxa de falsos positivos em vez de apenas a precisão?

Porque um detector que dispara em toda conversa teria alta pontuação apenas em detecção, sendo inútil. A taxa de falsos positivos é o que separa uma ferramenta que encontra pontos de virada reais de uma que os fabrica, e é o número que a maioria das ferramentas nesse espaço nunca publica.

Por que usar conversas sintéticas em vez de reais?

Uma taxa de falsos positivos só pode ser medida onde a verdade é conhecida. Em uma conversa real, ninguém pode afirmar com certeza que nada mudou, então não há verdade fundamental para comparar. Conversas sintéticas são o único cenário em que a questão é respondível, e nenhum dado de usuário está envolvido.

O que é um teste de permutação de blocos circulares?

Ele constrói a distribuição nula embaralhando blocos contíguos da linha do tempo em vez de intervalos de tempo individuais. Embaralhar intervalos individuais destruiria o agrupamento natural das mensagens e faria quase qualquer candidato parecer significativo. Permutar blocos mantém essa estrutura, então um ponto de mudança tem que superar uma nula realista em vez de uma artificial.

O Grey Mirror pode me dizer por que o relacionamento mudou?

Não. Ele pode datar a mudança e nomear quais comportamentos se moveram em torno dela. Por que esses comportamentos se moveram não está presente nos metadados das mensagens, e o relatório não adivinha.

Referências e metodologia

Guias relacionados do Grey Mirror

Comece aqui

Mais do Grey Mirror

Siga a sequência

Um benchmark verifica uma tarefa de detecção definida

Guia visual atualizado

  1. Entrada controlada

    Leia como os fios sintéticos estacionários e em mudança são construídos para o teste.

  2. Resultado especificado

    Verifique a definição de detecção, precisão de direção e falsos positivos nessa configuração.

  3. Conclusão limitada

    Um resultado controlado apoia uma alegação sobre aquele teste, não uma precisão garantida em todo relacionamento real.

Guia de leitura conceitual. Este diagrama explica o que inspecionar; ele não é um relatório de cliente, teste diagnóstico ou pontuação de relação medida.
Use este guia na pergunta que você trouxe

Mantenha o braço do benchmark, o denominador e as limitações com qualquer porcentagem que você cite. O desempenho de detecção é separado do significado de uma mudança na vida real.