Grey Mirror by JustLayMe

전환점 탐지: 존재하지 않는 변경을 탐지하는 빈도

완전 무료 분석. 신용 카드 필요 없음. 전체 보고서는 선택 사항입니다.

Grey Mirror는 관계가 측정 가능한 변화를 겪은 시점을 감지합니다. 어려운 점은 변화를 찾는 것이 아니라, 변화가 없을 때도 변화를 찾지 않는 것입니다. 이 페이지는 거짓 양성률, 탐지율, 위치 오차 및 그 뒤에 있는 방법을 발표하여 숫자를 검증할 수 있도록 하고 단순히 신뢰하지 않도록 합니다.

작성자 Layne Weant

업데이트됨 2026-08-06

실제 변화가 없는 40개의 안정적인 스레드에서의 거짓 양성률: 0%
알려진 변화가 포함된 40개의 스레드에서의 탐지율: 100%
변경이 탐지된 후 날짜 추정의 중앙 오차: 0일

Grey Mirror의 전환점 탐지는 얼마나 정확한가요?

실제 변화가 없는 40개의 합성 스레드에서 Grey Mirror는 0%의 스레드에서 전환점을 보고했습니다. 알려진 변경이 포함된 40개의 스레드에서는 전환점을 100% 탐지했고, 올바른 방향을 100% 식별했으며, 중앙 오차 0일로 날짜를 추정했습니다. 10,283개의 메시지가 포함된 730일 스레드는 약 4초 만에 처리됩니다. 이러한 결과는 지상 진실이 알려진 합성 데이터에서 나온 것이며, 이때만 거짓 양성률을 측정할 수 있습니다.

왜 이 숫자이고 다른 숫자가 아닌가요?

거짓 양성률이 중요한 수치이며, 거의 아무도 이를 발표하지 않습니다.

어떤 변점 알고리즘이든 모든 대화에서 뭔가를 찾도록 조정할 수 있습니다. 이런 버전은 시연에서는 잘 보일지 몰라도 가치가 없습니다. 도구가 항상 전환점을 찾다면, 전환점을 찾는 행위는 아무 의미도 주지 못하기 때문입니다. 따라서 먼저 측정할 가치가 있는 것은 관계를 바꾸지 않았는데도 도구가 변화를claimed하는 빈도입니다.

항상 작동하는 탐지기는 정보를 전달하지 못합니다

모든 스레드에서 전환점을 출력하면 결과는 발견이 아니라 형식에 불과합니다. 도구가 아무것도 일어나지 않았다고 말할 수 있어야만 주장이 가치를 갖습니다.

평범한 기복은 전환점이 아닙니다

메시지 활동은 streak(연속성)을 보입니다: 조용한 주 quiet한 주가 이어집니다. 순수한 탐지기는 이런 ordinary variation을 구간으로 나누고 산술에만 존재하는 전환점을 보고할 것입니다.

그래서 모든 후보는 유의성 검증을 통과해야 합니다

Grey Mirror는 스레드의 일반 리듬에서 변화가 뚜렷이 드러날 때만 전환점을 보고합니다. 그렇지 않으면 아무것도 일어나지 않았다고 말합니다.

방법

측정이 어떻게 작동하는지 충분히 상세히 설명하여 논쟁할 수 있도록 함

평가는 각 그룹당 40번의 시도로 진행됩니다. 한 그룹은 변화가 없는 스레드를 포함하고, 다른 그룹은 알려진 날짜와 방향의 식별된 변화를 포함한 스레드로 구성됩니다. 지상 진실은 설계상 알려져 있으므로, 실제 대화 대신 합성 데이터를 사용합니다.

여러 행동을 함께 읽기

따뜻함, 호기심, 상호성, 반응성, 화해, 갈등, 투자 및 시작은 타임라인 전반에 걸쳐 함께 읽히므로, 시끄러운 한 주가 결과를 지배하지 못합니다.

변화는 여러 행동에서 동시에 나타어야 합니다

전환점은 한 가지 소란스러운 채널이 아니라 여러 행동에서 동시에 나타나야 합니다

매우 짧은 기록은 거절됨

의미 있는 '이전'이 없으면 전환점을 찾을 수 없습니다. 단일 메시지에서 구간을 만들어내는 대신 Grey Mirror는 응답을 하지 않습니다.

결정론적이므로 결과는 재현 가능함

같은 스레드는 매번 같은 답변을 생성하므로 결과를 검증할 수 있고 단순히 신뢰할 필요 없이 확인할 수 있습니다

한계

이 수치들이 주장하지 않는 것

공표된 정확도 수치는 과대해석되기 쉬우므로 경계 사항을 명확히 stating하는 것이 가치가 있습니다

합성 데이터는 인간 데이터가 아님

생성된 스레드에서의 0% 거짓 양성률은 significance gate가 역할을 하고 있음을 보여줍니다. 이는 모든 실제 대화에서 동일한 비율을 보장하지 않으며, 합성 데이터에서의 어떤 벤치마크도 그렇게 할 수 없습니다

변화를 탐지하는 것은 그것을 설명하는 것이 아님

분석기는 변화 시기를 날짜로 잡고 어떤 행동이 이동했는지 이름을 붙일 수 있습니다. 그러나 왜 그들이 이동했는지 말할 수는 없습니다. 직장 변경, 상실, 관심 상실은 메시지 타이밍만으로는 구분할 수 없습니다

사용자 대화는 이러한 수치를 생성하는 데 사용되지 않았음

평가는 알려진 ground truth를 가진 완전히 생성된 스레드에서 전적으로 실행됩니다. 이 페이지의 어떤 내용도 업로드된 메시지 기록에서 파생되지 않았습니다

자주 묻는 질문

관계 변점 탐지는 얼마나 정확한가요?

공표된 벤치마크에서, 실제 변화가 없는 40개의 스레드에서 0% 거짓 양성, 알려진 식별된 변화가 포함된 40개의 스레드에서 100% 탐지 및 100% 방향 정확도, 그리고 중앙 dating 오차 0일을 달성했습니다. 이러한 수치는 사전에 정답이 알려진 합성 스레드에서 나온 것입니다

왜 단순히 정확도 대신 거짓 양성률을 측정하는가?

모든 대화에서 경보를 울리는 탐지기는 탐지 성능만으로는 높게 평가되겠지만 실제로는 무의미할 것입니다. 거짓 양성 비율이 진짜 전환점을 찾는 도구와 그것을 만들어내는 도구를 구분하며, 이 분야의 대부분의 도구는 이 수치를 공개하지 않습니다.

왜 실제 대화가 아니라 합성 대화를 사용하나요?

참이 알려진 경우에만 거짓 양성 비율을 측정할 수 있습니다. 실제 대화에서는 아무것도 변하지 않았다고 확신을 말할 수 없기 때문에 기준이 되는 진실이 없으며, 점수를 매길 대상이 없습니다. sintethetic 스레드는 질문에 답할 수 있는 유일한 환경이며, 사용자 데이터는 전혀 포함되지 않습니다.

원형 블록 순열 검정이란 무엇인가요?

시간축의 개별 시간 단위 대신 연속된 블록을 섞어서 귀무 분포를 구성합니다. 개별 버킷을 섞으면 메시지의 자연스러운 군집 구조가 파괴되어 거의 모든 후보가 유의미해 보이게 됩니다. 블록을 순열하면 구조를 유지하므로, 전환점은 인공적인 것이 아니라 현실적인 귀무 가설을 이겨내야 합니다.

Grey Mirror가 관계 변화를 왜 일어났는지 설명해 줄 수 있나요?

아니요. 변화 시점을 특정하고 그 주변에서 이동한 행동을 이름을 지을 수만 있습니다. 왜 그 행동들이 이동했는지는 메시지 메타데이터에 포함되어 있지 않으며, 보고서는 이를 추측하지 않습니다.