2025년 랜덤 비디오 채팅을 위한 AI 안전 플레이북

1. 안전 모드가 다층 신뢰 시스템으로 진화

안전 모드는 새 계정과 십대 계정에서 계속 켜져 있지만 가을 업데이트는 다층 신뢰 점수를 도입합니다. 각 참가자는 이제 행동, 확인된 신원, 커뮤니티 피드백을 반영하는 동적 평가를 받습니다. 점수가 높으면 빠른 대기열을 잠금 해제하고, 점수가 낮으면 더 엄격한 사전 심사와 지연된 카메라 공개가 자동으로 시작됩니다.

학부모, 교육자, 모더레이터는 지원 — 안전 및 개인 정보 보호의 안전 대시보드에 액세스하여 관리하는 그룹의 안전 모드 규칙을 사용자 정의할 수 있습니다. 대시보드에는 교실, 캠퍼스 클럽, 크리에이터 주도 커뮤니티를 위한 권장 템플릿이 포함되어 있어 각 그룹이 몇 분 안에 올바른 안전 자세를 선택할 수 있습니다.

2. 실시간 분류기 업데이트

즉각적인 장면 검사를 지원하는 컴퓨터 비전 모델을 재훈련했습니다. 이제 텍스트 오버레이나 부분적으로 가려진 경우에도 22개의 지원 언어에서 정책 위반을 감지합니다. 신뢰 점수에 따라 시스템이 블러 처리, 경고 또는 인간 분석가에게 자동 에스컬레이션을 발행합니다.

모든 비디오 프레임은 첫 번째 검토 과정에서 기기에 남아 있습니다. 의심스러운 클립만 모더레이션 허브로 전달되며 결정이 내려지면 즉시 삭제됩니다. 개인 정보 보호 접근 방식에 대해 개인 정보 보호 정책에서 자세히 알아보세요.

3. 90초 이내 인간 개입 에스컬레이션

자동화는 문제를 빠르게 발견하지만 인간의 판단은 여전히 핵심입니다. 모더레이션 분석가들은 이제 심각도와 맥락을 분류하는 칸반 대기열에서 플래그된 세션을 받습니다. 대부분의 경우 90초 이내에 분석가에게 전달되고 4분 이내에 최종 결정이 내려집니다. 이는 정확한 집행 기록을 보존하면서 커뮤니티를 보호하기에 충분히 빠릅니다.

기업 — 파트너 솔루션을 통해 Knotchat을 사용하는 기업 파트너는 이러한 이벤트를 신뢰 대시보드에 연결하여 감사를 쉽게 할 수 있습니다.

4. 사람들이 실제로 사용하는 신고 경험

채팅 내 신고를 한 번의 탭만으로 가능하도록 재설계했습니다. 새 모달은 스팸이나 괴롭힘과 같은 제안 프롬프트로 6초 미만으로 선택할 수 있는 선택적 세부 정보를 캡처합니다. 신고는 신뢰 시스템에 피드백되어 활발한 커뮤니티 구성원을 대기열 앞으로 밀고 미해결 사건이 있는 계정을 조용히 속도 제한합니다.

사용자는 지원 — 계정 및 청구에서 30일 동안 제출한 신고 요약을 다운로드할 수 있어 투명성이 강화됩니다.

5. 사고를 예방하는 코칭 순간

안전은 위반이 발생하기 전에 시작된다고 믿습니다. 9월 릴리스에서는 누군가가 빠르게 매치를 건너뛰거나 적대적인 언어를 입력하거나 반복적으로 건너뛰기를 받을 때 팝업되는 상황별 넛지가 추가됩니다. 이 넛지들은 커뮤니티 알림을 제공하고 필요한 경우 짧은 쿨다운 기간을 제공합니다.

더 많은 긍정적 강화도 기대하세요 — 대화가 상호 엄지 위를 받으면 두 참가자 모두 대기열 부스트를 받고 매치를 즐겨찾기 방으로 저장하라는 프롬프트가 표시됩니다.