화자 분리란? AI가 오디오에서 화자를 식별하는 방법

화자 분리는 오디오 녹음 내에서 서로 다른 화자를 자동으로 식별하고 분할하는 과정으로, "누가 언제 말했는지"라는 질문에 답합니다. 현대 자동 음성 인식 파이프라인의 핵심 구성 요소로, 화자의 신원에 대한 사전 지식 없이도 각 발화 세그먼트를 올바른 개인에 귀속시키는 전사본을 가능하게 합니다.

회의 녹음을 검토하든, 팟캐스트 에피소드를 전사하든, 법적 증언을 분석하든, 화자 분리는 평면적인 텍스트 벽을 모든 문장이 말한 사람에 연결된 구조화되고 읽기 쉬운 문서로 변환합니다.

화자 분리란?

화자 분리(diarisation이라고도 표기)는 화자의 정체에 따라 오디오 스트림을 동질적인 세그먼트로 분할합니다. 이 용어는 "diary"에서 유래합니다. 일기가 누가 무엇을 언제 했는지를 기록하듯이, 분리는 대화 내에서 누가 무엇을 언제 말했는지를 기록합니다.

기술적으로, 분리 시스템은 원시 오디오를 입력으로 받아 "화자 A: 0.0초-4.2초", "화자 B: 4.3초-7.8초" 등의 타임스탬프가 지정된 라벨 세트를 생성합니다. 시스템은 화자의 이름을 알거나 이전에 목소리를 들을 필요가 없습니다. 같은 목소리에 속하는 세그먼트를 일관된 라벨 아래 함께 그룹화할 뿐입니다.

화자 분리는 화자 식별(목소리를 알려진 신원에 매칭)과 화자 검증(목소리가 주장된 신원에 속하는지 확인)과 구별됩니다. 분리는 비지도 방식으로 작동합니다: 몇 명의 화자가 있는지를 발견하고 그에 따라 음성을 클러스터링합니다.

화자 분리의 작동 방식

현대 분리 시스템은 다단계 파이프라인을 따릅니다. 구현은 다르지만 대부분 이 핵심 단계를 공유합니다.

음성 활동 감지

첫 번째 단계는 오디오의 어떤 부분에 인간 음성이 포함되어 있는지 대 침묵, 음악, 환경 소음인지를 판단하는 것입니다. 음성 활동 감지(VAD)는 다운스트림 구성 요소가 관련 오디오만 처리하도록 비음성 영역을 필터링합니다. 고품질 VAD가 중요합니다. 놓친 음성 세그먼트는 결코 복구할 수 없으며, 거짓 양성은 파이프라인에 소음을 도입합니다.

음성 분할

음성 영역이 식별되면 오디오는 일반적으로 0.5~2초 길이의 짧고 균일한 세그먼트로 나뉩니다. 이 세그먼트는 시스템이 분석하고 화자에 할당할 기본 단위를 형성합니다.

화자 임베딩 추출

각 세그먼트는 화자의 고유한 음성 특성을 캡처하는 고정 차원 벡터인 화자 임베딩을 생성하는 신경망을 통과합니다. 이 임베딩은 피치, 음색, 발화 속도, 성도 형태 같은 속성을 컴팩트한 수치 표현으로 인코딩합니다.

초기 시스템은 이를 위해 i-벡터를 사용했습니다. 현대 시스템은 심층 신경망 임베딩, 특히 d-벡터와 x-벡터에 의존합니다. Johns Hopkins University의 연구자들이 도입한 x-벡터는 시간 지연 신경망 아키텍처를 사용하며 이 분야의 표준이 되었습니다. 더 최근의 접근법은 다중 스케일 특성 집계와 채널 어텐션 메커니즘을 통해 우수한 성능을 달성하는 ECAPA-TDNN을 사용합니다.

클러스터링

모든 세그먼트에 대해 임베딩이 추출되면 시스템은 같은 화자의 세그먼트를 함께 그룹화합니다. 이것은 근본적으로 클러스터링 문제입니다. 일반적인 접근법은 다음과 같습니다:

• 응집 계층적 클러스터링(AHC): 각 세그먼트를 자체 클러스터로 시작하여 중지 기준이 충족될 때까지 가장 유사한 두 클러스터를 반복적으로 병합합니다. 가장 널리 사용되는 방법입니다.
• 스펙트럼 클러스터링: 임베딩에서 유사성 그래프를 구성하고 고유값 분해를 사용하여 자연스러운 그룹을 찾습니다.
• k-평균 클러스터링: 임베딩을 고정된 수의 클러스터로 분할하지만, 사전에 화자 수를 알아야 합니다.

클러스터링 알고리즘의 선택은 정확도와 시스템의 화자 수 자동 추정 능력 모두에 큰 영향을 미칩니다.

재분할

초기 클러스터링 후 정교화 패스에서 화자 경계를 재검사하여 오류를 수정합니다. 화자 전환 근처의 세그먼트는 초기 클러스터링 중 잘못 할당되는 경우가 많습니다. 재분할은 비터비 디코딩이나 유사한 순차 모델을 사용하여 경계를 매끄럽게 하고 시간적 일관성을 강화합니다.

화자 분리가 중요한 이유

화자 분리는 단순한 기술적 편의가 아닙니다. 오디오 콘텐츠를 텍스트로 진정으로 사용 가능하게 만드는 데 필수적입니다.

회의 및 협업. 다자간 회의에서 화자 라벨이 없는 전사본은 따라가기 어렵습니다. 분리를 통해 팀은 누가 어떤 포인트를 제기했는지, 누가 액션 아이템에 동의했는지, 누가 어떤 질문을 했는지를 빠르게 볼 수 있습니다. 녹화된 회의를 검토하는 원격 및 하이브리드 팀에게 특히 유용합니다.

인터뷰 및 저널리즘. 저널리스트, 연구자, 채용 관리자는 면접관과 피면접자를 구별해야 합니다. 분리는 이전에 번거로운 수동 전사 주석 작업이었던 것을 자동화합니다.

팟캐스트 및 미디어. 화자 라벨이 있는 팟캐스트 전사본은 더 접근 가능하고, 검색 가능하며, 쇼노트와 콘텐츠 재활용에 더 유용합니다. 화자별로 콘텐츠를 인덱싱 가능하게 하여 SEO도 개선합니다.

법률 및 규정 준수. 법원 증언, 규제 심리, 규정 준수 녹음 모두 특정 개인에 대한 발언의 정확한 귀속이 필요합니다. 귀속 오류는 심각한 결과를 초래할 수 있습니다.

의료. 의사와 환자 간의 임상 대화는 정확하게 문서화되어야 합니다. 분리는 자동 의료 스크라이브가 증상, 진단, 지시를 올바른 당사자에 귀속시키는 데 도움을 줍니다.

접근성. 청각 장애인을 위해 화자 식별이 포함된 자막 콘텐츠는 구분되지 않은 텍스트보다 훨씬 더 유용합니다.

분리 접근 방식의 유형

오프라인 vs 온라인 분리

오프라인 분리는 녹음이 완료된 후 완전한 오디오 파일을 처리합니다. 전체 대화를 분석하여 화자 할당에 대해 전역적으로 최적의 결정을 내릴 수 있습니다. 시스템이 사용 가능한 모든 정보에 접근할 수 있으므로 이 접근법은 일반적으로 더 높은 정확도를 생산합니다.

온라인(실시간) 분리는 오디오가 도착하는 대로 처리하며, 최소 지연으로 화자 라벨을 할당합니다. 이는 실시간 자막, 실시간 회의 어시스턴트, 음성 제어 시스템에 필요합니다. 트레이드오프는 시스템이 모호한 세그먼트를 해결하기 위해 앞을 볼 수 없으므로 정확도가 감소한다는 것입니다.

종단간 신경 분리

전통적인 분리 파이프라인은 여러 독립 모듈을 체인으로 연결합니다. Hitachi와 NTT의 연구자들이 개척한 종단간 신경 분리(EEND)는 이 파이프라인을 각 시간 프레임에 대한 화자 라벨을 직접 출력하는 단일 신경망으로 대체합니다.

EEND 모델은 다중 화자 오디오 혼합에서 훈련되며 음성 활동 감지, 겹침 감지, 화자 할당을 공동으로 처리하도록 학습합니다. EEND-EDA(인코더-디코더 어트랙터) 변형은 고정된 상한 없이 유연한 화자 수를 처리할 수 있어 이전 EEND 접근법의 핵심 제한을 해결합니다.

하이브리드 접근법

많은 최첨단 시스템은 신경망과 클러스터링 기반 방법을 결합합니다. 예를 들어, 시스템은 임베딩 추출과 겹침 감지에 신경망을 사용하고, 화자 할당에 클러스터링을 적용하며, 최종적으로 신경 재분할 모델로 결과를 정교화할 수 있습니다.

화자 분리의 과제

상당한 진전에도 불구하고 여러 문제가 여전히 어렵습니다.

겹치는 음성

두 명 이상의 화자가 동시에 말할 때, 전통적인 분리 시스템은 각 시간 프레임이 일반적으로 단일 화자에 할당되므로 어려움을 겪습니다. EEND 같은 겹침 인식 모델이 이를 더 잘 처리하지만, 겹치는 음성은 여전히 가장 큰 오류 원인 중 하나입니다. 자연스러운 대화에서 겹침은 발화 시간의 10-20%를 차지할 수 있습니다.

유사한 목소리

같은 성별, 연령대, 방언의 화자는 매우 유사한 임베딩을 생산할 수 있어 클러스터링 알고리즘이 하나의 화자로 병합하게 만듭니다. 이는 유사한 음성 특성을 가진 패널 같은 동질적 그룹에서 특히 도전적입니다.

짧은 발화

매우 짧은 순서, 빠른 "네", "맞아요", "음" 같은 것은 임베딩 추출을 위한 음향 정보를 거의 제공하지 않습니다. 이러한 짧은 세그먼트는 자주 잘못 할당됩니다.

다양한 녹음 조건

분리 정확도는 배경 소음, 반향, 저품질 마이크, 다양한 녹음 거리에 의해 저하됩니다. 마이크에 가까운 화자와 방 건너편에 있는 화자는 시스템이 일관되게 인식해야 함에도 매우 다른 오디오 특성을 생성합니다.

알 수 없는 화자 수

대부분의 실제 시나리오에서 화자 수는 사전에 알 수 없습니다. 시스템은 화자 수 추정과 라벨 할당을 공동으로 수행해야 합니다. 과대 추정은 한 화자를 두 명으로 분할하고, 과소 추정은 두 화자를 하나로 병합합니다.

화자 분리의 정확도

분리 정확도는 **분리 오류율(DER)**로 측정되며, 이는 세 가지 유형의 오류를 결합합니다: 누락된 음성(감지되지 않은 음성), 거짓 알람(비음성이 음성으로 라벨링), 화자 혼동(잘못된 화자에 귀속된 음성). DER이 낮을수록 좋습니다.

잘 연구된 벤치마크에서 현재 최첨단은 다음을 달성합니다:

• CALLHOME (전화 대화): 시스템과 평가 조건에 따라 5-10% DER.
• AMI 회의 코퍼스: 원거리 녹음에서 10-20% DER, 근접 마이크에서 더 낮음.
• DIHARD 챌린지 (다양하고 어려운 오디오): 어린이 음성, 웹 동영상, 임상 인터뷰를 포함한 실제 조건의 어려움을 반영하여 15-25% DER.

양호한 오디오 품질로 녹음된 일반적인 두 화자 대화에서 현대 시스템은 정기적으로 5% 미만의 DER을 달성합니다. 화자 수가 증가하거나, 오디오 품질이 감소하거나, 겹침이 더 빈번해지면 성능이 저하됩니다.

DER 측정은 평가 프로토콜에 따라 크게 달라진다는 점에 주목할 가치가 있습니다. 용서 칼라(화자 전환 주변의 채점에서 제외되는 작은 시간 버퍼)와 겹침 영역의 채점 여부 모두 보고된 수치에 실질적으로 영향을 미칩니다. 시스템을 비교할 때 평가 조건이 일치하는지 확인하세요.

실제 화자 분리

Vocova 같은 전사 도구에서 화자 분리는 자동 음성 인식과 함께 작동하여 업로드된 오디오에서 직접 라벨이 지정된 전사본을 생성합니다. 회의, 인터뷰, 팟캐스트 또는 다중 화자 오디오 녹음을 업로드하면 시스템은 각 세그먼트에 화자 라벨과 타임스탬프가 태그된 전사본을 반환합니다.

Vocova는 자동 언어 감지와 함께 100개 이상의 언어로 오디오를 처리하고 분리를 적용하여 녹음 전체에서 개별 화자를 식별합니다. 결과는 화자 라벨이 보존된 PDF, SRT, VTT, DOCX 또는 기타 형식으로 내보낼 수 있는 구조화된 전사본입니다. 이를 통해 누가 무엇을 말했는지를 듣고 주석을 다는 수동 작업이 없어집니다.

다중 화자 녹음을 정기적으로 다루는 팀과 개인에게 자동 분리는 녹음 후 처리 시간을 수 시간에서 수 분으로 줄일 수 있습니다.

자주 묻는 질문

화자 분리와 화자 인식의 차이점은 무엇인가요?

화자 분리는 화자가 누구인지 알지 못한 채 화자별로 오디오를 분할합니다. "화자 1" 또는 "화자 2" 같은 일관된 라벨 아래 같은 목소리의 음성을 그룹화하여 "누가 언제 말했는지"에 답합니다. 반면 화자 인식은 저장된 성문(voiceprint)에 대해 목소리를 매칭하여 특정 알려진 개인을 식별합니다. 분리는 비지도적이고, 인식은 알려진 화자의 사전 등록이 필요합니다.

분리가 몇 명의 화자를 처리할 수 있나요?

하드 기술적 제한은 없지만 화자 수가 증가하면 정확도가 감소합니다. 대부분의 시스템은 2-6명의 화자에서 잘 작동합니다. 8-10명 이상의 화자에서는 많은 목소리를 구별하기 어렵고 짧은 턴과 겹치는 음성의 가능성이 증가하여 오류율이 크게 상승합니다. 대규모 그룹 녹음에서는 분리를 마이크 할당 같은 추가 메타데이터와 결합하면 결과가 개선될 수 있습니다.

화자 분리가 실시간으로 작동하나요?

예, 온라인 분리 시스템은 일반적으로 몇 초 이내의 낮은 지연으로 화자 라벨을 할당할 수 있습니다. 실시간 분리는 실시간 자막, 회의 어시스턴트, 음성 분석 플랫폼에 사용됩니다. 하지만 실시간 시스템은 일반적으로 모호한 세그먼트를 해결하기 위해 미래 맥락을 사용할 수 없으므로 완전한 녹음을 처리하는 오프라인 시스템보다 오류율이 높습니다.

분리가 화자의 이름을 알려줄 수 있나요?

자체적으로는 안 됩니다. 분리는 화자가 누구인지 모르기 때문에 익명 라벨(화자 1, 화자 2 등)을 할당합니다. 라벨을 이름에 매핑하려면 화자 식별(알려진 성문에 대한 매칭)이나 사후 수동 주석이 필요합니다. 일부 전사 도구는 분리가 완료된 후 화자 라벨의 이름을 변경할 수 있게 합니다.

오디오 품질이 분리 정확도에 어떤 영향을 미치나요?

오디오 품질은 상당한 영향을 미칩니다. 조용한 환경의 근접 마이크에서 녹음한 고품질 녹음이 가장 좋은 결과를 산출합니다. 배경 소음, 반향, 낮은 비트레이트 압축, 원거리 녹음(화자가 마이크에서 멀리)은 모두 정확도를 저하시킵니다. 전화 통화와 단일 공유 마이크를 사용하는 회의실 녹음은 개별 헤드셋 녹음보다 더 도전적입니다.

분리 오류율(DER)이란 무엇인가요?

분리 오류율은 분리 시스템을 평가하기 위한 표준 지표입니다. 총 오류 기간(누락된 음성 + 거짓 알람 음성 + 화자 혼동)을 총 참조 음성 기간으로 나누어 계산합니다. 0% DER은 완벽한 분리를 의미합니다. 최첨단 시스템은 오디오의 난이도에 따라 5-15%의 DER을 달성합니다. 이 지표는 NIST에 의해 정의되며 학술 벤치마크와 산업 평가에서 사용됩니다. 전사 정확도 지표에 대한 자세한 내용은 단어 오류율 가이드를 참조하세요.