단어 오류율(WER)이란 무엇이며, '99% 정확도' 주장을 어떻게 읽어야 할까

단어 오류율(WER, Word Error Rate)은 음성인식의 표준 잣대입니다. 사람이 완벽하게 만든 기준 전사본을 두고, 기계가 낸 결과를 단어 하나하나 비교해 틀린 곳을 셉니다. WER 5%는 대략 "정확도 95%"라는 뜻인데, 바로 이 지표를 마케팅 문구로 옮기는 순간부터 문제가 시작됩니다. WER은 실재하는 유용한 척도지만, 광고에 인용되는 방식은 거의 무의미합니다. 이 지표가 어떻게 계산되는지, 무엇을 가리는지, 그리고 정확도 주장을 아는 사람처럼 따져 보는 법을 정리했습니다.

단어 오류율(WER) 계산 방법

기계가 만든 전사본을 사람이 검증한 기준 전사본과 나란히 놓고, 세 종류의 오류를 셉니다.

• 대체(Substitution): 엉뚱한 단어. "반드시"를 "반듯이"로, "BlaBlaScribe"를 "블라 블라 스크립"으로 적은 경우.

• 삭제(Deletion): 기계가 빠뜨린 단어.

• 삽입(Insertion): 기계가 지어낸 단어. 배경 소음에서 생기는 경우가 많습니다.

그리고 WER = (S + D + I) ÷ N으로 계산합니다. 여기서 N은 기준 전사본의 단어 수입니다. 200단어짜리 기준 전사본에서 오류가 10개면 WER 5%입니다. 삽입도 오류로 세기 때문에 엉망인 오디오에서는 WER이 100%를 넘을 수도 있는데, 이 특이점이 지표가 얼마나 글자 그대로 따지는지 보여 줍니다. (이 지표의 뿌리는 편집 거리에 있으며, 공식 정의는 영문 위키백과 항목에 있습니다.)

WER이 가리는 것

모든 오류를 똑같이 치지만, 실제로는 다르다

"음"을 빠뜨린 것도, CEO 이름을 엉망으로 적은 것도 WER에서는 똑같이 오류 하나입니다. 읽는 사람에게 하나는 보이지도 않고, 다른 하나는 캡처되어 돌아다닙니다. 실제 전사본의 품질은 어떤 단어가 틀렸느냐, 즉 이름, 숫자, 부정어에 달려 있는데 WER은 그 차이를 보지 못합니다. ("할 수 있다"와 "할 수 없다"도 대체 오류 하나일 뿐입니다.)

테스트 오디오 없이는 숫자에 의미가 없다

같은 시스템이 스튜디오에서 녹음한 팟캐스트에서는 WER 4%, 바람 부는 현장에서 기자들이 몰린 질의응답을 휴대폰으로 녹음한 파일에서는 30%가 나올 수 있습니다. 업체의 "99% 정확도"도 무언가로 측정한 결과이고, 그건 거의 틀림없이 깨끗하고 원어민 억양이며 한 사람만 말하는 음성입니다. 내 결과를 예측해 주는 벤치마크는 내 오디오뿐이고, 이것이 전사 정확도가 들쭉날쭉한 이유를 다룬 가이드의 솔직한 핵심입니다.

정규화라는 게임

비교하기 전에 텍스트를 정규화합니다. 대소문자, 문장 부호, "20"과 "스물", 추임새 같은 것들이죠. 정규화 방식을 어떻게 고르느냐에 따라 WER이 몇 %포인트씩 움직입니다. 공개된 수치는 이런 선택을 거의 밝히지 않으니, 업체 간 대표 수치 비교는 대부분 보여 주기용입니다.

WER은 제품의 나머지에 대해 아무것도 말해 주지 않는다

화자를 잘못 붙인 오류, 엉망인 문장 부호, 어긋나는 타임스탬프는 WER에 전혀 반영되지 않습니다. WER 3%에 화자 라벨이 뒤죽박죽인 전사본은, WER 5%에 화자 구분이 깔끔한 전사본보다 쓸모가 떨어집니다. (화자 분리에는 DER이라는 별도 지표가 있는데, 업체들은 이걸 훨씬 더 드물게 인용합니다.)

정확도 주장을 읽는 법

마케팅 문구를 풀어 읽는 간단한 표입니다.

엄밀히 말해 거짓말은 없습니다. 최상의 조건에서 나온 숫자를 일반적인 수치처럼 내세울 뿐입니다. 정직한 정확도 설명인지 알아보는 단서는 조건입니다. 어떤 오디오로, 어떤 억양으로, 어떤 정규화 방식으로 쟀는가.

중요한 벤치마크는 단 하나, 내 오디오

읽는 것보다 테스트하는 게 낫습니다. 절차는 20분이면 됩니다.

1. 실제 녹음 하나를 고르세요. 평소 쓰는 마이크, 억양, 말 겹침이 그대로 담긴 파일로요. 가장 깨끗한 파일이 아니라 평범한 파일이어야 합니다.

2. 비교할 도구들에 돌려 보세요(바로 이런 용도로 무료 플랜이 있습니다. 무료 도구 가이드에 정리해 두었습니다).

3. 정식으로 WER을 계산하지 말고, 읽으세요. 이름, 숫자, 전문 용어, 부정어처럼 대가가 큰 단어를 확인하고 그 오류를 세세요.

4. 주변도 확인하세요. 화자 라벨은 맞는지, 문장 부호는 읽을 만한지, 타임스탬프를 클릭해 검증할 수 있는지.

5. 수정 시간을 재세요. 각 도구의 편집기에서 게시할 수 있는 상태가 되기까지 걸리는 시간이, 한 주 동안 실제로 체감하게 될 지표입니다.

자주 묻는 질문

2026년 AI 전사에서 좋은 WER은 어느 정도인가요?

마이크를 제대로 쓴 깨끗한 음성이라면 선도 시스템들은 한 자릿수 초반대에 있습니다. 정말 훌륭한 수준이죠. 하지만 소음, 강한 억양, 말 겹침이 있는 어려운 오디오에서는 어떤 시스템이든 WER이 가파르게 오릅니다. 정직하게 말할 수 있는 단일 숫자는 없습니다.

정확도 95%면 괜찮은 건가요?

스무 단어마다 오류가 하나라는 뜻입니다. 빽빽한 전사본이라면 줄마다 눈에 띕니다. "괜찮은지"는 전적으로 어떤 단어가 틀렸는지, 그리고 편집기로 얼마나 빨리 고칠 수 있는지에 달려 있습니다.

왜 업체들은 하나같이 99% 가까이 된다고 주장하나요?

깨끗한 벤치마크에서 나온 최상의 수치가 그 언저리에 모이고, 바람 부는 주차장에서 얻은 점수를 광고하는 곳은 없기 때문입니다. 주장이 비슷비슷하다는 건 모든 도구가 같다는 증거가 아니라, 지표가 더는 차이를 가려내지 못한다는 증거로 보세요.

WER이 낮으면 항상 더 좋은 전사본인가요?

같은 오디오라면 대개 그렇습니다. 하지만 실제 작업 가치는 화자 구분, 문장 부호, 편집 편의성이 좌우합니다. 소수점이 아니라 완성된 전사본을 비교하세요.

정리하며

WER은 훌륭한 엔지니어링 지표이지만 구매 가이드로는 부족합니다. 무엇을 세는지 알고, 무엇을 무시하는지 눈여겨보고, 지저분한 실제 녹음 하나를 내 눈으로 직접 읽어 보세요. 그 결과가 모든 광고의 모든 퍼센트보다 믿을 만합니다.