음성인식이 현장에서 안 될 때, 입력 신호부터 확인하세요

음성인식이 현장에서 안 될 때, 입력 신호부터 확인하세요

조용한 사무실에서는 잘 알아듣던 음성인식이, 제품을 실제 환경에 배치하는 순간 명령을 놓치기 시작해요. 엔진을 바꾸거나 모델을 재학습하기 전에, 마이크에 들어오는 입력 신호의 품질을 먼저 확인하세요. 대부분의 현장 실패는 인식 엔진이 아니라 엔진에 도달하기 전의 입력에서 시작됩니다.

인식 엔진에 도달하기 전에 이미 문제가 생겨요

음성인식 시스템은 마이크 → 입력 신호 → 인식 엔진 순서로 동작합니다. 실험실에서는 마이크에 깨끗한 음성이 들어오기 때문에 엔진이 잘 작동해요. 하지만 현장에서는 목표 음성이 마이크에 도달하기 전에 소음, 에코, 반향 같은 간섭이 섞여요.

이미 훼손된 입력을 받은 인식 엔진은 아무리 성능이 좋아도 원래 음성을 복원하기 어렵습니다. 인식률이 떨어지는 원인이 엔진에 있는 것처럼 보이지만, 실제로는 엔진이 받는 입력 자체가 문제인 경우가 많아요.

이 구조를 이해하면, 현장에서 음성인식이 실패할 때 엔진을 바꾸는 것보다 입력 신호를 먼저 확인하는 것이 합리적인 이유가 분명해져요.

현장에서 입력 신호를 훼손하는 대표적인 원인

현장 환경에서 마이크 입력을 훼손하는 원인은 크게 다섯 가지로 나뉩니다.

1. 주변 대화와 생활 소음

매장, 로비, 공장처럼 사람이 많은 공간에서는 목표 화자의 음성과 주변 대화가 동시에 마이크에 들어와요. 인식 엔진은 어떤 소리가 명령이고 어떤 소리가 배경인지 구분하기 어렵습니다.

특히 회의처럼 여러 사람이 동시에 말하는 환경에서는 화자 간 음성이 겹쳐서 입력 품질이 크게 떨어져요.

확인 방법: 현장에서 마이크 입력을 그대로 녹음한 뒤 재생해 보세요. 목표 음성이 주변 소리에 묻혀서 사람 귀로도 구분하기 어렵다면, 인식 엔진에도 같은 문제가 발생하고 있어요.

2. 제품 스피커의 에코

스마트 스피커, 키오스크, 로봇처럼 스피커와 마이크가 같은 기기에 있는 제품에서 흔한 문제예요. 기기가 안내 음성이나 응답을 재생하는 동안 그 소리가 마이크에 다시 들어갑니다. 이것이 에코(echo)예요.

에코가 섞인 입력에서 인식 엔진은 사용자의 실제 명령과 기기 자신의 출력을 구분하지 못합니다. 범용 WebRTC AEC 모듈로는 이 문제가 충분히 해결되지 않는 경우도 있어요.

확인 방법: 기기가 소리를 재생하는 동안 음성 명령을 시도해 보세요. 재생 중에만 인식률이 떨어진다면 에코가 원인일 가능성이 높아요.

3. 제품 자체의 기계 소음

모터, 팬, 액추에이터가 있는 제품은 동작 중에 자체적으로 소음을 만들어요. 이 소음은 기기 내부에서 발생하기 때문에 마이크와 매우 가깝고, 외부 소음보다 제거하기 어려운 경우가 많습니다.

로봇의 경우 관절 모터의 자기 소음(ego-noise)이 음성인식을 방해하는 대표적인 사례예요. 로봇이 움직이는 동안에만 인식률이 떨어진다면 이 원인을 의심할 수 있어요.

확인 방법: 제품의 물리적 동작(모터 회전, 팬 가동 등)을 멈춘 상태와 동작 중인 상태에서 각각 마이크 입력을 녹음해서 비교해 보세요.

4. 사용자와 마이크 사이의 거리

실험실에서는 보통 마이크 가까이에서 테스트하지만, 실제 제품에서는 사용자가 1미터 이상 떨어져서 말하는 경우가 많아요. 거리가 멀어지면 음성 신호의 크기가 줄어들고, 상대적으로 주변 소음의 비중이 커집니다.

SNR(Signal-to-Noise Ratio, 신호 대 잡음비)이 낮아지면 인식 엔진이 음성을 배경 소음과 구분하기 어려워져요.

확인 방법: 실제 사용 거리에서 마이크 입력을 녹음해 보세요. 가까이에서 녹음한 것과 비교하면 음성 크기와 잡음 비율의 차이를 확인할 수 있어요.

5. 공간 반향

천장이 높거나 벽이 딱딱한 공간에서는 소리가 벽과 바닥에 반사되어 마이크에 여러 번 도달해요. 이것이 반향(reverberation)입니다. 반향이 심하면 음성이 뭉개져서 또렷하게 들리지 않게 됩니다.

인식 엔진에는 원래 음성과 반사된 음성이 겹쳐서 들어가기 때문에, 같은 단어라도 인식률이 크게 달라질 수 있어요.

확인 방법: 같은 문장을 흡음재가 있는 작은 방과 실제 설치 공간에서 각각 녹음해서 비교해 보세요. 반향이 심한 공간에서는 녹음된 음성이 울려 들려요.

입력 신호를 확인하는 방법

현장 문제의 원인이 입력 신호인지 확인하려면, 가장 직접적인 방법은 마이크가 실제로 받고 있는 소리를 녹음해서 확인하는 거예요.

1단계: 현장에서 마이크 입력을 그대로 녹음하기

제품이 실제로 사용되는 환경에서, 인식 엔진에 들어가기 직전의 마이크 입력을 WAV 파일로 저장하세요. 전처리가 적용되기 전의 원본 입력(raw input)을 확보하는 것이 핵심이에요.

2단계: 녹음을 재생하며 확인하기

저장한 녹음을 직접 들어보세요. 사람이 들어도 목표 음성을 알아듣기 어렵다면, 인식 엔진도 같은 어려움을 겪고 있어요. 이 경우 인식 엔진의 문제가 아니라 입력 신호의 문제일 가능성이 높습니다.

3단계: 조용한 환경과 비교하기

같은 문장을 조용한 환경과 실제 환경에서 각각 녹음해서 비교하세요. 조용한 환경에서는 인식이 잘 되는데 현장에서만 실패한다면, 환경에 의한 입력 훼손이 원인이에요.

이 세 단계만으로도 "엔진 문제인지, 입력 문제인지"의 첫 번째 판단을 할 수 있어요.

인식 엔진을 바꿔야 할까, 입력을 개선해야 할까

입력 신호 확인 결과에 따라 다음 단계가 달라져요.

입력 신호에 문제가 있는 경우

녹음에서 소음, 에코, 반향이 확인되면 인식 엔진보다 입력 품질을 먼저 개선해야 해요. 음성 전처리(Audio Front-End)는 마이크와 인식 엔진 사이에서 입력 신호의 품질을 높이는 계층입니다.

전처리에 대한 기본 개념은 음성 전처리란 무엇인가?에서 확인할 수 있어요.

핵심은, 전처리는 인식 엔진을 교체하는 것이 아니라 엔진이 받는 입력을 개선하는 것이에요. 기존 인식 엔진을 유지하면서 전처리만 추가하는 것이 가능합니다.

인식 엔진 자체에 문제가 있는 경우

입력 신호가 깨끗한데도 특정 단어나 문장을 인식하지 못한다면, 엔진의 언어 모델이나 음향 모델이 해당 도메인에 맞지 않을 수 있어요. 이 경우에는 엔진 파인튜닝이나 엔진 교체를 검토하는 것이 맞아요.

두 가지가 동시에 있는 경우

현장에서는 입력 훼손과 엔진 한계가 동시에 나타나는 경우도 있어요. 이때는 입력 개선을 먼저 하고, 개선된 입력에서도 인식이 안 되는 부분을 따로 분석하는 순서가 효율적이에요. 입력이 훼손된 상태에서 엔진을 교체해도 근본 원인이 해결되지 않기 때문입니다.

전처리가 필요한 상황과 다른 접근이 필요한 상황

모든 현장 실패가 전처리로 해결되는 것은 아닙니다. 아래 표를 참고하세요.

전처리는 "입력 신호가 환경에 의해 훼손되는 문제"에 대한 접근이에요. 엔진의 언어적 한계나 하드웨어 결함은 전처리의 대상이 아닙니다.

다음 단계

입력 신호에 문제가 있고 전처리가 필요하다고 판단했다면, 다음 정보를 정리하는 것부터 시작하세요.

• 제품 유형: 로봇, 키오스크, 차량, 스마트 기기 등
• 마이크 구성: 마이크 수, 배치, 종류
• 사용자와 마이크 사이 거리: 일반적인 사용 거리
• 주된 소음 환경: 위에서 확인한 소음 유형
• 현재 사용 중인 인식 엔진: 엔진 종류와 버전
• 현재 적용된 전처리: 있다면 종류와 성능

이 정보가 정리되면, 제품 환경에 맞는 전처리 구성을 검토하는 PoC(Proof of Concept) 단계로 넘어갈 수 있어요.

참고로, mpWAV는 mpAB 모듈 기준으로 TTA 공인 시험에서 42.088 dB의 스테레오 에코·잡음 억제 성능을 실측한 바 있습니다(TTA 시험성적서, 2023, 중기부 디딤돌 과제). 이 수치는 mpAB 모듈 대상의 시험 결과이며, 실제 제품 환경에서의 인식률 향상을 직접 의미하지는 않아요.

제품 환경과 현재 겪고 있는 문제를 정리해서 문의하면, PoC 단계에서 어떤 전처리 구성이 적합한지 확인할 수 있습니다.

관련 글

• 음성 전처리란 무엇인가?, 전처리의 기본 개념과 역할
• 음성인식 엔진을 바꾸지 않고 인식률만 높일 수 있나요?, 기존 ASR을 유지하면서 전처리를 추가하는 방법
• 로봇은 왜 자기 소리 때문에 사람 말을 놓치는가, 로봇 자기 소음의 구체적 분석
• 회의 녹음에서 겹친 발화는 왜 인식이 안 되는가, 다중 화자 환경의 문제
• WebRTC AEC로 에코가 안 잡힐 때, 범용 에코 제거의 한계