에코 제거와 잡음 제거는 다릅니다: 차이와 확인 방법

에코 제거와 잡음 제거는 다릅니다, 차이와 확인 방법

에코 제거와 잡음 제거는 이름이 비슷해서 같은 기술로 보이지만, 원인·참조 신호·알고리즘이 모두 다른 별개의 기술입니다. 둘을 구분하지 않으면, 에코 문제에 잡음 제거를 적용하거나, 잡음 문제에 에코 제거를 적용하는 식의 잘못된 선택이 반복돼요. 이 글에서는 에코와 잡음이 왜 다른 문제인지 정리하고, 제품 조건에 따라 어떤 기술을 선택해야 하는지 판단 기준을 제시합니다.

에코와 잡음은 왜 다른 문제인가

한 문장으로 구분하면 이렇습니다.

• 에코는 제품이 스스로 낸 소리가 마이크에 돌아오는 것
• 잡음은 외부 환경에서 오는 소리

키오스크가 "주문하시겠습니까?"라고 안내 음성을 내보내는데, 그 소리가 마이크에 다시 들어오면 에코예요. 옆 테이블에서 대화하는 소리가 들어오면 잡음이에요. 둘 다 "원하지 않는 소리"이긴 하지만, 소리가 오는 경로와 성질이 완전히 달라요.

이 차이가 중요한 이유는 해결 방법이 근본적으로 다르기 때문입니다.

에코 제거는 "내가 내보낸 소리를 알고 있으니, 마이크에 돌아온 만큼을 빼는" 원리로 동작해요. 잡음 제거는 "무슨 소리가 올지 모르니, 입력 신호에서 음성과 잡음을 구분해서 잡음을 줄이는" 원리로 동작합니다.

에코 제거기에는 참조 신호(레퍼런스)가 반드시 필요하고, 잡음 제거기에는 참조 신호가 없어요. 이 한 가지 차이가 두 기술의 알고리즘 구조를 완전히 갈라놓습니다.

에코 제거(AEC)는 어떻게 동작하나

에코 제거기(Acoustic Echo Canceller, AEC)는 스피커로 내보낸 신호를 참조로 받아, 마이크에 되돌아온 에코 성분을 추정해 빼는 방식으로 동작합니다.

원리를 단순화하면 이렇습니다:

1. 제품이 스피커로 소리를 재생한다
2. 그 소리가 공간을 거쳐 마이크에 되돌아온다, 이것이 에코
3. AEC는 "스피커로 나간 원본 신호"를 참조로 받는다
4. 참조 신호와 마이크 입력 사이의 관계(에코 경로)를 적응 필터로 추정한다
5. 추정된 에코를 마이크 입력에서 뺀다

핵심은 참조 신호가 있다는 점이에요. 스피커로 내보낸 신호를 이미 알고 있기 때문에, 마이크에 돌아온 성분 중 에코에 해당하는 부분을 계산해서 제거할 수 있습니다.

실제 제품에서는 이 과정이 단순하지 않아요. 스피커가 여러 개면 에코 경로도 여러 개이고, 사용자가 말하는 도중(더블토크)에는 에코만 골라 빼기가 어렵고, 스피커의 비선형 왜곡이 있으면 선형 필터로는 잡히지 않는 성분이 남습니다.

mpAEC는 이런 실제 제품 조건에 대응하는 다채널 에코 제거 기술입니다. 반향 채널 수에 제한을 두지 않고(3개 이상 지원) 스테레오·5.1채널·차량 6~8개 스피커 환경까지 대응하며, 사용자가 발화하는 중에도 안정적으로 에코를 제거하도록 설계되어 더블토크 검출 단계가 필요 없습니다. mpAEC의 핵심 기술은 IEEE Transactions on Signal Processing에 게재됐고, 한국·미국·중국에 특허가 등록되어 있습니다.

다만 채널이 늘수록 계산 복잡도가 커지고 성능 저하가 있을 수 있어, 실제 스피커 배치와 연산 플랫폼으로 확인합니다.

잡음 제거(NC)는 어떻게 동작하나

잡음 제거기(Noise Canceller, NC)는 참조 신호 없이, 마이크 입력만으로 목표 음성과 잡음을 구분해 잡음을 줄이는 방식으로 동작합니다.

에코 제거와의 결정적 차이는 **"무엇이 들어올지 모른다"**는 점이에요. 옆자리 대화, 도로 소음, 에어컨 소리, 어떤 잡음이 어떤 크기로 들어올지 미리 알 수 없습니다.

잡음 제거의 접근 방식은 크게 두 가지입니다:

• 다중 마이크(빔포밍): 여러 마이크에 입력되는 신호의 공간적 차이를 이용해, 목표 방향의 소리는 살리고 다른 방향의 잡음은 줄인다. 마이크 배열을 설치할 수 있는 제품에서 잡음 제거 폭이 더 크다
• 단일 마이크: 마이크 하나의 입력만으로 음성과 잡음의 특성 차이를 학습해 구분한다. 마이크를 추가하기 어려운 이어폰, 웨어러블, 소형 디바이스에 적용한다

mpNC는 단일 마이크 기반의 잡음 제거 기술입니다. 마이크 배열을 넣을 수 없는 이어폰·웨어러블·소형 스마트 디바이스에서 주변 잡음을 줄이되, 목표 음성을 왜곡하지 않는 선별 제거를 원칙으로 합니다.

마이크를 여러 개 넣을 수 있는 제품이라면 mpBeamforming이 잡음 제거 폭에서 유리하고, 마이크 수가 제한적이면 mpNC가 현실적인 선택입니다.

비교표: 에코 제거 vs 잡음 제거

에코 제거기에 잡음을 넣으면 참조 신호가 없어서 제거하지 못하고, 잡음 제거기에 에코를 넣으면 제품이 스스로 낸 소리를 외부 잡음과 구분하지 못합니다. 역할이 다르니 도구도 달라야 합니다.

우리 제품에는 어떤 기술이 필요한가, 판단 기준

제품의 물리적 조건 두 가지를 확인하면 필요한 기술이 좁혀져요.

1. 제품에 스피커가 있는가?

로봇이 응답하고, 키오스크가 안내음을 내고, 차량에서 오디오가 재생되는 제품이라면, 스피커 소리가 마이크에 돌아오는 에코가 반드시 발생합니다. 에코 제거(AEC)가 필요합니다.

2. 제품이 쓰이는 환경이 시끄러운가?

매장 배경 소음, 도로 주행 소음, 공장 기계 소음 등 외부 잡음이 마이크에 함께 들어오는 환경이라면, 잡음 제거(NC 또는 빔포밍)가 필요합니다.

둘 다 해당하면?

로봇, 키오스크, 차량처럼 스피커도 있고 주변도 시끄러운 제품은 에코 제거와 잡음 제거가 동시에 필요합니다. 이때 둘을 따로 직렬 연결하면 뒤쪽 처리기가 앞쪽 처리 결과에 다시 적응하면서 목표 음성이 왜곡될 수 있어요.

mpAB는 에코 제거(mpAEC)와 빔포밍(mpBeamforming)을 결합한 통합 전처리입니다. 따로 돌리는 것이 아니라 하나로 최적화해, 에코와 잡음을 동시에 줄이면서 목표 음성의 왜곡을 억제합니다. 2025년 산업통상자원부 NET 신기술 인증을 받았고, TTA 시험성적서(2023, 중기부 디딤돌, mpAB 대상)에서 스테레오 에코·잡음 억제 42.088 dB이 실측됐습니다.

반대로, 스피커가 없고 주변이 조용한 환경이라면 전처리가 불필요할 수 있어요. 현장에서 음성인식이 실패할 때는 입력 신호를 먼저 확인하고, 문제가 입력 품질이 아니라 인식 엔진 자체에 있는지 판단하는 것이 먼저입니다.

WebRTC AEC로 에코가 안 잡힐 때

WebRTC AEC를 쓰고 있는데 에코가 남는 경우가 있어요. 이때 "에코 제거가 안 되니 잡음 제거를 추가하자"고 판단하는 경우가 있는데, 잡음 제거기는 에코를 제거하는 도구가 아니므로 문제가 해결되지 않습니다.

WebRTC AEC3의 에코가 남는 구조적 원인은 별도 글에서 자세히 다루고 있어요. 요약하면:

• 다채널 참조 처리: AEC3는 다채널 콘텐츠가 감지되지 않으면 참조를 한 채널로 합치는 처리가 소스코드에 들어 있습니다. 5.1채널이나 차량처럼 스피커마다 다른 소리를 내는 환경에서는 합쳐진 참조로는 에코를 정확히 추정할 수 없어요
• 비선형 왜곡: 소형 스피커를 고음량으로 구동하면 출력이 원본의 선형 변환이 아니게 됩니다. 선형 적응 필터로는 이 성분을 잡을 수 없어요
• 더블토크: 안내음이 나가는 도중 사용자가 말하면, 키오스크에서는 이것이 기본 상황이에요, 에코 제거기가 사용자 음성까지 깎을 수 있습니다

이런 경우는 잡음 제거 추가가 아니라, 환경에 맞는 전용 에코 제거로 교체하는 것이 올바른 경로입니다.

정리: 같은 "제거"지만 완전히 다른 기술

에코 제거와 잡음 제거를 한 문장씩으로 구분하면:

• 에코 제거: 내가 낸 소리를 알고 있으니, 돌아온 만큼을 뺀다 (참조 있음)
• 잡음 제거: 무엇이 올지 모르니, 음성과 잡음을 구분해서 잡음을 줄인다 (참조 없음)

제품에 스피커가 있으면 에코 제거를 먼저 검토하고, 주변이 시끄러우면 잡음 제거를 검토하고, 둘 다면 통합 전처리를 검토하세요. 어느 쪽이든 전처리는 기존 음성인식 엔진을 바꾸지 않고 입력 품질을 개선하는 계층이므로, 인식 엔진에 손대기 전에 먼저 확인할 가치가 있습니다.

성능 수치를 볼 때는 억제량(dB)뿐 아니라 시험 조건, 목표 음성 보존 여부, 실시간성을 함께 확인하세요. 지표를 읽는 방법은 여기에 정리돼 있습니다.

우리 제품에 에코 제거가 필요한지, 잡음 제거가 필요한지, 아니면 둘 다인지 아직 확실하지 않다면, 제품의 스피커 구성, 마이크 수, 주요 잡음 환경을 정리해서 문의해 주세요. PoC 단계에서 어떤 전처리 조합이 맞는지 확인해 드립니다.

PoC 문의