Granite Speech 5.0 선택법: 전사·번역·화자 구분은 다른 문제다

회의록에서 정말 필요한 결과부터 고른다

해외 거래처와 통화한 뒤 “Orion 출하를 금요일에 승인했다”는 메모가 남았다고 하자. 실제 발언이 “아직 승인되지 않아 금요일에 출하하지 않는다”였다면, 단어 몇 개의 차이가 다음 업무를 뒤집는다. 문장을 정확히 옮겼더라도 구매 담당자의 요청을 승인 담당자의 약속으로 붙이면 문제는 남는다.

이때 필요한 결과를 먼저 나누면 선택이 쉬워진다. 검색할 문장만 필요한가, 다른 언어로 읽어야 하는가, 발언자와 원음 위치까지 찾아야 하는가. IBM은 2026년 10월 21일 발표에서 새 granite-speech-5.0-2b, 개정된 granite-speech-5.0-470m-turboctc, 개정된 granite-speech-4.1-2b-plus를 함께 소개했다. 모든 기능을 한 모델로 합쳤다는 발표는 아니다. IBM Granite 공식 발표

이 글은 10월 26일 확인한 공식 자료를 바탕으로 한 선택 분석이다. 모델 카드의 날짜는 2B가 10월 20일, TurboCTC가 10월 21일, Plus 개정이 10월 19일이다. 발표 날짜와 구별한다. 아래 통화·출력·시간표는 직접 만든 설명용 사례다. 음성 모델을 실행하거나 한국어 인식률·실시간 속도를 측정하지 않았다.

세 모델의 번호보다 언어와 출력이 먼저다

후보	먼저 검토할 작업	공식 전사 지원 언어
5.0 2B	전사, 영어와의 번역, 전문 용어 목록을 이용한 인식	영어·프랑스어·독일어·스페인어·포르투갈어·일본어
5.0 470M TurboCTC	대량 녹음의 전사, 장치 내 전사	위 여섯 언어와 이탈리아어
4.1 2B Plus	화자 태그나 단어 시각이 필요한 기록	영어·프랑스어·독일어·스페인어·포르투갈어

근거: 2B 모델 카드 · TurboCTC 모델 카드 · Plus 모델 카드. 여기서 지원은 카드의 명시 범위이며 모든 억양·혼합 언어·소음에서의 성능 보증이 아니다.

세 목록 모두 한국어를 포함하지 않는다. 따라서 한국어 회의 도구를 고르는 독자라면 이 비교만으로 도입을 결정할 수 없다. 별도로 한국어가 명시된 후보와 자신의 녹음을 평가해야 한다. 일본어 인터뷰를 글로 옮기는 요구는 5.0 두 모델의 후보 범위지만, 일본어 화자별 회의록을 Plus의 문서상 지원으로 설명할 수는 없다.

번역 방향도 전사 언어와 다르다. 2B 카드는 일본어 등을 영어로, 영어를 해당 언어들로 번역하는 경로를 설명하고, 영어에서 이탈리아어·중국어로의 번역도 명시한다. 이 문장만으로 중국어 입력 전사나 임의의 두 언어 사이 번역을 지원한다고 확장하면 안 된다. 2B의 Intended Use

왜 빠른 전사와 풍부한 기록이 갈라질까

TurboCTC는 소리를 처리하는 Conformer 인코더에 CTC 방식의 출력을 붙인다. 카드는 이전 출력 단어를 차례로 생성하는 자기회귀 방식 대신 비자기회귀 추론과 greedy decoding을 사용한다고 설명한다. 음성에서 문자 단위를 읽는 경로에 집중한 구조다. 이번 개정에는 다국어 어휘와 문장부호·대문자 출력이 들어갔다. TurboCTC 구조

반면 2B는 언어 모델을 음성 입력에 맞춘 speech-language model이다. 입력 언어를 지시하거나, 전문 용어 목록으로 출력을 유도하고, 번역을 요청하는 작업을 다룬다. 모델 카드는 최대 2,000개 용어의 biasing을 명시한다. 이는 사전을 강제로 대입한다는 보장이 아니다. 업무 평가에서는 목록에 있는 용어의 인식과, 실제 발언에 없던 용어가 잘못 끼어드는지를 함께 살펴볼 만하다. 뒤의 평가 제안은 필자의 분석이다. 2B의 기능 설명

Plus는 발언자 태그와 단어 시각을 출력하는 모드를 제공한다. 카드에 따르면 화자는 등장 순서대로 번호가 붙으며, 문장부호와 대문자 출력은 제공하지 않는다. 따라서 보기 좋은 번역문, 발언별 기록, 자막 시각을 같은 출력이라고 취급하면 안 된다. Plus의 출력 모드

이 구분이 산업적으로 유용한 이유는 모든 녹음에 같은 비용을 들이지 않아도 되기 때문이다. 필자의 판단으로는 검색 색인용 대량 전사와 승인 근거용 회의 기록을 별도 경로로 설계할 수 있다. 다만 두 모델의 출력을 합친다면 어느 원음 구간에서 나온 결과인지 연결해야 한다. 빠른 초안을 나중에 정교한 결과로 교체할 때도 이미 누군가 수정한 내용을 덮어쓸지 결정해야 한다. 이는 제품 설계 과제이며 세 모델을 설치하면 자동으로 완성되는 기능은 아니다.

가상 승인 통화로 드러나는 두 종류의 오류

단어 오류율인 WER는 정답에 비해 바뀐 단어·빠진 단어·추가된 단어 수를 정답 단어 수로 나눈 값이다. 단어 단위 편집 거리를 이용한다. Hugging Face WER 정의

다음은 대소문자를 유지하고 공백으로 나눈 가상 정답 12단어다. 모델의 실제 출력이 아니다.

we will not ship Orion on Friday because approval is still pending

not 하나만 빠지면 편집 거리는 1, WER는 1 ÷ 12 × 100 ≈ 8.33%다. 숫자는 한 단어 오류를 나타내지만 “출하하지 않는다”가 “출하한다”로 바뀌었다. 평균 오류율 외에 업무에서 중요하게 보는 부정·날짜·금액·제품명을 별도 표시해야 하는 이유다. 이 예가 어떤 모델의 실패 확률을 뜻하지는 않는다.

화자 구분은 또 다른 축이다. 아래는 영어 통화의 네 발언을 한국어로 풀이한 직접 작성한 상황이다. 구매 담당자와 승인 담당자의 역할은 사람이 알고 있다고 가정한다.

순서	실제 발언자	발언의 뜻	잘못된 기록의 발언자
1	구매 담당	Orion을 출하해 주세요	구매 담당
2	승인 담당	아직 승인 대기입니다	승인 담당
3	구매 담당	그러면 기다리겠습니다	구매 담당
4	승인 담당	제가 내일 확인하겠습니다	구매 담당

네 발언의 단어를 모두 맞혀도 마지막 약속의 담당자를 잘못 지정했다. 화자 태그를 제외한 WER는 0이지만, 이 가상 기록은 업무 인계에 실패한다. 이때 “네 발언 중 하나를 잘못 붙였다”는 자체 확인값을 표준 화자 오류 지표인 WDER·DER·cpWER와 같은 값으로 보고해서도 안 된다.

반대로 모든 Speaker 1을 Speaker B로, 모든 Speaker 2를 Speaker A로 일관되게 바꾼 것은 번호만 달라진 경우다. 번호의 이름을 먼저 대응시킨 뒤 같은 사람의 발언이 일관되게 묶이는지를 본다. 번호 자체는 사원 이름이나 승인 권한의 증명이 아니다.

직접 작성한 설명도. 위 네 발언을 나타내며 모델 화면이나 실행 결과가 아니다.

실무에 적용한다면 원문·원음 위치·모델이 붙인 화자와 사람이 확인한 역할을 구별해 보관할 수 있다. 승인 근거가 필요한 발언은 원음으로 돌아가 역할을 확인한 뒤 업무 기록으로 확정한다. 단순 검색용 녹음에는 이런 확인 절차가 과할 수 있다. 필요한 산출물에 따라 확인 비용을 다르게 배정하는 것이 핵심이다.

RTFx가 높아도 첫 자막은 기다릴 수 있다

Open ASR Leaderboard는 WER와 함께 RTFx를 비교한다. RTFx는 처리한 음성 길이를 추론 시간으로 나눈 처리량 척도다. 높을수록 같은 시간에 더 많은 음성을 처리한다. 평가 저장소

예를 들어 30초 녹음 100개를 한 배치에서 3초에 처리했다면 3,000 ÷ 3 = 1,000 RTFx다. 별개의 가상 실시간 시스템이 2초 분량을 모은 뒤 0.1초 계산하고 표시한다면, 녹음 시작부터 첫 구간 표시는 2.1초 뒤다. 네트워크·대기열·화면 작업까지 제외한 계산이다. 처리량 숫자만으로 실시간 자막의 기다림을 구할 수 없다.

공식 발표와 TurboCTC 카드의 평가 표기도 구분할 필요가 있다. 카드는 속도 그림의 새 다국어 모델 점을 비공식 결과라고 표시하고, 리더보드 항목은 아직 이전 영어 전용 모델이라고 설명한다. 따라서 그 숫자를 새 모델의 공식 등재 성적이나 노트북 실측으로 옮겨 쓰지 않는다. TurboCTC 평가 설명

앱에서 측정할 값은 작업에 맞춘다. 밤새 녹음을 처리한다면 전체 완료 시간과 실패 파일 수가 중요하다. 실시간 자막이라면 첫 표시, 잠정 문장이 확정되는 시간, 수정 빈도가 더 가깝다. 단계별 대기를 찾는 방법은 AI 응답 지연을 나누는 글로 이어서 볼 수 있다.

도입 전 한 묶음의 녹음으로 판단하는 방법

다음 표는 공식 벤치마크가 아니라 팀의 평가 설계 제안이다. 사용 권한이 있는 자료에서 실제 업무의 조건을 뽑고, 정답은 사람이 원음과 대조해 만든다. 여기서 정한 기준을 모델마다 같게 적용해야 한다.

입력 묶음	남길 정답과 확인값	결과가 나쁘면 바꿀 것
제품명·약어가 있는 짧은 발언	용어 정답, 부정·날짜 보존, 목록 밖 용어 오삽입	용어 목록 범위와 프롬프트
두 사람이 번갈아 말하는 통화	발언 묶음, 중요 약속의 실제 담당자	화자 모드와 사람 확인 지점
긴 녹음과 침묵·겹침이 있는 구간	누락·반복, 구간 경계의 발언 연속성	분할 길이와 중첩·병합 방식
같은 원음을 다른 실행 조건으로 처리	완료 시간, 첫 표시·확정 시간, 실패 수, 메모리	배치·장치·실행 라이브러리

분할 조건은 모델마다 다르다. 2B 카드는 좋은 결과를 위해 약 2분 이하 구간을 권고하고, Plus는 자체 평가에서 ASR·화자 모드 최대 9분, 시각 모드 최대 3.5분 구간에서 잘 동작했다고 설명한다. 이는 모든 파일의 강제 한도나 품질 보증이 아니다. 긴 회의를 잘랐다면 구간 사이에서 같은 사람을 어떻게 이어 붙일지 별도로 평가한다. 2B 사용 조건 · Plus 평가 조건

실행 환경도 통일해서 기록한다. 확인한 카드의 Transformers 요구 범위는 2B >=4.52.1, TurboCTC >=5.16.0, Plus >=5.8로 다르다. 이는 문서에 적힌 지원 조건이며 이 글에서 설치 성공을 검증한 명령은 아니다. 모델 저장소의 커밋, 런타임·장치·정밀도, 입력 구간과 배치 크기를 함께 고정해야 비교를 다시 할 수 있다. 세 카드의 라이선스는 Apache 2.0으로 표시되지만, 내려받아 실행하는 비용과 녹음의 취급 조건은 따로 남는다.

자체 사례의 입력·계산은 설명용 검산 JSON에서 볼 수 있다. 음성과 모델 없이 텍스트 편집 거리, 화자 번호의 대응, 시간 산술만 검사한 자료다. 이 글의 선택표를 저장해 두고 실제 녹음 평가를 채우는 출발점으로 사용할 수 있다.

영어·일본어 자료의 전사와 번역이 목표라면 2B부터, 지원 언어의 대량 전사가 목표라면 TurboCTC부터 비교할 이유가 있다. 영어 등의 발언별 기록이 목표라면 Plus를 후보에 넣되, 읽기 좋은 문장과 역할 확인까지의 후속 작업을 계산한다. 한국어 회의라면 먼저 다른 후보군을 찾는다. 장치 선택 단계에서는 HBM·GPU 병목을 구분하는 글을 함께 보고, 실제 평가가 끝나기 전까지 속도·비용 절감을 확정하지 않는다.