Whisper 회의록 자동화, 녹음만 해두면 요약까지 나오는 방법
Whisper로 받아쓰기하고 AI로 요약하면 회의가 끝나고 5분 안에 정리된 회의록이 나옵니다. 직접 써본 흐름과 처음 쓸 때 헤매는 지점들을 정리했어요.
회의가 끝나고 내용을 정리해야 하는 일, 회의 중에 받아 적으면 대화에 집중을 못하고 나중에 쓰려면 기억이 흐려지는 문제가 늘 반복됩니다. 결론부터 말하면 녹음 파일 하나만 있으면 Whisper가 받아쓰기를 해주고 AI가 그걸 요약·정리까지 해줘요. 회의 내내 받아 적던 시간을 다른 데 쓸 수 있게 됩니다. 이 글에서는 Whisper로 뭘 자동화할 수 있는지, 직접 써보며 달라진 점은 뭔지 정리합니다.
Whisper가 하는 일
Whisper는 OpenAI가 공개한 음성 인식 모델입니다. 음성 파일을 넣으면 텍스트로 변환해줘요. 성능이 높아서 잡음이 좀 섞이거나 말이 겹치는 구간에서도 웬만큼 알아들으며, 한국어도 별도 설정 없이 잘 처리합니다.
받아쓰기 모델이지만 몇 가지 점에서 일반 받아쓰기 도구와 다릅니다.
- 내 컴퓨터에서 직접 돌릴 수 있어요. API로 쓸 수도 있지만 오픈소스라 로컬 실행도 됩니다. 회의 내용처럼 민감한 대화가 외부 서버에 올라가지 않아도 되는 장점이 있어요.
- 여러 언어를 자동으로 잡아냅니다. 회의 중에 영어 단어가 섞이거나 혼용해도 그냥 따라옵니다.
- 타임스탬프를 함께 뽑아줘요. 텍스트만 나오는 게 아니라 몇 분 몇 초에 한 말인지도 같이 나와서, 긴 회의에서 특정 발언을 다시 찾을 때 바로 돌아갈 수 있습니다.
AI와 엮으면 달라지는 것들
Whisper가 뽑아준 텍스트 원문은 말 그대로 말한 대로입니다. "어, 그니까 그게... 맞죠? 네, 그래서 저는 이렇게 생각하는데요"처럼 구어체가 가득하고, 같은 말이 반복되고, 중요한 내용과 잡담이 뒤섞여 있어요.
이걸 AI한테 넘기는 순간 이야기가 달라집니다. Claude한테 "다음 회의 전사를 정리해줘, 결정된 사항과 각자 할 일만 추려서"라고 시키면 핵심만 깔끔하게 나와요. 원문이 거칠어도 AI가 다듬어주니까 공유하기 좋은 문서가 됩니다.
AI한테 이런 일들을 시킬 수 있어요.
- 핵심 요약: 30분 회의를 다섯 문장으로
- 결정 사항 추출: "이걸로 결정됐다"는 내용만 따로
- 액션아이템 정리: 누가 무엇을, 언제까지
- 안건별 분류: 여러 주제가 섞인 회의를 주제별로 나눠 정리
엑셀 작업을 클로드 코워크에 넘겼을 때처럼 텍스트 처리도 "이걸 이렇게 정리해줘" 한 문장이면 됩니다. 형식을 어떻게 짤지 고민할 필요 없이 원하는 결과물 양식을 보여주면 그대로 맞춰줘요.
직접 써본 흐름
실제로 쓰는 흐름은 이렇습니다.
- 회의 녹음: 화상회의라면 녹화 기능을 쓰고, 대면이라면 폰이나 녹음기로 소리만 녹음해둡니다. 상대방이 괜찮다고 한 경우에만 녹음해요.
- Whisper 변환: 녹음 파일을 Whisper에 넣으면 텍스트 파일이 나옵니다. 1시간 회의라도 변환 자체는 몇 분 안에 끝나요.
- AI 정리: 전사 텍스트를 Claude에 붙여넣고 "결정된 것, 내가 할 일, 다음 회의 안건만 추려줘"라고 시킵니다.
- 검토 후 공유: AI가 뽑아준 요약을 빠르게 훑어보고 노션이나 슬랙에 올려요.
회의 중에 받아 적느라 흐름을 놓치던 게 없어졌습니다. 이제 대화에만 집중하고, 끝나고 5분이면 정리된 문서가 나와 있어요.
개인적으로 든 생각
- Whisper가 받아쓴 원문은 거칠어도 AI가 다듬어주면 공유하기 좋은 문서가 나오는 것 같아요
- 회의 중에 받아 적느라 흐름을 놓치던 게 없어지니 대화에 더 집중하게 되는 느낌이 들더라고요
- 완벽한 전사보다 핵심이 잘 잡힌 요약이 실용적으로 더 쓸 만한 것 같습니다
알아두면 덜 헤매는 것들
Whisper를 처음 쓸 때 자주 막히는 지점과 알아두면 좋은 것들을 정리했습니다.
음질이 결과를 크게 좌우합니다. Whisper가 꽤 강인하긴 해도, 여러 명이 동시에 말하거나 에코가 심한 환경에선 정확도가 눈에 띄게 떨어져요. 화상회의라면 각자 헤드셋을 쓰는 것만으로도 전사 품질이 달라집니다.
화자 구분은 기본 Whisper에 없어요. 누가 한 말인지 태그를 붙여주는 화자 분리(diarization)는 기본 Whisper에 포함되어 있지 않습니다. 파이에녹스(pyannote.audio) 같은 별도 라이브러리와 조합하면 되는데, 그냥 전사만 해도 AI 요약 단계에서 문맥을 충분히 살릴 수 있어서 처음엔 기본 전사만으로 시작해도 실용적이에요.
모델 크기를 골라 쓸 수 있어요. Whisper는 tiny부터 large까지 크기 선택이 가능합니다. 크기가 클수록 정확하지만 처리 속도가 느리고 메모리를 많이 씁니다. 짧은 회의라면 medium 정도로 속도와 정확도 균형을 잡기 좋아요.
API 방식은 파일 크기 제한이 있어요. OpenAI API를 통해 쓰면 파일 하나당 25MB 제한이 있습니다. 긴 녹음 파일이라면 ffmpeg 같은 도구로 쪼갠 다음 넣어야 해요.
전사 결과는 반드시 한 번 훑어보세요. AI 요약 전에 원문을 빠르게 확인하면 Whisper가 고유명사나 전문 용어를 잘못 들은 곳을 잡을 수 있습니다. 틀린 채로 요약이 되면 그게 회의록에 남아요.
여러 자동화 단계를 이어 쓰는 흐름이 익숙해지면 하네스 엔지니어링으로 구조를 잡는 방법도 참고해볼 만합니다. 녹음 → 전사 → 요약 → 공유처럼 단계가 이어지는 자동화는 구조를 미리 설계해두면 훨씬 안정적으로 돌아가거든요.
자주 묻는 질문
Whisper를 쓰려면 코딩을 알아야 하나요? 직접 실행하려면 파이썬 환경이 필요합니다. 다만 Whisper를 UI로 감싼 앱들이 꽤 있어서, 맥용 Whisper Transcription이나 Aiko 같은 앱을 쓰면 파일을 드래그하는 것만으로 전사가 가능해요. 코딩 없이 시작하고 싶다면 이쪽부터 써보는 방법도 있습니다.
회의 내용을 외부 서버에 올리는 게 불편한데 방법이 있나요? Whisper 모델 자체는 오픈소스라 내 컴퓨터에서 돌릴 수 있습니다. GPU가 없어도 CPU로 실행되는데 속도가 좀 느릴 수 있어요. AI 요약 단계에서도 민감한 내용은 지우거나 익명 처리한 뒤에 넘기는 식으로 조절할 수 있습니다.
영어와 한국어가 섞인 회의에도 잘 되나요? Whisper는 언어 감지를 자동으로 해서 섞인 경우도 어느 정도 잡아냅니다. 다만 한 문장 안에서 두 언어가 섞이는 경우는 처리가 고르지 않을 수 있어요. 한국어로 말하다가 영어 단어가 튀어나오는 정도는 대부분 잘 따라옵니다.
무료로 쓸 수 있나요? 오픈소스 모델이라 내 컴퓨터에서 직접 돌리는 건 무료입니다. OpenAI API를 통해 쓰면 분당 과금이 되는데, 회의 한 시간에 적게는 몇십 원에서 몇백 원 수준이에요.
