핵심 요약
- 기업 내 민감한 회의 정보(미공개 제품 정보, 광고 계약 조건 등)의 외부 유출을 차단하기 위해, 클라우드 업로드 없이 맥북 로컬 환경에서 100% 구동하는 온디바이스 AI 회의록 앱 ‘OMG_Meeting’을 기획 및 제작하였습니다.
- 사용자가 코드를 한 줄도 작성하지 않고도 ‘Manus AI’의 ‘My Computer’ 기능을 통해 AI 에이전트가 직접 사용자의 Mac 시스템 터미널과 Xcode를 제어하며 폴더 생성, Swift 및 Python 하이브리드 아키텍처 구현, 빌드 및 디버깅을 수행하여 앱을 완성하였습니다.
- 개발된 앱은 마이크로소프트의 음성 인식 오픈소스인 ‘VibeVoice-ASR’과 로컬 LLM(Qwen3.6, Gemma-4)을 사용해 실시간 음성 전사, 화자 분리, 요약봇, 대화형 챗봇, 구글 캘린더 일정 등록 자동화를 지원하지만, 안정적인 로컬 구동을 위해 최소 19GB 이상의 여유 RAM 사양과 시스템 발열 감수 등의 하드웨어 자원이 필요합니다.
주요 내용
1. 보안 유출 걱정 없는 온디바이스 AI 앱의 기획 배경
기존의 클라우드 기반 회의록 AI 서비스는 회의 녹음 파일을 외부 서버에 의무적으로 전송해야 하므로 민감한 기업 비밀이나 미공개 제품 정보가 유출될 위험이 큽니다. 이러한 보안 취약점을 완전히 제거하기 위해 사용자의 기기 자체(로컬)에서만 작동하며 외부 네트워크 유출을 통제하는 온디바이스(On-device) AI 기반 회의록 앱을 기획하였습니다.
2. 고성능 로컬 AI 모델 구성과 하드웨어 조건
맥북의 통합 메모리(Unified Memory)를 공유하는 CPU/GPU 아키텍처를 기반으로 기획되었습니다.
- 음성 인식 및 화자 분리: 최대 60분 녹음 처리와 타임스탬프, 특정 고유어 우선 인식(Hotwords) 기능을 제공하는 마이크로소프트의 오픈소스
VibeVoice-ASR모델을 로컬 엔진으로 탑재하였습니다. - 텍스트 요약 및 AI 챗봇: 로컬 컴퓨터에서 오프라인으로 텍스트를 분석하고 정리하기 위해 대규모 언어 모델인
Gemma-4 31B-it및Qwen3.6 35B-A3B모델을 사용자가 직접 로컬 메모리 상황에 맞게 골라 실행할 수 있도록 설계하였습니다.
3. Manus AI의 ‘My Computer’ 기반 자율 어플리케이션 빌딩
개발 지식이 전무하더라도 Manus AI에게 대화 형식으로 아이디어를 전달하자, AI가 OS 사양, 지원 확장자, 출력 형태(Markdown, TXT 등) 등 7가지 개발 요구 조건을 도출하며 기획서를 자율 구성하였습니다. 이후 ‘My Computer’ 환경에서 로컬 경로를 설정해주면 AI가 직접 코드를 작성하고 의존성을 설치하며, 에러 발생 시 반복 디버깅을 거쳐 구동 가능한 앱을 제작합니다.
4. 피드백 루프를 통한 UI/UX 성능 및 편의성 대폭 개선
터미널 기반 코딩으로 빌드된 초기 버전(v0.1)의 거칠고 조잡한 UI를 수동으로 수정하는 대신, 구동 스크린샷과 함께 “UI/UX 개선점을 보고해라”고 명령하자 Manus AI가 스스로 중요도(P0, P1, P2)에 따라 17개의 보완 리포트를 도출하였습니다. 이를 승인하자 AI가 디자인 코드를 재작성하여 화자 구분 레이블 전환, 진행 상황 카드 뷰 등 모던한 디자인의 개량 버전(v0.2.3 이상)으로 진화시켰습니다.
5. 실무 적용과 워크플로우 자동화 연동
전방향 블루투스 무선 마이크를 통해 잡음이 많은 회의실 상황에서도 높은 녹음 품질을 확보하였습니다. 전사된 텍스트와 요약본은 보안 검토를 거친 뒤 연동된 Slack 채널로 편리하게 전송할 수 있으며, 구글 캘린더 연동 API 및 Manus AI의 MCP(Model Context Protocol) 캘린더 도구를 활용하여 “이 일정대로 구글 캘린더에 일정 등록해줘” 한 마디로 회의록 내 핵심 약속 일정을 캘린더에 원클릭 자동 등록할 수 있습니다.
핵심 데이터 / 비교표
로컬 요약 모델 요구 사양 비교
| 모델 분류 | 모델명 | 주요 용도 | 사용 여부 | 요구 RAM 용량 | 디스크 요구 공간 | 비고 | | :— | :— | :— | :— | :— | :— | :— | | ASR (음성 인식) | VibeVoice-ASR | 실시간 음성 전사, 화자 분리, 타임스탬프 생성 | 기본 적용 | - | 약 8.9 GB | 로컬 하드웨어(Apple Silicon)에 최적화하여 탑재 | | LLM (텍스트 분석) | Gemma-4 31B-it | 텍스트 요약, 챗봇 대화 | 선택 가능 | 약 17 GB | 약 17 GB | 오프라인 로컬 구동 가능 | | LLM (텍스트 분석) | Qwen3.6 35B-A3B | 텍스트 요약, 챗봇 대화 | 선택 가능 (추천) | 약 19 GB | 약 19 GB | MoE(중복 전문가) 구조 모델, 성능 우수 |
타임스탬프별 핵심 포인트
| 시간 | 핵심 내용 |
|---|---|
| 00:27 | 외부 유출이 없는 온디바이스 회의록 앱 ‘OMG_Meeting’ 직접 제작 결과물 시연 |
| 01:23 | 회의 시 기밀 유출 보안 문제를 막기 위해 클라우드가 아닌 ‘로컬 온디바이스 AI’를 선택한 이유 기술 |
| 02:44 | 마이크로소프트의 음성 인식 오픈소스 모델인 VibeVoice-ASR 선정 배경과 화자 분리 등 핵심 기능 설명 |
| 03:23 | AI를 컴퓨터 로컬에서 구동할 때 애플 실리콘 맥북의 통합 메모리(Unified Memory)가 갖는 강점 소개 |
| 03:59 | 소리 입력 품질 저하를 방지하기 위해 전방향 마이크 하드웨어를 구비하는 등 앱 빌딩 준비 |
| 04:51 | 컴퓨터 터미널을 스스로 제어하여 폴더를 만들고 코딩하는 ‘Manus AI - My Computer’ 기능 개요 |
| 05:43 | 아이디어를 가볍게 전달하자 Manus AI가 스스로 7가지 개발 가이드라인을 제시해 기획을 설계하는 과정 |
| 07:14 | 실제로 맥의 터미널을 사용하며 코딩과 빌드를 전 자동 수행 중인 Manus AI 동작 현황 확인 |
| 07:56 | 첫 번째 개발 완료 버전(v0.1)의 동작 및 화자 분류 텍스트 출력 시연 |
| 08:35 | 투박한 디자인을 극복하기 위해 스크린샷 한 장과 피드백으로 17가지 UI/UX 개선점을 도출 및 적용하는 과정 |
| 09:21 | UI/UX 개선 지시 적용 전(Before)과 적용 후(After) 디자인 비교를 통해 변화된 화면 구성 확인 |
| 10:03 | 전사 내용을 분석하여 회의 요약 및 로컬 챗봇으로 다음 미팅 계획을 묻고 답변받는 시연 |
| 11:14 | Manus AI가 사용자의 업무 스타일 지시를 학습하고 개인화 데이터로 설정하는 스마트 기능 설명 |
| 11:42 | 실제 회의 현장에 도입하여 실시간 녹음 및 전사, Slack 전송, 구글 캘린더 일정 추가 자동화 전 과정 실연 |
| 13:41 | 고화질 로컬 모델 실행 시 발생하는 최소 19GB 이상의 높은 RAM 요구, 발열, 컴퓨터 팬 소음 등 극복 과제 지적 |
결론 및 시사점
- AI 에이전트에 의한 개발 대중화: 과거에는 복잡한 프로그래밍 지식이 없으면 개발이 불가능했던 영역을, 이제는 아이디어 제시와 피드백 중심의 협업을 통해 AI가 기획, 빌드, 디버깅, UX 디자인 최적화까지 완벽하게 수행하는 대규모 자동화 시대가 실현되었습니다.
- 온디바이스 한계 극복을 위한 하드웨어 확보 필수: 개인정보 및 기밀 데이터 보존을 위한 ‘온디바이스 로컬 AI’의 효용성은 매우 크나, 원활한 구동을 위해서는 19GB 이상의 RAM을 요하는 거대 언어 모델(LLM) 환경과 하드웨어 자원 점유에 따른 발열 및 전력 팬 소음을 감당해야 하는 선결 조건이 존재합니다.
추가 학습 키워드
- 온디바이스 AI (On-Device AI)
- Manus AI (마누스 AI)
- VibeVoice-ASR
- 통합 메모리 아키텍처 (Unified Memory Architecture)
- MCP (Model Context Protocol)
기본 정보
| 항목 | 내용 | |—|—| | 채널 | 오목교 전자상가 | | 카테고리 | 과학기술 | | 게시일 | 2026-07-08 | | 영상 길이 | 16:39 | | 처리 엔진 | gemini-3.5-flash | | 원본 영상 | YouTube에서 보기 |