이 영상의 주제
이 영상은 오픈소스 AI 모델인 ‘라야(Laya)’를 로컬 환경(M4 Pro 맥북)에서 직접 파인튜닝하여 AI 서비스의 요청 라우터로 활용하는 방법을 다룹니다. 대규모 언어 모델 호출 비용과 응답 시간을 줄이기 위해, 한국어 고객 지원(CS) 문의 분류 작업을 기준으로 라야를 1천 건에서 1만 건까지 학습시키고 기존 제브(Zeb) 모델과 성능을 비교합니다. 대상 시청자 수준은 중급 개발자이며, 로컬에서 오픈소스 모델을 커스텀 학습시켜 비용 효율적이고 빠른 라우팅 시스템을 구축하는 실증적 인사이트를 얻을 수 있습니다.
다루는 기술 스택 / 키워드
- 라야 (Laya)
- 제브 (Zeb)
- 로컬 LLM 호스팅
- 파인튜닝 (Fine-tuning)
- AI 라우팅 (Routing)
- M4 Pro 맥북
- 합성 데이터 (Synthetic Data)
- 레이턴시 (Latency)
타임스탬프별 핵심 포인트
| 시간 | 내용 | |—|—| | 00:00 | 라야(Laya) 모델 소개 및 M4 프로 맥북을 통한 로컬 학습 개요 | | 00:39 | AI 서비스에서 비용 절감과 성능 최적화를 위한 라우팅의 필요성 | | 02:40 | 한국어 CS 문의 분류(6개 항목)를 위한 합성 데이터셋 준비 및 베이스라인 테스트 | | 05:07 | 단계별 학습 진행 (100건, 300건, 1천 건) 및 정답률 변화 비교 | | 08:35 | 제브(Zeb) 모델과의 성능 비교 및 1만 건 극단적 학습 실험 | | 11:29 | 실전 상황에서의 오답 분석 및 데이터 보강을 통한 개선 가능성 | | 12:28 | 응답 시간(레이턴시) 비교 및 로컬 호스팅의 보안·속도 장점 정리 |
기본 정보
| 항목 | 내용 | |—|—| | 채널 | 코드팩토리 | | 카테고리 | 프로그래밍 | | 게시일 | 2026-10-01 | | 영상 길이 | 12:42 | | 처리 엔진 | gemini-3.5-flash-lite+transcript | | 원본 영상 | YouTube에서 보기 |