← 2026-06-18 목록으로
핵심 요약
- 구글 제미나이(Gemini)와 웨이모(Waymo)의 AI 엔지니어인 김태환은 자율주행의 한계를 극복하기 위해 기존의 규칙 기반(Rule-based) 제어 방식에서 탈피하여, 추론 능력을 갖춘 거대 언어 모델(LLM)과 피지컬 AI(Physical AI)를 융합하는 기술적 전환을 설명한다.
- 웨이모는 카메라와 라이더 센서 데이터를 스스로 생성하는 ‘월드 모델(World Model)’ 시뮬레이터를 활용함으로써, 현실 세계에서 포착하기 힘든 극단적인 역주행 등 수억 개의 가상 시나리오 안에서 드라이빙 에이전트를 안전하게 학습시키는 메커니즘을 구축했다.
- 생성형 AI 시대에 단순 API 호출이나 미세 조정(Fine-tuning) 수준의 엔지니어는 AI로 대체될 가능성이 높으며, 앞으로는 강화학습의 보상(Reward) 구조를 설계하고 물리 법칙을 아키텍처에 반영할 수 있는 깊은 수준의 도메인 전문성이 필수적이다.
주요 내용
1. 커리어 경로 및 구글 제미나이(Gemini) 팀 참여 과정
- 독특한 학업적 배경: 한국인이 거의 없는 펜실베이니아의 리버럴 아츠 칼리지인 버크넬 대학교(Bucknell University) 컴퓨터 사이언스 학부를 거쳐, 버지니아 텍(Virginia Tech)에서 연합 학습(Federated Learning)과 엣지 컴퓨팅을 연구하며 박사 학위를 받았습니다. 이후 블룸버그에서 파이낸스 데이터 노이즈 제거 관련 머신러닝 인턴십을 수행했습니다.
- 구글 제미나이 팀 합류: 구글 광고(Ads) 팀에서 2년 동안 일한 후, 사내의 극심한 경쟁을 뚫고 제미나이 팀으로 이동했습니다. 평소 구글 리서치 팀과 함께 업무 시간의 20%를 LLM 연구에 투자하는 ‘20% 프로젝트’를 수행했고, 박사 과정 연구 경험과 면접 시 보여준 강한 헌신 의지가 합류의 원동력이 되었습니다.
- 제미나이 코어 컨트리뷰터(Core Contributor): 제미나이 2.5 및 3.0 개발 시 코드 접근 권한을 가진 핵심 기여자(전사 약 2,500명 규모)로 참여하여, 모델의 사후 학습(Post-training) 인프라 최적화 및 리소스 효율화 연구를 담당했습니다.
2. 사전 학습(Pre-training)과 사후 학습(Post-training)의 차이 및 최적화
- 사전 학습 (Pre-training): 엄청난 양의 정제된 데이터를 기반으로 입력과 출력이 정의된 상태에서 모델의 뼈대를 만드는 과정으로, 흔히 말하는 트랜스포머 아키텍처 학습이 이에 해당합니다.
- 사후 학습 (Post-training): 사전 학습된 모델을 사용자가 실제로 사용할 수 있게 정밀화하는 과정입니다. 지도 미세 조정(SFT)과 강화학습(RL)이 사용되며 모델의 안전성과 답변 성능을 결정합니다.
- 최적화의 중요성: 거대 모델을 학습시키는 데는 천문학적인 예산이 소모되므로, 사후 학습 과정에서 리소스 효율성을 단 1%만 개선해도 엄청난 비용을 절감할 수 있어 이 분야의 인프라 효율화 연구가 매우 치열합니다.
3. 웨이모(Waymo) 자율주행 기술과 ‘월드 모델’의 도입
- 피지컬 AI로의 이동: 김태환 엔지니어는 LLM의 추론(Reasoning) 능력을 현실 세계에 접목하는 ‘피지컬 AI’에 관심을 갖고 2024년 2월 웨이모로 이직했습니다. 웨이모는 제미나이 개발 경험을 가진 대형 모델 학습 및 인프라 전문가들을 적극적으로 채용하고 있습니다.
- VLA(Vision-Language-Action) 모델: 자율주행에서 LLM은 “앞에 빨간불이 있으니 차가 멈춰야 한다”와 같은 시각 정보와 규칙을 연결해 행동을 도출하는 추론적 관점(VLA)을 제공합니다.
- 오픈 루프(Open-loop) 학습의 한계 극복: 고정된 맵(예: 서울시 지도) 위에서 단순히 벽에 부딪히면 페널티를 주는 방식(오픈 루프)은 현실의 무한한 변수에 대응하기 어렵습니다.
- 월드 모델(World Model) 시뮬레이션: 웨이모는 카메라와 라이더 센서 데이터를 가상으로 생성하는 ‘월드 모델’을 활용해 가상의 도로 환경을 구축합니다. 이 시뮬레이터 안에서 드라이빙 에이전트가 수만, 수억 개의 위험 시나리오를 안전하게 선행 학습함으로써 자율주행의 안전성을 확보합니다.
4. 실무 환경 및 인공지능 협업 도구의 활용
- 웨이모의 근무 분위기: 룰 베이스에서 LLM 기반으로 자율주행 패러다임이 이동하면서 R&D 비중이 크게 늘었습니다. 오작동 시 사고로 이어질 수 있는 고위험 분야이기 때문에 모든 직원이 미션 지향적(Mission-driven)으로 일합니다.
- 주도적 업무 방식: 실리콘밸리에서는 신입이나 이직자에게 직접 업무를 쥐어주지 않으며, 본인이 스스로 가치 있는 문제를 찾아내어 제안하고 해결하는 주도성이 요구됩니다.
- AI 코딩 툴의 명암: 구글 자체 AI 코딩 도구(앤티 그래비티 등)를 사용하면 압축된 정보 전달 덕분에 효율성이 비약적으로 상승하지만, 정신적 피로도는 더 높아집니다. 특히 LLM의 할루시네이션(환각 현상) 때문에 존재하지 않는 함수를 만들어내거나 멀쩡한 코드를 지우는 경우가 잦아, 엔지니어가 직접 코드를 검증하고 실행해 보는 필터링 능력이 중요합니다.
핵심 데이터 / 비교표
사전 학습(Pre-training) vs 사후 학습(Post-training) 비교
| 구분 |
사전 학습 (Pre-training) |
사후 학습 (Post-training) |
| 개념 |
방대한 원천 데이터를 학습하여 모델의 기본 능력 구축 |
학습된 모델을 정밀화하여 사용자 환경에 맞춰 조정 |
| 데이터 규모 |
매우 거대함 (인터넷 전체 수준의 데이터) |
상대적으로 작으나 여전히 대규모임 |
| 주요 기법 |
트랜스포머 아키텍처 기반 자동 회귀 학습 |
지도 미세 조정(SFT), 강화학습(RL) |
| 핵심 목적 |
언어적 규칙 및 보편적 지식 습득 |
안전성 확보, 지시 이행 능력 향상, 정교한 답변 유도 |
자율주행 학습 방식: 오픈 루프(Open-loop) vs 월드 모델(World Model) 기반 시뮬레이션
| 구분 |
오픈 루프 학습 (Open-loop) |
월드 모델 기반 학습 (World Model) |
| 환경 데이터 |
현실 세계를 매핑한 고정된 데이터 환경 사용 |
카메라 및 라이더 센서 값을 기반으로 가상 데이터 생성 |
| 학습 메커니즘 |
규칙에 따른 리워드(정지 시 보상) 및 페널티(충돌 시 벌점) 부여 |
무한한 가상 시나리오를 시뮬레이션하여 에이전트 학습 |
| 확장성 |
정해진 시나리오와 매핑 지역 외에는 대처가 어려움 |
역주행 등 상상하기 힘든 극단적 시나리오도 무한 생성 가능 |
| 목표점 |
제한된 환경에서의 자율주행 구현 |
범용 인공지능(AGI) 관점의 완벽한 자율주행(끝판왕) 지향 |
타임스탬프별 핵심 포인트
| 시간 |
핵심 내용 |
| 00:19 |
하이라이트: 웨이모의 월드 모델 활용 및 자율주행 에이전트 학습 원리 설명 |
| 00:42 |
김태환 엔지니어 소개 및 버크넬 대학(리버럴 아츠) 재학 시절 이야기 |
| 01:41 |
Virginia Tech 박사 과정(연합 학습 연구) 및 블룸버그 인턴십 이력 |
| 02:40 |
구글 애즈(Ads) 팀 입사 및 사내 경쟁을 뚫고 제미나이(Gemini) 팀으로 이동한 비결 |
| 04:21 |
제미나이 코어 컨트리뷰터로서의 역할과 사후 학습(Post-training) 인프라 최적화 업무 |
| 05:16 |
AI 모델 개발에 있어서 사전 학습(Pre-training)과 사후 학습(Post-training)의 상세 차이점 |
| 06:37 |
피지컬 AI(Physical AI) 연구를 위해 웨이모(Waymo)로 이직하게 된 배경 |
| 07:44 |
웨이모 자율주행 기술의 차별점과 구글 딥마인드와의 협업 구도 |
| 08:19 |
자율주행 기술에서 파운데이션 모델(LLM)과 VLA(Vision-Language-Action)의 역할 |
| 09:17 |
자율주행 분야 사후 학습 및 오픈 루프(Open-loop) 학습 방식의 한계 |
| 10:19 |
웨이모가 정의하는 ‘월드 모델’과 이를 통한 시뮬레이션 데이터 생성 기법 |
| 11:15 |
웨이모의 일하는 문화: 규칙 기반에서 LLM/R&D 중심으로의 변화 및 미션 지향적 업무 태도 |
| 12:45 |
AI 에이전트 기반 코딩 툴 활용 시의 업무 효율성과 할루시네이션(환각) 대처 방안 |
| 14:43 |
AI 시대에 생존할 수 있는 기술 역량과 이상적인 엔지니어 인재상 제시 |
결론 및 시사점
- 자율주행의 최종 진화형은 시뮬레이션 강화학습: 완벽한 자율주행을 달성하기 위해서는 실제 도로 주행 데이터의 한계를 넘어서야 합니다. 웨이모의 월드 모델처럼 고도화된 가상 환경을 구축하고, 그 안에서 강화학습을 통해 에이전트를 끊임없이 단련하는 시뮬레이션 기술이 자율주행 비즈니스의 최종 승부처가 될 것입니다.
- 주도적으로 문제를 정의하는 인재의 중요성: 기술 발전 속도가 극도로 빠른 AI 기업에서는 수동적으로 지시를 기다리는 인재는 도태됩니다. 스스로 트렌드를 예측하고 기업 내에서 영향력이 크고 가치 있는 연구 분야를 직접 정의하여 프로젝트를 제안하는 주도성이 필요합니다.
- 단순 코딩 엔지니어의 종말: AI 코딩 어시스턴트의 등장으로 코딩 효율성은 대폭 올라갔으나 개발자의 검증 책임은 더욱 무거워졌습니다. 단순히 API를 가져다 쓰는 개발자는 설 자리를 잃을 것이며, 기술의 내부 메커니즘을 꿰뚫고 보상 구조 설계 등 고차원적 설계를 수행할 수 있는 엔지니어만이 살아남을 것입니다.
추가 학습 키워드
- 연합 학습 (Federated Learning): 구글에서 제안한 개념으로, 민감한 개인 데이터를 중앙 서버로 전송하지 않고 각 로컬 디바이스 환경에서 분산 학습시킨 뒤 가중치만 취합하여 모델을 업데이트하는 프라이버시 보호형 머신러닝 기법입니다.
- VLA (Vision-Language-Action) 모델: 시각 정보(Vision)와 자연어 지시(Language)를 입력받아 로봇이나 차량의 물리적 행동(Action)을 직접 도출하는 단일 파운데이션 모델입니다.
- 월드 모델 (World Model): 물리 법칙과 시공간적 역학 관계를 이해하여 주변 환경의 변화나 센서 데이터(카메라, 라이더 등)를 스스로 예측 및 생성해 내는 신경망 모델입니다.
- 사후 학습 (Post-training): 사전 학습(Pre-training)이 완료된 모델에 인간의 피드백을 반영해 정밀 튜닝하는 기법으로, 지도 미세 조정(SFT)과 강화학습(RL)이 핵심 도구로 쓰입니다.
- 앤티 그래비티 (Antigravity): 구글 내부에서 자체적으로 개발하여 엔지니어들의 개발 및 코딩을 보조하는 데 사용하는 폐쇄형 AI 인프라 및 코딩 툴 시스템입니다.
기본 정보
| 항목 | 내용 |
|—|—|
| 채널 | 티타임즈TV |
| 카테고리 | 경제 |
| 게시일 | 2026-06-18 |
| 영상 길이 | 15:45 |
| 처리 엔진 | gemini-3.5-flash |
| 원본 영상 | YouTube에서 보기 |