Machine Learning Engineer, Pegasus

Who we are

영상 이해 AI의 글로벌 기준을 함께 만들어 갈 인재를 찾습니다!
트웰브랩스는 방대한 영상 데이터를 효과적으로 처리하여, 영상에 특화된 검색, 분석, 요약, 인사이트 생성 기능을 제공하는 세계 최고 수준의 영상 특화 AI 모델을 만들고 있습니다.

세계 최대 스포츠 리그에서는 트웰브랩스 모델을 활용해 방대한 경기 영상 속에서 빠르고 정확하게 하이라이트를 선별하여 초개인화된 시청 경험을 제공하고 있습니다. 국내 통합관제센터에서는 위기 상황에 신속히 대응하기 위해 트웰브랩스와 함께 CCTV 영상을 효율적으로 탐색하고 있으며, 전 세계 주요 방송사와 스튜디오들은 수십억 명의 시청자를 위한 콘텐츠 제작에 트웰브랩스 모델을 활용하고 있습니다.

트웰브랩스는 샌프란시스코와 서울에 오피스를 둔 Deep Tech 스타트업으로, 4년 연속 CB Insights 선정 세계 100대 AI 스타트업에 이름을 올렸습니다. NVIDIA, NEA, Index Ventures, Databricks, Snowflake 등 세계적인 VC와 기업으로부터 총 1억 1천만 달러 이상의 투자를 유치했으며, 한국에서 개발된 AI 모델 중 유일하게 Amazon Bedrock을 통해 서비스됩니다. 우리는 탁월한 동료들과 혁신적인 제품을 만들고 전 세계 고객들과 함께 성장하고 있습니다.

트웰브랩스는 다음과 같은 핵심 가치를 중심으로 일합니다.

• 나와 팀에 대해 정직하고 성찰할 수 있는 태도

• 실패와 피드백을 두려워하지 않는 끈기와 겸손

• 끊임없는 학습을 통해 팀의 역량을 함께 높여 가는 자세

도전적인 문제를 함께 해결하며 성장하는 과정을 즐기는 분이라면, 그 기회가 여기 트웰브랩스에 있습니다.

About Pegasus

Pegasus는 “영상은 많지만 실제로 활용 가능한 데이터는 부족하다“는 문제를 해결하기 위해 만들어진 Video Understanding 모델입니다.

기존의 Video AI는 주로 영상 전체를 요약하거나 질문에 답하는 수준에 머물러 있었습니다. 하지만 실제 비즈니스 환경에서는 단순 요약만으로는 충분하지 않습니다. 기업들은 특정 장면이 언제 등장했는지, 어떤 이벤트가 어느 시점에 발생했는지, 그리고 이를 어떻게 검색·분류·아카이빙·편집 시스템과 연결할 수 있는지를 필요로 합니다.

Pegasus는 이 지점을 해결합니다. 영상의 비주얼, 음성, 오디오, 화면 내 텍스트를 종합적으로 이해하고, 이를 시간 기반(Time-aware)의 구조화된 데이터로 변환합니다. 대표 기능인 Segment는 고객이 원하는 구간 유형과 메타데이터 스키마를 직접 정의할 수 있게 해주며, Pegasus는 영상 속 관련 장면의 시작과 종료 시점을 찾아 제목, 요약, 인물, 주제, 비주얼 요소, 도메인 특화 라벨 등의 정보를 구조화된 형태로 반환합니다.

즉 Pegasus의 핵심은 단순히 “영상 내용을 이해하는 것“이 아닙니다. 영상을 실제 프로덕션 환경과 비즈니스 워크플로우에서 바로 활용 가능한 데이터 시스템으로 변환하는 것입니다. Pegasus는 단순한 Video LLM 을 넘어서, 검색(Search), 아카이빙(Archive), 컴플라이언스(Compliance), CMS, 콘텐츠 운영 자동화 등 다양한 영역의 기반 인프라 역할을 수행합니다.

페가수스, 알면 알수록 재밌다. 더 파헤쳐보기!

• 비디오를 구조화된 자산으로: Time-Based Metadata(TBM) 파이프라인 구축기

• Quick Shorts demo: YouTube Shorts

About the Team

Pegasus 팀은 TwelveLabs의 비디오 이해(Video Understanding) 역량의 중심에 있는 조직으로, 자사의 핵심 Video Analysis 제품인 Pegasus를 개발하고 있습니다.

높은 instruction-following 성능과 복잡한 계층형 결과물을 생성할 수 있는 멀티모달 비디오 분석 시스템 구축에 집중하고 있으며, 단순한 리서치에 머무르기보다 실제 사용자에게 가치를 제공하는 제품을 빠르게 시장에 선보이는 것을 중요하게 생각합니다. 이를 위해 ML 리서처와 엔지니어가 함께 목표 중심(goal-oriented)의 크로스펑셔널 조직으로 긴밀하게 협업하고 있습니다.

팀의 업무는 매우 폭넓은 엔지니어링 과제를 아우릅니다. 멀티모달 LLM 개발을 위한 프리트레이닝부터 RL까지의 학습 인프라 구축, 실제 프로덕션 환경에서의 시간 기반 세그멘테이션 및 구조화된 메타데이터 생성 시스템 개발, 하나의 요청만으로 수 시간 분량의 비디오를 처리할 수 있는 대규모 추론 시스템 설계, 그리고 모델 품질 향상과 빠른 반복 개발을 위한 데이터 큐레이션 및 평가 파이프라인 구축 등을 담당하고 있습니다.

또한 NVIDIA B300을 포함한 세계 최고 수준의 AI 컴퓨팅 인프라를 활용해 비디오 분석 시스템의 한계를 확장하고 있으며, 연구에서 프로덕션까지 이어지는 사이클을 가능한 빠르게 가속하는 것을 지향하고 있습니다.

In this role, you will

• Pegasus ML 시스템의 구축, 개선, 운영 — 안정성, 성능, 유지보수성에 중점을 둡니다.

• 배포, 추론, 평가, 모니터링, 인프라 지원 등 ML 스택 전반에 걸쳐 폭넓게 기여합니다.

• Video Language Model(VLM) 서빙 시스템과 멀티모달 데이터 및 메타데이터 처리 파이프라인을 프로덕션 수준으로 개발합니다.

• 담당 영역에서 기술적 의사결정을 주도하고, 높은 오너십을 바탕으로 실행을 이끌어갑니다.

• Claude, Gemini, GPT 등 AI 개발 도구를 적극적으로 활용하여 코딩, 실험, 디버깅, 문서화 전반의 생산성을 높입니다.

You may be a good fit if you have

• 소프트웨어 엔지니어링과 머신러닝 기초가 탄탄한 분

• ML 시스템을 실제 프로덕션 환경에서 구축하고 배포해본 경험이 있는 분

• 멀티모달 데이터를 다뤄보셨거나 컴퓨터 비전, NLP, LLM, VLM 등 관련 분야에 대한 이해가 있는 분

• 분산 ML 또는 데이터 워크플로우 경험이 있는 분 — Kubernetes 기반 환경 경험이면 더욱 좋습니다

• 프로덕션 환경에서 성능, 안정성, 유지보수성에 관한 균형 잡힌 공학적 판단력을 갖추신 분

Preferred qualifications

• LLM/VLM 시스템의 프로덕션 서빙 또는 최적화 경험

• 배칭, 캐싱, 양자화 등 추론 최적화 기법 적용 경험

• 초기 개발 단계부터 프로덕션 배포까지 AI/ML 시스템 전 주기를 경험해보신 분

• 머신러닝, 컴퓨터공학 또는 관련 기술 분야 석·박사 학위 소지자

Hiring Process

Application Review → Recruiter Interview (비대면/30분) → Coding test → Hiring Manager Interview(비대면/30분) → Live Coding Test Interview (대면/75분) → System Design & Project Deep Dive Interview(비대면/105분) → Final Round Interview (비대면/30분) → Reference Check → Offer

Benefits and Perks

• Growth & Tools

  • 글로벌 B2B 고객과 함께 성장하는 Global Team

  • 자율성과 협업을 모두 갖춘 하이브리드 근무

  • 최신 맥북 및 70만 원 상당 재택근무 장비 지원, 3년 주기로 최신 장비 교체

  • Tokens never sleep - Tech 직군 LLM 토큰 무제한 지원

  • 강의, 컨퍼런스, 멤버십 등에 사용 가능한 연 140만원 상당 자기개발비 지원

  • 영어 교육 프로그램 및 글로벌 버디 프로그램 운영

  • 야간 및 주말 출퇴근 택시비 지원

• Meal & Snack

  • 식비·교통비 등 자유롭게 사용할 수 있는 연 720만원 상당 법인카드 제공

  • 사무실 내 스낵바 운영 (간식, 커피, 제철 과일 등)

  • 사무실 근무 시, 오후 7시 이후 저녁 식대 제공

• Wellness & Family

  • 연 1회 본인 및 가족 1인의 건강검진 제공

  • 단체보험 가입 (상해보험/치아보험/가족 상해보험 중 택 1)

  • 독감 예방접종비 지원

  • 연말 2주간 유급 Holiday Break 운영