오픈AI “전방 배치 엔지니어는 컨설팅 아닌 ‘제품’ 구축이 임무”

오픈AI가 지난해 1월부터 ‘전방 배치 엔지니어(FDE)’ 팀을 운영한 것으로 알려졌다. 이를 총괄하는 책임자는 단순한 컨설팅을 넘어, ‘제품’ 형태의 결과물이 나오는 것이 중요하다고 강조했다.

콜린 자비스 오픈AI 글로벌 FDE 책임자는 27일(현지시간) 공개된 ‘알티미터 캐피털’ 팟캐스트에 출연, 어떻게 기업들이 AI에서 가치를 창출하도록 돕는지를 설명했다.

그는 “2022년 챗GPT가 출시됐을 때 엄청난 기대감을 불러일으켰지만, 기업들이 모델에서 실제 가치를 얻기가 어려웠다”라고 말했다. 기존의 기술 지원으로는 기업 고객을 프로덕션 단계로 이끌기 부족했다는 설명이다.

이 때문에 오픈AI는 2024년 1월 2명으로 파리에서 FDE 업무를 시작했다. 현재는 39명으로 늘어났으며, 연말까지 52명으로 확대할 계획이다.

미국과 유럽, 일본 등의 FDE 배치를 위한 24개의 채용 공고를 내놓았으며, 최고 연봉은 주식을 포함해 34만5000달러(약 5억700만원)에 달한다.

FDE는 기술과 커뮤니케이션 능력을 동시에 갖춘 ‘기업 전담 팀’이다. 기업 파견 엔지니어로도 불린다.

그는 FDE가 “0에서 1을 만드는 것”을 담당한다고 밝혔다. “고객에게 수천만달러에서 때로는 수십억 달러 규모의 가치를 창출하거나 절약하는 것”으로 규정했다.

또 대형언어모델(LLM)의 신뢰도를 확보하기 위해 ‘평가 주도 개발(Eval-Driven Development)’을 핵심 개발 철학으로 삼는다고 밝혔다. AI의 확률론적 특성을 보완하기 위해 정해진 규칙과 안전장치를 구축, 결과가 항상 신뢰할 수 있는지 검증한다는 설명이다.

주요 성공 사례로는 ‘GPT-4’를 최초로 도입한 기업 고객 모건 스탠리와의 작업을 들었다. 이 회사의 분석가들에게 리서치 보고서를 쉽고 통찰력 있는 내용으로 전달하는 것이 목표였다.

기술적인 문제는 금방 해결했다. ‘검색 조정(Retrieval Tuning)’은 6~8주 만에 해결했다. 그러나, 분석가들이 AI가 내놓은 결과를 신뢰하고 사용하도록 만드는 데에는 4개월 이상이 걸렸다. 이 기간에는 파일럿 프로그램을 운영하고 평가를 수집하는 등 분석가들과 작업을 무한 반복했다는 것이다.

그 결과, 모건 스탠리 분석가들의 도구 채택률은 98%에 달했으며, 리서치 보고서 활용량은 3배로 늘었다고 밝혔다.

유럽의 한 반도체 회사에서 엔지니어를 위한 코드 에이전트를 구축했다는 것도 자랑했다. 엔지니어들이 가장 많은 시간(70~80%)을 소비하는 코드 검증과 버그 수정 자동화 에이전트를 구축, 엔지니어의 시간 효율 20~30% 증가에 기여했다는 것이다.

그는 이처럼 FDE의 임무는 컨설팅이 아니라, 고객 문제를 해결하는 재사용 가능한 ‘제품(Product)’을 만들어내는 것이라고 강조했다. “고통을 먹고 제품을 배설하는 것”이라는 팔란티어의 격언을 인용했다. 팔란티어는 FDE의 개념을 처음 도입한 기업이다.

특히, 단일 기능만 담당하는 솔루션으로는 기업 문제 해결이 어렵다고 덧붙였다. 기업은 복잡한 통합 문제를 가지고 있기 때문에 ‘하나의 창구(one throat to choke)’를 통해 문제를 해결하는 포괄적인 솔루션을 원한다는 것이다.

실제로 오픈AI FDE 클라라(Clara)와 T모바일의 고객 서비스 애플리케이션을 구축하며, 복잡한 정책을 확장 가능하게 관리하는 프레임워크를 개발했다. 그리고 당시 개발한 프레임워크는 이후 ‘에이전트 SDK’와 에이전트 키트(Agent Kit)’ 개발의 기반이 된 오픈 소스 ‘스웜(Swarm)’으로 발전했다.

단기적이고 손쉬운 컨설팅의 유혹에 빠지지 말라고 경고했다. 초반의 가장 큰 실수로 “너무 일찍 일반화하려 했던 것”을 들었다. 표면적인 문제를 넘어, 고객 문제에 더 깊이 파고들어야 비로소 재사용 가능한 제품이 나왔다는 것이다.

그리고 FDE는 B2B를 넘어 기술 개발에도 중요한 역할을 차지한다고 강조했다. 반도체나 생명과학과 같은 복잡한 산업 현장 문제를 해결하는 동시에, 에이전트 SDK와 같이 범용적으로 재사용 가능한 플랫폼을 발굴하기 때문이다. 즉, 연구 개발과 제품 가설 입증을 동시에 수행한다는 것이다.

그 이후로 오픈AI는 샌프란시스코, 뉴욕, 더블린, 런던, 파리, 뮌헨, 싱가포르 등 전 세계로 FDE를 확대했다.

올리버 제이 오픈AI 국제 전무이사는 지난 7월 “FDE 모델은 고급 AI의 가속화를 대규모 생산 사례로 발전시키는 매우 구체적인 방법”이라고 말했다.

전문가들 역시 FDE의 가치를 인정했다. 다이애나 후 와이콤비네이터(YC)는 지난 6월 팟캐스트에서 “일부 스타트업이  FDE를 통해 수십만~수백만달러 규모의 거래를 성사시키는 것을 목격했다”라고 밝혔다.

개리 탠 YC CEO도 여기에서 “FDE는 AI 스타트업이 세일즈포스나 오라클과 같은 거대 기업을 이길 수 있는 유력한 방법”이라고 강조했다.

출처 : AI타임스(https://www.aitimes.com)