인사이트 / 블로그
FDE, 엔터프라이즈 AI 도입 방식을 바꾸다
기업의 AI 도입 방식이 달라질까요?
OpenAI 같은 빅테크 기업이 고객사에 엔지니어를 파견해 시스템을 직접 구축하는 건 새로운 일이 아닙니다. 다만 2026년 5월부터, 별도 회사와 대규모 전담 조직까지 꾸릴 만큼 현장 구축을 본격적인 사업으로 키우고 있다는 점은 주목해 봐야 합니다.
1~2년 전에는 기업의 AI 도입 과정에서 각자의 역할이 비교적 분명했습니다. 빅테크 기업이 API나 AI 모델 자체를 제공하면, 컨설팅사는 적용할 고객사 업무와 추진 전략을 설계하고, 시스템 통합(SI) 기업은 고객 환경에 맞게 구축했습니다.
그런데 이제는 OpenAI, Anthropic, Microsoft 등 빅테크 기업이 각기 다른 전략을 토대로 AI 도입 과정에 직접 참여하겠다고 나서고 있습니다.
직접 구축·생태계·플랫폼, 서로 다른 진출 전략
*출처: 각사 홈페이지
OpenAI는 직접 구축에 무게를 둡니다. 전문 회사인 OpenAI Deployment Company(이하 DeployCo)를 출범시키고, 영국의 AI 서비스 기업 Tomoro 인수에 합의했습니다.[1]
Tomoro는 GPT를 활용해 기업의 AI 시스템을 설계·구축해 온 회사입니다. DeployCo는 Northslope 인수에도 합의했습니다. 이 회사는 팔란티어 출신 창업자들이 세운 회사로, 기업의 데이터와 핵심 운영 시스템을 연결해 온 경험이 있습니다.[2]
OpenAI는 두 거래를 통해 GPT 기반 AI 시스템을 구축할 인력과 데이터·운영 시스템 통합 경험을 함께 확보하려 합니다. 단순히 FDE(Forward Deployed Engineer)* 규모를 늘리는 것이 아니라, 고객 현장에서 AI 시스템을 설계·구축하는 능력을 내재화하려는 목적이 큽니다. 이러한 구축 역량을 컨설팅·SI 기업과의 협력으로 확대해 더 많은 고객에게 제공할 계획입니다.[3]
Anthropic의 순서는 다릅니다. 먼저 Claude Partner Network를 만들고 Accenture, Deloitte, PwC 등과 대기업 구축 과정에서 협력해 왔습니다. 이후 블랙스톤을 포함한 8개 투자사와 AI 서비스 회사 Ode with Anthropic(이하 Ode)을 세웠습니다.[4][5]
Ode는 독립 회사로, 2026년 5월 인수한 AI 서비스 기업 Fractional AI의 인력을 운영 조직의 중심으로 삼았습니다. 자체 구축 인력이 부족한 중견기업을 주요 고객으로 삼고, Anthropic의 Applied AI 엔지니어와 함께 맞춤형 시스템을 구축합니다. 대기업의 복잡한 전사 통합과 규제 대응, 변화관리는 기존 파트너망을 활용합니다.[4][5]
Microsoft는 출발점부터 다릅니다. AI 모델을 개발하기 전부터 클라우드와 업무 플랫폼을 공급해 왔습니다. Azure와 Microsoft 365는 이미 많은 기업의 클라우드와 업무 환경을 구성하고 있습니다. Microsoft가 고객의 기존 시스템을 이해한 상태에서 AI 도입을 지원할 수 있다고 자부하는 이유입니다.
Microsoft는 AI에 특화된 새 사업 조직인 Microsoft Frontier Company에 25억 달러를 투자하고, 6,000명의 산업 전문가와 FDE를 고객 현장에 배치할 계획입니다. Microsoft는 여러 상용·오픈소스 AI 모델을 지원하고 글로벌 SI 파트너와도 구축을 함께할 방침입니다.[6]
OpenAI는 직접 구축, Anthropic은 생태계, Microsoft는 플랫폼을 중심으로 접근합니다. 방법은 다르지만 세 회사 모두 모델이나 플랫폼만 공급하고 구축을 다른 회사에 맡기던 방식에서 한 발 더 나아가고 있습니다.
그래서 왜 고객사에 엔지니어까지 보내는 걸까?
생각보다 기업들이 생성형 AI에 막대한 돈을 쓰고도 기대한 성과를 얻지 못했습니다. MIT의 NANDA Initiative가 2025년 발표한 보고서에 따르면, 기업의 생성형 AI 투자액은 300억~400억 달러에 이르렀지만 조사 대상의 95%는 효과를 제대로 측정하기 어렵다고 답했습니다.[7]
BCG(Boston Consulting Group)가 2025년 1,250개 기업을 조사한 결과도 비슷했습니다. 조사 대상의 60%는 AI 투자에서 별다른 가치를 얻지 못했고, 전사 규모에서 성과를 낸 기업은 5%에 그쳤습니다. 성과를 낸 기업들은 AI를 기존 업무에 덧붙이는 데서 그치지 않고 핵심 업무 절차를 처음부터 끝까지 다시 설계했습니다.[8]
이 문제를 일찍 겪은 곳이 미국 금융회사 모건스탠리(Morgan Stanley)입니다. 자산관리 부문의 컨설턴트들은 방대한 연구자료와 사내 문서에서 고객이 원하는 정보를 찾아야 했습니다. AI 답변의 근거는 반드시 내부 자료여야만 했고, 컨설턴트들은 직접 인용 문서를 확인하고 싶었습니다.[9]
모건스탠리와 OpenAI는 ChatGPT를 내부 문서 시스템에 연결하는 데서 그치지 않았습니다. 사용자가 답변의 근거를 확인할 수 있는 검색 시스템을 만들고, 자문가와 FDE가 답변의 정확성과 일관성을 평가했습니다. 실제 질문에서 발견된 문제를 반영해 검색 방법을 계속 조정하고 매일 회귀 테스트도 진행했습니다. 물론 모건스탠리의 정보는 모델 학습에 사용하거나 따로 저장하지 않았습니다.[9]
그 결과 AI가 접근 가능한 내부 문서의 비율이 20%에서 80%로 넓어졌습니다. 고객 상담 뒤 며칠씩 걸리던 후속 업무는 몇 시간 안에 처리할 수 있게 됐고, 자문가가 고객 상담에 더 많은 시간을 쓸 수 있게 됐습니다. 이러한 개선과 함께 컨설턴트의 98% 이상이 사용하는 도구로 자리 잡았습니다.[9]
스페인 금융그룹 BBVA는 신용 리스크를 분석하는 AI 애플리케이션을 수개월간 개발했지만 응답 정확도가 60%에 미치지 못했습니다. OpenAI FDE는 AI 모델을 교체하기보다 답변을 검증하는 절차부터 살폈습니다. FDE는 답을 평가하고 승인하는 전담 에이전트를 두자고 제안했습니다. BBVA가 이 구조를 적용한 뒤 정확도가 80%로 높아졌다고 밝혔습니다.[10]
두 사례에서 성과를 가른 것은 접근 방식이었습니다. 모건스탠리에서는 검색·평가·보안 체계를 함께 다듬었고, BBVA에서는 답변을 검토하고 승인하는 구조를 바꿨습니다. 이런 문제는 고객사의 데이터와 업무 절차를 직접 확인해야 찾을 수 있습니다.
컨설팅과 SI의 역할은 사라지는 걸까?
FDE가 AI 적용 방향을 설계하고 시스템 구축까지 맡는다고 해서 컨설팅사와 SI 기업이 사라지는 것은 아닙니다.
여러 국가와 법인에서 AI를 활용하려면 지역마다 다른 규제와 시장 환경, 사업 구조를 이해해야 합니다. 부서 간 이해관계를 조정하고 새로운 업무 방식을 조직에 정착시키는 일도 남습니다. 컨설팅사가 산업과 경영 현장에서 쌓아 온 경험이 필요한 이유입니다.
SI 기업의 역할도 여전히 중요합니다. 기업의 AI는 ERP와 CRM, 데이터베이스, 보안 체계 등 이미 운영 중인 시스템과 연결돼야 합니다. 대규모 시스템을 안정적으로 구축하고 장기간 유지보수하며 장애에 대응해 온 경험은 단기간에 대체하기 어렵습니다.
다만 일하는 방식은 달라져야 합니다. 컨설팅사는 전략과 보고서를 제시하는 데서 그치지 않고 실제로 구현할 수 있는 업무 절차와 성과 기준까지 설계해야 합니다. SI 기업도 정해진 요구사항에 따라 시스템을 납품하는 데서 끝낼 수 없습니다. 모델과 프롬프트, 연결 도구가 바뀔 때마다 성능을 다시 확인하고 그 결과를 운영에 반영할 수 있는 역량을 갖춰야 합니다.
FDE의 등장으로 각자만의 경계가 흐릿해졌습니다. AI를 도입하려는 수요 기업 역시 기존의 SI 프로젝트와 동일하게 바라봐서는 안 됩니다.
도입 기업은 뭘 더 확인해야 할까?
기존 SI 프로젝트에서도 외부 개발자의 접근 권한과 보안, 장애 대응과 인수인계를 관리했습니다. 달라진 점은 관리 대상이 인력과 소프트웨어를 넘어 AI 모델과 에이전트의 판단·실행 과정까지 넓어졌다는 것입니다.
먼저 통제 범위를 정해야 합니다. 누가 기업의 데이터와 운영 시스템에 접근하는지 확인하고, AI가 무엇을 볼 수 있으며 어디까지 판단하고 실행할 수 있는지 구분해야 합니다. 영향이 큰 작업은 사람이 승인하도록 하고, 문제가 발생했을 때 대응하고 책임질 주체도 역할별로 정해 둬야 합니다.
검수 방식도 달라져야 합니다. 기존 시스템은 요구한 기능이 정상적으로 작동하는지가 주요 검수 대상이었습니다. AI는 같은 입력에도 다른 결과를 낼 수 있고, 모델이나 프롬프트, 연결 도구가 바뀌면 성능도 달라집니다. 평가 지표와 통과 기준을 미리 정하고, 주요 이벤트마다 동일한 기준으로 다시 검증해야 합니다. 기준에 미치지 못하면 운영을 중단하거나 이전 상태로 되돌릴 수 있어야 합니다.
프로젝트가 끝난 뒤 이관받아야 할 자료도 늘어날 겁니다. 소스 코드뿐 아니라 프롬프트와 평가 기준, 업무 처리 규칙과 운영 이력 등을 모두 넘겨받아야 합니다. FDE나 구축사가 철수한 뒤에도 내부 조직이 AI 시스템을 평가하고 운영하며 개선할 수 있어야 하기 때문입니다.
결국 시스템을 통제하고 유지하는 것은 기업 내부의 역량입니다. 완성된 AI 시스템을 넘겨받는 것만으로는 부족합니다. 프롬프트를 수정하고 평가 지표를 관리하려면 사내에 이를 전담할 조직이 필요합니다. 단순히 성능이 우수한 AI 모델을 도입하는 단계를 넘어, 모니터링하고 개선할 수 있는 내부 인력과 조직 구조를 확보하는 것이 기업 AX의 최종 과제가 아닐까요.
* 오늘날 FDE라고 부르는 역할의 대표적인 원형은 팔란티어의 FDSE(Forward Deployed Software Engineer) 조직에서 찾을 수 있습니다. 팔란티어는 엔지니어를 고객 가까이에 배치해 현장에서 문제를 정의하고 시스템을 구축했습니다. 이 과정에서 확인한 공통 요구사항은 다시 자사 제품 개발에 반영했습니다. 다만 팔란티어의 공식 직무 명칭인 FDSE와 현재 시장에서 폭넓게 사용하는 FDE를 완전히 같은 개념으로 보기는 어렵습니다.
참고문헌
[1] OpenAI, “OpenAI launches the OpenAI Deployment Company”
[2] Axios, “OpenAI deployment arm to acquire Northslope”
[3] OpenAI, “Introducing the OpenAI Partner Network”
[4] Anthropic, “Building a new enterprise AI services company”
[5] Hellman & Friedman, “Anthropic, Blackstone, and Hellman & Friedman Introduce Ode with Anthropic”
[6] Microsoft, 「마이크로소프트 프론티어 컴퍼니: 고객의 인텔리전스를 확장하고 보호하는 AI 엔지니어링」
[7] MIT NANDA Initiative, The GenAI Divide: State of AI in Business 2025
[8] Boston Consulting Group, The Widening AI Value Gap
[9] OpenAI, “Morgan Stanley uses AI evals to shape the future of financial services”
[10] The Wall Street Journal, “OpenAI’s High-Stakes, High-Touch Push to Make AI Work for Business”
써로마인드 관련 소식
최근 미디어에 소개된 써로마인드의 주요 소식을 확인해 보세요.
제목을 클릭하면 관련 기사 전문을 바로 읽으실 수 있습니다.