AI 개발부터 운영까지, 써로마인드의 AI PaaS 기술 개발 성과

기업에서 AI를 업무에 활용하려면 준비할 게 한두 가지가 아닙니다. 개발 초기부터 사용 목적과 서비스 실행 환경을 함께 고려해야 합니다. 고품질의 학습 데이터를 준비하고, 필요한 경우 AI 모델을 훈련한 뒤 서비스 실행 환경에 맞춰 배포해야 합니다. 도입한 뒤에는 새로운 데이터에서도 결과가 적절한지 살펴야 합니다. 각 과정을 연결하고 관리하는 기술이 필요한 이유입니다.

써로마인드 김병희 실장은 이러한 기술의 개발 성과를 2026년 10월 1일 서울 양재 엘타워에서 열린 ‘AI 모델과 서비스 개발을 위한 PaaS 기술 개발 성과공유회’에서 발표했습니다.

이번 발표는 과학기술정보통신부와 정보통신기획평가원의 지원을 받아 이노그리드가 주관하고, 써로마인드가 공동연구기관으로 참여한 AI PaaS 기술 개발 과제의 성과를 바탕으로 합니다. AI PaaS는 AI 개발과 운영에 필요한 도구를 함께 제공하는 플랫폼입니다. 써로마인드는 이 플랫폼에서 외부 데이터·모델 연동과 학습·배포, 문서 기반 AI 구성, 모델 최적화, 운영 중 성능 점검을 지원하는 기술을 맡았습니다.

데이터와 모델을 연결하고 학습과 배포를 이어갑니다

AI 개발에는 기업이 보유한 데이터뿐 아니라 외부에서 제공하는 모델이나 원격 서버에서 실행되는 모델도 활용할 수 있습니다. 다만 저장소와 모델마다 연결 방식이 다르면 각각에 맞춘 준비가 필요합니다.

써로마인드는 서로 다른 데이터 저장소와 외부 모델을 플랫폼의 공통 규격으로 연결했습니다. 외부 서버에서 실행되는 모델도 플랫폼 안의 모델과 같은 방식으로 사용할 수 있습니다. 여러 경로로 가져온 모델은 하나의 목록에서 관리합니다.

제각기 달랐던 학습용 데이터 형식은 표준 규격으로 통일해 등록 단계에서 먼저 점검합니다. 등록한 데이터에서 잘못된 항목을 찾으면 문제가 있는 위치를 알려주고, 학습에 적합하지 않은 데이터가 다음 단계로 넘어가지 않도록 합니다.

시스템은 모델의 종류를 확인해 알맞은 학습 환경으로 보내고, 학습과 평가를 거친 결과 모델을 저장소에 등록합니다. 배포할 때는 AI 연산에 쓰는 GPU와 메모리를 얼마나 사용할 수 있는지 확인해 실행 위치와 설정을 정합니다. 데이터 확인부터 모델을 실제 서비스에서 사용할 준비까지 하나의 작업 흐름으로 이어집니다.

데이터 검증을 거쳐 학습과 평가, 모델 등록과 배포로 이어지는 AI 개발 작업 흐름.

회사 문서를 참고하는 AI의 작업 흐름을 구성합니다

회사 자료를 참고해 답변하는 AI를 만들려면 문서 검색과 답변 생성 과정이 함께 작동해야 합니다. 질문과 관련된 문서를 찾아 AI가 답변할 때 참고하도록 하는 방식을 RAG, 즉 검색 증강 생성이라고 합니다.

예를 들어 사내 업무 안내 문서를 참고하는 질의응답 AI를 구성한다고 가정해 볼 수 있습니다. 질문을 받으면 관련 문서의 내용을 찾고, 이를 답변 지침과 함께 AI 모델에 전달하는 과정이 필요합니다.

써로마인드의 RAG 워크플로우는 LLM, 즉 대규모 언어 모델에 문서 검색을 연결합니다. 올린 문서를 검색에 활용할 수 있는 단위로 나누어 지식베이스로 구축하고, 질문과 관련된 문단을 찾아 모델에 전달하는 방식입니다.

답변 지침인 프롬프트는 별도로 관리해, 모델을 교체하지 않고도 답변 형식을 조정할 수 있습니다. 문서 검색과 모델 등의 처리 단계를 화면에서 블록처럼 연결하면 배포 전에 연결 구조와 가용 자원을 먼저 점검합니다. 이후 모델의 특성에 따라 배포 경로를 자동으로 선택하고, 배포 후 운영 상태도 살핍니다.

문서 검색과 답변 지침을 연결하고, 서비스 구성과 배포 전 검증·배포 경로 선택을 지원하는 RAG 워크플로우.

실행할 장비에 맞게 모델을 다듬고 자원 사용을 확인합니다

AI 모델을 실제로 사용하려면 실행할 장비의 특성과 자원도 고려해야 합니다. 같은 모델이라도 어떤 연산 장치를 사용하는지, 메모리를 얼마나 확보할 수 있는지에 따라 실행 환경을 준비하는 방식이 달라집니다.

모델의 계산과 저장 부담을 줄이기 위한 경량화 기능도 이번 개발에 포함됩니다. 학습된 모델에 경량화 기법을 적용하면 작업 진행 상태를 추적하고 결과 모델을 저장할 수 있습니다.

최적화는 CPU와 GPU, AI 전용 반도체 등 여러 종류의 연산 장치에 맞춰 모델을 변환하고 조정하는 작업입니다. 써로마인드는 경량화와 최적화 모듈을 통합 포털에 연결했습니다. 사용자는 별도의 코드를 작성하지 않고 포털에서 작업을 요청합니다.

모델이 자원을 얼마나 사용하는지는 성능 프로파일링으로 확인합니다. 프로파일링은 모델을 실행할 때 어떤 계산이 이뤄지고 메모리가 얼마나 필요한지 기록하는 작업입니다. 이번 개발에서는 모델의 추론 과정과 GPU 메모리 사용량을 수집해 모델별로 조회할 수 있도록 했습니다.

이렇게 파악한 자원 정보를 바탕으로 모델을 배포할 때 사용할 연산 자원을 추천하는 기능도 포함했습니다. 모델을 실행 환경에 맞게 다듬는 기능과 실제 자원 사용을 측정하는 기능을 함께 마련한 것입니다.

통합 포털에 연결한 경량화·장비별 최적화 기능과 모델의 자원 사용을 측정하는 프로파일링.

운영 중 변화를 살피고 분석 결과의 이해를 돕습니다

AI가 운영 중 만나는 데이터는 학습에 사용한 데이터와 달라질 수 있습니다. 계절에 따라 입력 데이터의 패턴이 달라지는 경우도 있습니다. 이런 변화가 모델 결과에 어떤 영향을 줄지 점검하는 일은 운영 중 성능 관리의 한 부분입니다.

써로마인드는 다양한 통계 기법으로 데이터 변화와 모델의 성능 저하를 살피는 모니터링 기능도 갖췄습니다. AI의 결과가 맞는지 판단할 정답 데이터가 일부만 있는 상황, 계절적으로 같은 패턴이 반복되는 상황을 고려한 탐지 기술도 포함했습니다.

분석 방법을 선택하고 결과를 해석하는 과정에는 LLM을 활용했습니다. 통계 분석은 어떤 방법을 적용할지 고르는 일부터 결과를 해석하는 일까지 전문적인 판단이 필요하기 때문입니다.

써로마인드는 모니터링 과정에서 어떤 데이터 항목이 변화에 기여했는지 분석해 보고서를 만들고, LLM이 탐지 기법 추천부터 보고서의 통계 결과 해석과 조치사항 작성까지 돕도록 했습니다. 성능 저하가 탐지됐을 때는 별도의 원인 관계 분석을 지원합니다.

데이터가 달라졌다는 신호와 실제 성능 저하는 구분해서 살펴야 합니다. 이번 발표에서는 변화를 탐지하는 기능에 더해 결과 해석과 원인 분석을 지원하는 기능을 소개했습니다. 운영 담당자가 보고서와 설명을 바탕으로 점검할 부분과 대응 방향을 검토할 수 있도록 돕는 데 의미가 있습니다.

모델 추론 결과를 모니터링하고 보고서 해석을 지원하며, 성능 저하를 탐지하면 원인 분석으로 이어지는 과정.

기업의 AI 개발과 운영을 지원하는 기술 기반

여러 데이터 저장소와 외부 모델을 함께 쓰는 기업에는 시스템마다 다른 연결 방식을 맞추는 작업이 부담이 될 수 있습니다. 써로마인드의 연동 기술과 작업 흐름은 기업이 보유한 자료와 모델을 공통 방식으로 연결하고, 사내 문서를 참고하는 AI 서비스까지 구성할 수 있도록 돕습니다.

AI를 실행할 GPU와 메모리가 제한돼 있다면, 모델 선택뿐 아니라 보유 장비에서 어떻게 실행할지도 검토해야 합니다. 경량화·장비별 최적화와 자원 사용 측정·추천 기능은 모델을 실행 환경에 맞춰 준비하고, 배포할 자원을 선택하는 데 활용할 수 있습니다.

이미 AI를 운영하는 기업에는 결과가 달라졌을 때 그 이유를 파악하고 대응 방향을 정하는 일이 중요합니다. 데이터 변화와 성능 저하 모니터링, 보고서 해석과 원인 분석 지원은 담당자가 점검할 부분을 찾고 대응 방향을 세우는 데 실질적인 기반이 됩니다.