인사이트 / 블로그

AI 에이전트 시리즈 · 6/6

좋은 대화형 AI Agent는 답뿐 아니라, 말할 타이밍까지 알아야 합니다

상상해 봅시다.

AI Agent가 단순히 질문에 답하는 도구를 넘어, 실제 동료나 어시스턴트처럼 회의와 협업 대화의 흐름을 함께 따라가게 된다면 무엇이 중요해질까요?

그 Agent는 회의 내용을 듣고, 상담의 맥락을 파악하고, 협업 채팅의 흐름을 따라갈 수 있습니다. 필요한 순간에는 요약을 해주거나, 빠진 조건을 물어보거나, 다음 행동을 제안할 수도 있습니다.

하지만 이 글에서 말하는 대화형 AI Agent는 사람 한 명과 1:1로 대화하는 챗봇만을 뜻하지 않습니다. Agent끼리만 대화하고 조정하는 시스템을 말하려는 것도 아닙니다.

핵심은 사람이 일하는 대화 공간에 AI Agent가 참여자로 들어오는 장면입니다. 회의, 상담, 고객 응대, 협업 채팅처럼 여러 사람이 함께 말하고 듣고 결정하는 공간 안에 AI가 들어오는 상황입니다.

도식 1. 이 글이 다루는 대화형 AI Agent의 장면

이때 좋은 AI는 답만 잘해서는 부족합니다.

앞으로 AI가 이런 대화 공간에 더 능동적으로 들어오면, AI는 언제 말하고 언제 침묵할지 판단해야 합니다. 누구에게 답해야 하는지, 언제 끼어들어도 되는지도 알아야 합니다.

지난 글에서는 Agent가 화면과 도구로 실행을 맡기 시작할 때, 인터페이스가 클릭하는 도구에서 검증하는 접점으로 바뀐다고 보았습니다.

이번 질문은 그다음 단계에 있습니다.

Agent가 실행만 하는 것이 아니라 사람들의 대화 흐름 안에 참여자로 들어온다면, 이제는 어떤 화면을 보여줄지보다 어떻게 말하고, 언제 기다리고, 어디서 사람에게 넘길지를 설계해야 합니다.

좋은 답변만으로는 대화에 참여할 수 없습니다

1:1 챗봇에서는 구조가 비교적 단순합니다.

사용자가 묻고, AI가 답합니다. 다시 물으면, 다시 답합니다. 이 구조에서는 답변의 정확도와 속도, 표현 품질이 먼저 보입니다.

여러 사람이 함께 있는 업무 대화에서는 상황이 달라집니다.

누군가는 질문하고, 누군가는 설명합니다. 누군가는 듣고 있다가 중간에 확인합니다. 어떤 말은 모두에게 향하고, 어떤 말은 특정 사람에게만 향합니다. 어떤 침묵은 생각하는 시간이고, 어떤 침묵은 동의나 보류의 신호일 수도 있습니다.

이 공간에 들어온 AI는 "무엇을 답할까" 전에 먼저 판단해야 합니다.

지금 내가 말해도 되는가.

이 말은 나에게 온 요청인가.

내가 끼어들면 도움이 되는가, 아니면 방해가 되는가.

그래서 대화형 AI Agent는 답변 생성 능력만으로 설명되지 않습니다. 대화 안에서 어떤 참여자가 될 것인지까지 봐야 합니다.

도입 전에 먼저 물어야 할 네 가지 질문

대화형 AI Agent를 조직에 도입하려면 기술 이름보다 먼저 물어야 할 질문이 있습니다.

첫 번째는 "이 대화에는 누가 함께 있는가"입니다.

사람이 한 명뿐인 대화와 여러 사람이 함께 있는 대화는 다릅니다. 회의에는 발언자, 담당자, 참조자, 의사결정자가 함께 있을 수 있습니다. 상담에서는 고객과 상담자, 내부 검토자가 얽힐 수 있습니다. 협업 채팅에는 요청자와 실행자, 확인자가 동시에 존재합니다.

AI가 이 공간에 들어온다면 누가 대화에 참여하고 있는지, 누구의 말을 듣고 있는지, 누구에게 답해야 하는지를 구분해야 합니다.

이 질문이 Multiparty(다자 대화) 조건으로 이어집니다.

두 번째는 "누가 먼저 말하거나 확인할 수 있는가"입니다.

AI가 항상 사용자의 질문을 기다리기만 해야 할까요? 아니면 중요한 조건이 빠졌을 때 먼저 확인해도 될까요?

좋은 AI Agent는 아무 때나 먼저 말하는 시스템이 아닙니다. 그렇다고 항상 수동적으로 기다리는 시스템도 아닙니다. 언제는 사용자가 주도하고, 언제는 AI가 확인하거나 제안해도 되는지 그 선을 조직이 먼저 그어두어야 합니다.

여기서 필요한 것이 Mixed-Initiative(주도권 분배)입니다.

세 번째는 "중간에 멈추고 고칠 수 있는가"입니다.

대화와 업무는 항상 끝까지 진행된 뒤에만 수정되는 것이 아닙니다. 사용자는 AI의 말을 중간에 멈추고 방향을 바꿀 수 있어야 합니다. AI도 실행 전에 조건을 다시 확인해야 할 때가 있습니다.

중요한 것은 멈춤 기능 자체가 아닙니다. 언제 멈추고, 무엇을 고치고, 어떻게 다시 흐름으로 돌아올지를 정하는 일입니다.

이 질문은 Interruptable(중간 개입 가능) 조건으로 이어집니다.

네 번째는 "발언권과 책임은 어떻게 나눌 것인가"입니다.

AI가 대화에 들어온다고 해서 모든 발언권을 AI가 가져서는 안 됩니다. 반대로 AI가 아무 책임 없이 말만 보태는 것도 위험합니다.

누가 최종 판단을 하는지, AI의 제안은 누구에게 보이는지, 어떤 발언은 기록되어야 하는지, 어떤 개입은 사람의 승인을 받아야 하는지까지 운영 원칙에 포함해야 합니다.

이 지점에서 Decentralized(분산 조정) 조건이 중요해집니다.

결국 네 가지 질문은 하나로 모입니다.

우리 조직의 어떤 대화에 AI Agent를 참여시킬 것인가? 그리고 그 Agent는 어디까지 말하고, 어디서 기다리며, 언제 사람에게 넘겨야 하는가.

도식 2. 대화형 AI Agent 도입 전 4가지 질문

가장 어려운 행동은 말하기가 아니라 기다리기입니다

AI는 대체로 답을 하도록 설계되어 있습니다.

사용자가 질문하면 답하고, 요청하면 처리하고, 빈칸이 있으면 채우는 방식에 익숙합니다. 그래서 대화형 AI Agent에게 가장 자연스러운 행동은 말하기처럼 보입니다.

하지만 여러 사람이 함께 있는 자리에서는 말하지 않는 능력이 더 큰 차이를 만듭니다.

회의에서 누군가 AI의 이름을 언급했다고 해서, 반드시 AI에게 직접 요청한 것은 아닐 수 있습니다. 누군가 잠깐 말을 멈췄다고 해서, 바로 요약을 시작해도 된다는 뜻은 아닐 수 있습니다. 두 사람이 의견을 조율하는 중이라면, AI의 빠른 답변이 오히려 흐름을 끊을 수도 있습니다.

반대로 침묵만이 정답인 것도 아닙니다.

중요한 조건이 빠진 채 결정이 내려지고 있거나, 참석자들이 같은 단어를 서로 다른 의미로 쓰고 있거나, 다음 행동을 정해야 하는데 책임자가 불분명한 순간도 있습니다. 그럴 때는 AI의 짧은 확인 질문이 오히려 도움이 됩니다.

대화형 AI Agent에게 침묵은 아무것도 하지 않는 상태가 아닙니다. 침묵도 설계해야 하는 행동입니다.

좋은 AI Agent는 답을 낼 수 있는 순간을 아는 것만큼, 답하지 않아야 하는 순간을 알아야 합니다.

끼어들기는 중지 버튼이 아니라 정책입니다

대화형 AI Agent를 생각할 때 쉽게 떠올리는 기능이 있습니다.

사용자가 AI의 말을 중간에 멈출 수 있어야 한다는 것입니다. 방향이 틀렸거나, 조건이 바뀌었거나, 더 이상 설명이 필요 없을 때 사용자는 AI를 멈추고 수정할 수 있어야 합니다.

물론 이 장치도 있어야 합니다. 하지만 끼어들기는 여기서 끝나지 않습니다.

AI도 때로는 사람의 말을 듣다가 중간에 확인해야 할 수 있습니다. 잘못된 전제를 바탕으로 결정이 내려지려는 순간, 민감한 정보가 공유되려는 순간, 다음 행동을 실행하기 전에 승인 여부가 모호한 순간에는 짧게 멈추고 물어보는 편이 더 안전합니다.

어려운 건 버튼이 아닙니다. 기준입니다.

AI가 너무 자주 끼어들면 대화는 피로해집니다. 반대로 꼭 필요한 순간에도 침묵하면 중요한 오류를 놓칠 수 있습니다.

그래서 조직이 먼저 정할 것은 기능 목록이 아닙니다. 언제 끼어들어야 하고, 언제 기다려야 하며, 끼어든 뒤에는 어떻게 다시 대화 흐름으로 돌아올지에 대한 정책입니다.

좋은 대화형 AI Agent는 발화, 침묵, 확인, 개입, 넘김을 모두 행동으로 다룹니다. 답변만 행동이고 침묵은 빈칸이라고 보지 않습니다.

도식 3. 말하기 전 AI Agent가 판단해야 할 것

여러 사람이 함께 있을수록 운영 기준도 달라집니다

대화에 참여자가 많아질수록 더 많은 판단이 필요해집니다.

AI가 누구에게 답해야 하는지, 공개적으로 말해야 하는지, 특정 담당자에게만 알려야 하는지, 어떤 발언을 기록해야 하는지, 어떤 개입은 사람의 승인을 받아야 하는지까지 운영 기준에 들어가야 합니다.

이건 말투가 아니라 운영의 영역입니다.

AI가 회의 안에서 요약을 제공한다면 그 요약은 누구의 책임 아래 검토될까요? AI가 협업 채팅에서 다음 행동을 제안한다면 그 제안은 모두에게 보일까요, 특정 담당자에게만 보일까요? AI가 중간에 끼어들어 위험을 알린다면, 그 기준은 누가 정할까요?

대화형 AI Agent를 사람처럼 보이게 만드는 것보다 먼저 할 일은, 어떤 권한과 책임 안에서 말하게 할지 정하는 것입니다.

항상 하나의 정답이 있는 것은 아닙니다.

어떤 업무에서는 AI가 직접 호출될 때만 답하는 편이 좋습니다. 어떤 업무에서는 중요한 누락이 있을 때만 짧게 개입하는 편이 좋습니다. 또 어떤 업무에서는 여러 사람의 발언을 정리하되, 최종 판단은 사람에게 남겨두는 편이 좋습니다.

모든 대화에 같은 수준의 자율성이 필요한 것은 아닙니다.

조직이 정해야 할 운영 질문

대화형 AI Agent를 검토한다면 "답변을 잘하는가"만 물어서는 부족합니다.

적어도 이런 질문은 먼저 지나가야 합니다.

이 Agent가 참여할 대화에는 누가 들어와 있는가?

AI는 직접 호출된 경우와 단순히 언급된 경우를 구분할 수 있는가?

AI가 침묵해야 하는 상황을 정의했는가?

AI가 먼저 개입해도 되는 상황과 안 되는 상황을 구분했는가?

AI가 끼어들었을 때 사용자가 멈추거나 수정할 수 있는가?

여러 사람이 있을 때 AI는 누구에게 답해야 하는지 판단할 수 있는가?

AI의 발언과 개입은 기록되고 검토될 수 있는가?

이 업무 대화에 필요한 참여 수준은 어디까지인가?

이 질문은 구현이 시작된 뒤로 미루기 어렵습니다.

대화형 AI Agent는 말을 더 많이 하게 만드는 시스템이 아니라, 필요한 순간에 적절히 말하고, 기다리고, 물러날 수 있게 만드는 시스템이어야 합니다.

좋은 AI Agent는 참여 방식까지 설계되어야 합니다

이번 시리즈는 Agent를 좋은 모델 하나가 아니라 업무 실행 시스템으로 바라보는 관점에서 출발했습니다.

좋은 답변을 내는 모델은 출발점입니다. 하지만 Agent가 실제 업무에 들어오면 질문은 곧바로 확장됩니다.

어떤 도구를 호출할 수 있는가.

실행 결과를 어떻게 평가할 것인가.

무엇을 기억하고, 무엇을 갱신하고, 무엇을 잊을 것인가.

화면은 조작의 장소로 남을 것인가, 아니면 검증과 조정의 접점이 될 것인가.

그리고 마지막으로, 사람들과 함께 있는 대화 공간에서 Agent는 언제 말하고 언제 기다릴 것인가.

앞으로의 AI는 더 좋은 답을 더 빨리 내는 것만으로 평가되지 않을 것입니다.

사람과 함께 일하는 공간에서는 언제 말하고, 언제 기다리고, 언제 물러나는지가 품질이 됩니다.

좋은 AI Agent는 답을 내는 데서 끝나지 않습니다. 실행하고, 기억하고, 검증받고, 대화 안에서 적절히 참여할 수 있어야 합니다.

AI 에이전트 시리즈