AI 에이전트 시대, 다음 과제는…‘실행 권한·책임 주체’

인공지능(AI)이 답변을 생성하는 데서 나아가 실제 업무를 수행하는 단계로 진화하면서, AI에 부여할 권한의 범위와 결과에 대한 책임을 어떻게 정할지가 새로운 과제로 떠오르고 있다. 즉 AI가 어떤 행동을 할 수 있는지, 잘못된 행동을 누가 막고 책임질 것인지까지 설계해야 하는 상황이다. 13일 과학기술정보통신부에 따르면 정부는 지난 7월부터 '에이전틱 AI 이니셔티브'를 통해 AI 에이전트의 자율 실행에 따른 권한 오남용과 민감 데이터 유출 등에 대응하기 위한 안전·신뢰 체계 마련을 추진하고 있다. 사용자가 제시한 목표에 따라 시스템을 활용해 업무를 수행하는 AI 에이전트를 활용하면 사람의 개입이 줄어든다는 장점이 있지만, AI가 잘못 판단한 내용을 실제 시스템에 반영하면 오류가 단순한 답변에 머물지 않고 문제를 일으킬 수 있기 때문이다. 핵심 쟁점은 AI의 실행 권한을 어디까지 허용할지다. 자료 검색이나 문서 초안 작성처럼 결과를 되돌리기 쉬운 작업과 고객 정보 수정, 데이터 삭제, 외부 결제처럼 영향이 큰 작업을 같은 수준으로 허용하기는 어렵다. 모든 행동을 사람에게 승인받도록 하면 자동화의 장점이 줄어들고, 반대로 광범위한 권한을 한꺼번에 부여하면 잘못된 판단을 즉시 실행할 위험이 커진다. 업무의 위험도에 따라 권한을 나누고, 되돌리기 어려운 작업에는 별도 승인 절차를 두는 방식이 대안으로 거론되는 이유다. 실행 과정을 기록하는 것도 중요하다. AI가 어떤 지시를 받았고, 어떤 정보와 도구를 이용해 결론을 내렸으며, 실제로 어떤 작업을 실행했는지 확인할 수 있어야 사고 원인을 추적할 수 있어서다. 여러 에이전트가 서로 다른 시스템을 오가며 업무를 처리할 경우에는 최초 지시부터 최종 실행까지 권한이 어떻게 전달됐는지도 살펴야 한다. 또 사고가 발생했을 때 문제점이 개발 단계의 결함에서 비롯됐는지, 도입 기업이 과도한 권한을 부여했는지, 이용자의 지시가 잘못됐는지에 따라 원인과 책임 범위도 달라진다. 여러 서비스와 시스템이 연결된 환경에서는 각 주체의 역할을 구분하고, 사고 발생 시 실행 기록을 바탕으로 원인을 확인할 수 있는 절차도 필요하다. 이에 과학기술정보통신부는 개인정보·민감 데이터 보호와 권한 관리, 목표 이탈 방지 등을 담은 안전·신뢰 가이드라인을 연내 마련하고, 에이전트의 신원 확인과 행위에 대한 책임 소재도 검토하겠다고 밝혔다. 다만 가이드라인 마련 계획이 곧바로 구체적인 법적 책임 기준의 확정을 의미하는 것은 아니다. 실제 업무에서 발생할 수 있는 사고에 대응하려면 기술적 통제 장치와 함께 개발사·서비스 제공사·도입 기업의 역할을 구분할 기준도 필요하다. 결국 AI가 무엇을 할 수 있는지뿐 아니라 무엇을 해서는 안 되는지, 문제가 생겼을 때 누가 책임지는지를 명확히 하는 것이 에이전트의 산업 현장 확산을 위한 다음 과제로 떠오르고 있다. 남상하 NC AI 에이전틱 AI 연구 랩장은 "AI가 안전하게 작동하려면 판단 근거를 기록하고 조직의 규정과 권한을 시스템에 반영하며, 문제가 생겼을 때 안전하게 멈추거나 이전 상태로 복구할 수 있어야 한다"며 "신뢰할 수 있는 AI의 조건은 '다 잘할 수 있다'가 아니라 '자기가 확신할 수 있는 지점, 그 경계를 정확하게 알게 하는 것"이라고 말했다.