AWS, 멀티모달 LLM과 브라우저 격리 환경 결합한 에이전트 기반 신세틱 모니터링 아키텍처 공개

아마존웹서비스(AWS)가 대규모 언어 모델을 활용해 웹 애플리케이션의 핵심 사용자 여정을 자동으로 검증하는 신세틱 모니터링(synthetic monitoring) 아키텍처와 참조 구현 방식을 발표했다. 이번에 공개된 아키텍처는 멀티모달 기반의 아마존 노바 액트(Amazon Nova Act)와 서버리스 에이전트 실행 환경인 아마존 베드록 에이전트코어(Amazon Bedrock AgentCore)를 결합한 것이 특징이다. 개발자는 화면 요소가 변경될 때마다 깨지기 쉬운 문서 객체 모델(DOM) 선택자 기반 스크립트를 작성하는 대신, 시각 추론과 자연어 명령으로 로그인, 결제, 장바구니 담기와 같은 핵심 업무 흐름을 안정적으로 자동화하고 사전에 장애를 감지할 수 있다.

신세틱 모니터링은 실제 사용자가 겪을 수 있는 여정을 시뮬레이션 트랜잭션으로 지속 실행해 성능 저하나 화면 오류를 선제적으로 찾아내는 기법이다. 금융 거래, 호텔 예약, SaaS 가입 및 갱신, 병원 예약 등 다양한 산업군에서 핵심 기능의 가용성을 유지하기 위해 활용된다. 통상 조직들은 로그, 지표, 트레이스, API 수준의 상태 확인으로 인프라를 감시하지만, 프론트엔드 배포 후 결제 버튼이 동작하지 않거나 외부 로그인 페이지가 바뀌는 등 사용자 인터페이스 단계에서 발생하는 결함은 백엔드 신호만으로 즉각 파악하기 어렵다. 셀레니움(Selenium)이나 플레이라이트(Playwright) 등 기존 브라우저 자동화 프레임워크는 CSS 클래스나 XPath 등 특정 DOM 선택자에 강하게 결합되어 있어, 디자인 변경이나 마크업 수정 시 테스트가 빈번히 실패하고 유지보수 비용이 과도하게 발생하는 구조적 한계를 안고 있었다. 더불어 엔터프라이즈 모니터링 솔루션들이 브라우저 테스트를 고가의 추가 옵션으로 책정해 온 점도 적용 범위를 제한하는 요인이었다.

이번 솔루션의 핵심인 Amazon Nova Act는 화면 스크린샷 이미지를 직접 해석하는 멀티모달 대규모 언어 모델(multimodal LLM)을 기반으로 구동된다. 기존 스크립트가 요소의 ID나 CSS 클래스를 10줄 이상 명시해야 했던 것과 달리, Nova Act 환경에서는 act() 메서드에 'Click the checkout button'이나 'Confirm the order'와 같은 자연어 지시문을 전달하는 방식으로 UI를 조작한다. 또한 워크플로 결과 검증에는 불리언 스키마 기반의 act_get() 메서드를 활용해 오류 배너 유무나 장바구니 담김 여부 등 실제 최종 결과를 직접 판별한다. 초기 기업 고객 사용 사례에서 Nova Act는 화면 스타일 변화에도 능동적으로 적응하며 약 90% 이상의 브라우저 워크플로 정확도를 기록했다. 일반적인 6단계 전자상거래 검증 워크플로(홈페이지 접속, 상품 검색, 상세 페이지 이동, 장바구니 담기, 결제 준비 등)의 경우 페이지 로딩 속도에 따라 회당 약 2분에서 4분이 소요된다.

안정적인 에이전트 실행을 위해 Amazon Bedrock AgentCore Runtime과 AgentCore Browser 도구가 함께 구성된다. AgentCore Runtime은 별도의 서버나 컨테이너를 직접 관리하지 않아도 되는 서버리스 환경에서 세션 격리와 호출 엔드포인트를 제공한다. 테스트 수행 환경인 AgentCore Browser 도구는 파이어크래커(Firecracker) 마이크로VM 기반의 엄격한 1세션 1마이크로VM 격리 모델을 적용해 브라우저 팜 운영 부담을 덜어준다. 특히 세션이 종료될 때마다 메모리 완전 초기화(sanitization)를 수행하여 쿠키, 브라우저 캐시, 로컬 스토리지(LocalStorage)가 다음 세션으로 이전되는 것을 차단하므로, 이전 테스트 데이터가 남아 발생하는 오탐 문제를 방지한다. 원격 프로필 유지를 위한 SaveBrowserSessionProfile API가 존재하지만 신세틱 모니터링 환경에서는 이러한 일회성(ephemeral) 세션 구조가 기본 권장된다. 네트워크는 일반 웹사이트 검증을 위한 퍼블릭 모드가 기본이며, 내부 애플리케이션 검증 시에는 Amazon VPC 설정을 통해 외부 접속 대상을 특정 도메인으로 제어할 수 있다.

전체 모니터링 체계는 아마존 이벤트브릿지 스케줄러(Amazon EventBridge Scheduler)가 업무 중요도에 따라 5분에서 1시간 간격으로 AgentCore Runtime의 InvokeAgentRuntime을 직접 트리거하는 흐름으로 작동한다. 워크플로 배포는 Nova Act CLI 도구를 사용해 act workflow create, act workflow deploy, act workflow show 명령을 순차 실행하는 방식으로 이루어지며, 코드 패키징과 Amazon ECR 컨테이너 푸시 및 런타임 생성이 자동 처리된다. 이때 배포된 엔드포인트 ARN은 고정 유지되므로 업데이트 시 스케줄러 대상을 변경할 필요가 없다. 함께 제공되는 AWS CDK 템플릿은 스케줄러, 최소 권한 IAM 역할, 실패 알림을 전송하는 Amazon SNS 토픽, 스케줄 호출 실패를 수집하는 Amazon SQS 데드레터 큐(DLQ), 그리고 호출 누출 여부를 감시하는 Amazon CloudWatch 경보를 일괄 배포한다. 로그인 테스트에 필요한 민감 계정 정보는 AWS Secrets Manager에 암호화 보관되고 AWS CloudTrail을 통해 감사 추적이 지원된다.

이와 같은 에이전트 기반 아키텍처는 잦은 UI 변경에 대응해 선택자 스크립트를 재작성해야 하던 개발진의 유지보수 부담을 크게 덜어준다. 또한 5분 주기의 지속적 검증을 통해 배포 직후 결함을 조기에 포착함으로써 평균 장애 감지 시간(MTTD)을 단축할 수 있으며, 격리된 가상 환경을 통해 과거 공유 브라우저 환경에서 발생하던 오탐을 줄인다. 다만 운영 단계에서는 불필요한 알림 피로(alert fatigue)를 막기 위한 운영 전략이 필요하다. 모든 페이지를 전수 검사하기보다는 로그인, 결제, 계정 관리 등 수익과 직결되는 3~5개의 핵심 경로에 집중해야 하며, 화면 내 모든 세부 DOM을 일일이 검증하기보다는 검색 결과 출력 여부나 장바구니 담김 상태처럼 의미 있는 최종 결과 중심으로 검증 단계를 설계해야 한다.

해당 솔루션을 구현하려면 Python 3.11 이상, Docker, AWS CLI v2가 요구되며, 프로덕션 CDK 배포 시에는 Node.js 18 이상 및 AWS CDK 환경이 갖추어져야 한다. 한편 운영 시 고려해야 할 명확한 기술적 제약도 존재한다. Nova Act의 자연어 UI 인식 성공률이 약 90% 수준이기 때문에, 단일 시도(single-attempt) 설정에서는 화면에 요소가 실제로 존재함에도 모델이 인식하지 못해 간헐적인 거짓 경보가 발생할 수 있다. 오탐을 낮추기 위해 실패 단계 재시도(retry) 로직을 추가할 수 있으나 세션 실행 시간이 늘어나 비용이 추가된다. 시스템 비용은 브라우저 세션 시간과 Nova Act 추론 호출 횟수가 핵심을 차지하며, 6단계 워크플로를 5분 간격(월 8,640회)으로 실행할 경우 월 약 207,360회의 액션 및 어설션 호출이 발생한다. 또한 CloudWatch 경보는 스케줄 미실행 등 인프라 장애만을 감지하며 기능 결함은 에이전트의 SNS 발행으로 감지된다는 점을 유의해야 한다. 리소스 삭제 시 CDK의 cdk destroy 외에도 별도로 생성된 워크플로 런타임을 act workflow delete 명령으로 제거하거나 deploy.py --cleanup 옵션을 실행해야 지속적인 과금을 방지할 수 있다.