2019년 어느 개발자가 셀레니움으로 크롤러를 돌리다가 사이트 구조가 바뀔 때마다 스크립트가 통째로 깨지는 경험을 한 번쯤은 해봤을 것이다. 버튼 하나의 CSS 클래스명이 바뀌면 자동화 코드 전체가 멈춰 서는 이 취약함이야말로 웹 자동화 기술이 지난 20여 년간 극복해야 했던 근본 문제였다.
웹 자동화의 역사는 생각보다 길다. 2004년 셀레니움(Selenium)이 등장하면서 브라우저를 프로그래밍적으로 제어하는 표준이 처음 자리 잡았다. 당시 목적은 단순했다. 사람이 매번 클릭해서 확인하던 웹사이트 테스트를 자동화하자는 것이었다. 이후 2011년 PhantomJS 같은 헤드리스(headless) 브라우저가 나오면서, 화면을 실제로 띄우지 않고도 브라우저 엔진을 서버에서 돌릴 수 있게 됐다. 화면 렌더링 비용을 아낀다는 이유로 크롤링 업계에서 특히 환영받았다.
전환점은 2017년 구글이 크롬 헤드리스 모드와 함께 퍼펫티어(Puppeteer)를 공개하면서 찾아왔다. 퍼펫티어는 개발자 도구(DevTools) 프로토콜을 직접 활용해 셀레니움보다 빠르고 안정적인 제어를 가능케 했다. 2020년에는 마이크로소프트가 후원한 플레이라이트(Playwright)가 나오며 크롬·파이어폭스·사파리 엔진을 하나의 API로 동시에 다루는 시대를 열었다. 이 두 도구는 지금도 QA 자동화, 가격 비교 크롤러, 웹 모니터링 서비스의 근간을 이루고 있다.
문제는 여전히 남아 있었다. "특정 위치의 버튼을 클릭하라"는 식의 좌표·선택자 기반 자동화는 사이트 디자인이 리뉴얼되는 순간 무력화됐다. 이른바 '깨지기 쉬운 셀렉터(brittle selector)' 문제다. 실제로 전자상거래 업체들이 매년 UI를 개편할 때마다 사내 QA팀의 자동화 스크립트 유지보수 비용이 만만치 않다는 보고가 여러 개발 컨퍼런스에서 꾸준히 제기돼 왔다.
2023년 이후 대형 언어 모델(LLM)이 화면 텍스트와 구조를 이해하고 스스로 다음 행동을 판단하는 '에이전틱(agentic) 브라우저 자동화'가 새 흐름으로 떠올랐다. 미리 정해진 셀렉터 대신, 모델이 스크린샷이나 접근성 트리(accessibility tree)를 읽고 "로그인 버튼처럼 보이는 요소를 찾아 클릭하라"는 식의 자연어 지시를 실행한다. 앤스로픽의 컴퓨터 사용(computer use) 기능이나 여러 스타트업의 브라우저 에이전트가 이 방식을 상용화하고 있다.
다만 논쟁도 뚜렷하다. 첫째는 속도와 비용이다. 셀렉터 기반 자동화는 밀리초 단위로 끝나지만, 모델이 화면을 매번 해석하는 방식은 초 단위로 느려지고 API 호출 비용도 붙는다. 둘째는 신뢰성이다. 모델이 화면을 오독해 엉뚱한 버튼을 누르는 사례가 보고되면서, 결제나 계정 설정처럼 되돌리기 어려운 작업에 에이전트를 그대로 맡겨도 되느냐는 우려가 나온다. 셋째는 이용약관과 법적 회색지대다. 다수 플랫폼이 자동화 접근을 약관으로 금지하고 있어, 기술적으로 가능해진 일과 허용된 일 사이의 간극이 오히려 넓어졌다는 지적도 있다.
결국 현재의 웹 자동화는 '정확한 반복 작업은 전통적 셀렉터 기반 도구로, 예측 불가능한 탐색과 판단이 필요한 작업은 AI 에이전트로' 역할을 나누는 혼합 구조로 수렴하는 중이다. 완전한 대체보다는 도구함이 하나 늘어난 셈이라는 게 업계의 대체적인 평가다.
컴퓨터가 사람 대신 마우스를 움직이고 버튼을 눌러준다면 어떨까? 이런 걸 '웹 자동화'라고 부르는데, 생각보다 역사가 오래됐고 최근 들어 완전히 새로운 국면을 맞고 있다.
시작은 2004년 셀레니움이라는 도구였다. 개발자들이 웹사이트가 제대로 작동하는지 매번 손으로 클릭해서 확인하는 대신, 코드로 "이 버튼을 클릭하고, 이 칸에 글자를 입력해봐"라고 시키는 방식이었다. 문제는 이 방식이 사이트 디자인 하나만 바뀌어도 쉽게 고장 났다는 점이다. 버튼의 이름표나 위치가 조금만 달라져도 자동화 코드가 그 버튼을 못 찾고 멈춰버렸다.
2017년 구글이 퍼펫티어라는 도구를 내놓으면서 훨씬 빠르고 정확한 자동화가 가능해졌고, 2020년엔 마이크로소프트의 플레이라이트가 등장해 크롬뿐 아니라 여러 브라우저를 한꺼번에 다룰 수 있게 됐다. 지금도 회사들이 웹사이트 오류를 자동으로 검사하거나, 가격 변동을 확인하는 데 이런 도구들을 쓰고 있다.
그런데 2023년부터 완전히 다른 방식이 나타났다. AI, 특히 대형 언어 모델이 화면을 사람처럼 '보고' 이해해서 스스로 다음에 뭘 해야 할지 판단하는 방식이다. 예전엔 "정확히 이 위치의 이 버튼"이라고 못 박아야 했다면, 이제는 "로그인 버튼 눌러줘"라고만 말해도 AI가 화면을 훑어보고 알아서 찾아 누른다. 마치 사람에게 심부름을 시키듯 명령하는 셈이다.
이게 왜 중요할까? 예전 방식은 사이트가 조금만 바뀌어도 다시 프로그램을 고쳐야 했는데, AI 방식은 사람처럼 화면을 이해하니까 디자인이 바뀌어도 어느 정도는 스스로 적응할 수 있다. 반면 단점도 있다. AI가 화면을 잘못 읽고 엉뚱한 버튼을 누를 위험이 있고, 화면을 매번 분석하다 보니 속도가 느리고 비용도 더 든다.
또 하나 생각해볼 점은, 많은 웹사이트가 애초에 "자동으로 접속하지 마세요"라는 규칙(이용약관)을 걸어두고 있다는 것이다. 기술적으로 가능해졌다고 해서 아무 데나 마음대로 써도 되는 건 아니라는 뜻이다.
결국 지금은 정확하고 반복적인 작업은 예전 방식으로, 사람처럼 판단이 필요한 복잡한 작업은 AI 방식으로 나눠 쓰는 쪽으로 흘러가고 있다. 완전히 새로운 기술이라기보다, 도구 상자에 새 도구가 하나 더 생긴 셈이다.
여러분이 좋아하는 게임 속 캐릭터를 상상해보세요. 누가 조종하지 않아도 스스로 길을 찾아 움직이는 캐릭터요. 웹 자동화는 그것과 비슷해요. 사람이 직접 인터넷 화면을 클릭하지 않아도, 컴퓨터가 알아서 버튼을 누르고 글자를 써주는 기술이에요.
옛날 방식은 로봇 청소기가 정해진 길만 왔다갔다하는 것과 비슷했어요. "왼쪽으로 가서 버튼을 눌러"라고 아주 정확하게 알려줘야만 움직일 수 있었죠. 그런데 방 가구 위치가 바뀌면(웹사이트 디자인이 바뀌면) 로봇 청소기가 헷갈려서 멈춰버렸어요.
요즘은 다르답니다. 똑똑한 AI가 마치 사람처럼 화면을 눈으로 보고 "아, 저게 로그인 버튼이구나" 하고 스스로 알아차려요. 정확한 위치를 알려주지 않아도, "로그인 버튼 눌러줘"라고만 말하면 AI가 화면을 둘러보고 찾아서 눌러줘요. 마치 심부름을 시켰을 때 똑똑한 친구가 알아서 물건을 찾아오는 것과 비슷해요.
그런데 아직 완벽하진 않아요. 가끔 AI가 화면을 잘못 보고 다른 버튼을 누르는 실수를 하기도 하고, 화면을 꼼꼼히 살펴보느라 시간이 더 걸리기도 해요. 그리고 어떤 웹사이트는 "로봇은 들어오지 마세요"라는 규칙을 정해놓기도 했어요.
그래서 지금은 정해진 똑같은 일은 예전 방식 로봇이, 생각이 필요한 일은 똑똑한 AI가 나눠서 맡고 있어요. 앞으로는 더 똑똑해져서 실수도 줄어들 거예요.
문서 정보
최초 작성
최종 갱신
분류
기술
HANGUL.WIKI가 정리·작성한 문서입니다. 정확성을 위해 노력하나 오류가 있을 수 있으므로, 중요한 내용은 공식 출처를 통해 확인하시기 바랍니다.
내용의 오류나 정정 요청은 오류·정정 신고로 알려주시면 검토 후 반영합니다.