텐센트가 새로운 AI 모델 ‘Hy4’를 공개했습니다. 이미지 이해와 복잡한 추론, 장시간 작업 수행 능력을 강화한 모델로 소개됐는데요. 눈에 띄는 부분은 텍스트 명령을 처리하는 데서 그치지 않고, 사람이 컴퓨터를 쓰듯 그래픽 화면을 직접 조작하는 기능을 더했다는 점입니다.
그동안 AI는 질문에 답하거나 문서를 요약하고, 코드를 작성하는 방식으로 주로 활용됐습니다. Hy4가 지향하는 방향은 한 단계 더 실제 업무에 가깝습니다. 프로그램 화면을 보고 버튼과 메뉴를 판단하며 필요한 작업을 이어가는 AI 에이전트에 가깝습니다.
명령을 이해하는 AI에서 화면을 다루는 AI로
컴퓨터 작업에는 API로 연결하기 어려운 일이 많습니다. 프로그램마다 제공하는 기능이 다르고, 오래된 사내 시스템이나 전문 소프트웨어는 외부 연동 기능이 충분하지 않은 경우도 있습니다.
Hy4처럼 화면 자체를 인식하고 조작할 수 있다면 활용 범위가 달라집니다. AI가 특정 기능을 호출하는 수준을 넘어, 화면 속 메뉴를 찾고 입력란에 내용을 넣고 여러 단계의 작업을 수행하는 방식이 가능해지기 때문입니다.
이는 AI 에이전트가 API를 호출하는 단계에서 실제 소프트웨어 화면을 조작하는 단계로 발전하고 있다는 흐름으로 볼 수 있습니다.
CAD 설계와 반복 업무에 활용될 가능성
예를 들어 CAD 프로그램에서 설계 작업을 진행할 때는 화면 안의 도구와 메뉴를 선택하고, 도면을 확인하면서 여러 작업을 이어가야 합니다. Hy4는 이런 그래픽 환경을 이해하며 작업을 수행하는 활용 사례를 염두에 두고 있습니다.
여러 프로그램 화면을 오가며 반복하는 업무도 대상이 될 수 있습니다. 정해진 순서대로 데이터를 확인하고 입력하거나, 화면별로 필요한 항목을 처리하는 일처럼 사람이 직접 클릭을 반복하던 업무에 적용 가능성이 생깁니다.
특히 기존 프로그램에 API가 없더라도 화면을 통해 일부 업무를 자동화할 여지가 커집니다. 기업 입장에서는 시스템을 처음부터 새로 연결하지 않고도 자동화 가능성을 검토할 수 있다는 의미입니다.
화면 변화와 오류에 대한 검증은 필요합니다
다만 화면을 조작하는 방식은 화면 구성 변화에 영향을 받기 쉽습니다. 버튼 위치가 바뀌거나 팝업 창이 예상과 다르게 나타나고, 처리 과정에서 오류 메시지가 뜨면 AI가 다음 행동을 잘못 판단할 수 있습니다.
그래서 실제 운영 환경에서는 단순히 작업이 되는지 확인하는 것만으로는 부족합니다. 화면 변경 상황, 예외 처리, 잘못된 입력이 발생했을 때의 대응까지 검증할 필요가 있습니다.
Hy4의 공개는 AI가 답을 만들어내는 도구에서 벗어나 컴퓨터 속 업무를 직접 수행하는 방향으로 나아가고 있음을 보여줍니다. 다만 화면 조작 자동화일수록 편리함만 보지 말고, 어떤 작업까지 맡기고 어디에서 사람의 확인을 둘지 함께 정하는 일이 중요합니다.
