MiniMacro TIL 1
마우스와 키보드를 대신 눌러 주는 도구를 만들었다. 클릭을 흉내 내는 것 자체는 금방 됐는데, 정작 붙잡은 건 “같은 좌표가 왜 다른 곳을 누르는가”와 “도구가 내 마우스를 쓰는 동안 어떻게 멈추는가”였다. 다음에 비슷한 걸 만들 때 다시 꺼내 쓸 것만 남긴다.
숫자가 같은데 결과가 다르면, 숫자를 읽는 쪽을 본다
모니터를 두 대 쓰는데, 오른쪽 화면에서 버튼을 눌러 녹화한 뒤 재생하니 엉뚱한 데를 눌렀다. 녹화된 좌표 숫자를 열어 보면 정확히 그 버튼 자리였다.
숫자는 맞았고 그 숫자를 읽는 쪽이 달랐다. 녹화는 화면의 실제 픽셀을 그대로 받아 적는데, 재생은 화면 배율(DPI 설정 — 125%·150% 같은 확대)을 감안해 좌표를 다시 계산한다. 두 모니터의 배율이 다르면 그 차이만큼 어긋난다.
- 숫자가 같은데 결과가 다르면 숫자를 고치려 들지 말고, 그 숫자를 해석하는 기준이 양쪽에서 같은지 본다.
한 겹이 더 있었다. 배율을 어떻게 해석할지(DPI 인식 수준)는 프로그램이 켜질 때 딱 한 번 정해지고 그 뒤로는 못 바꾼다. 우리가 정하려던 건 모니터마다 다른 배율을 각각 반영하는 수준(Per-Monitor V2)이었는데, 마우스·키보드를 대신 조작하는 라이브러리 pyautogui가 불려 들어오면서 더 낮은 수준으로 먼저 정해 버려서, 뒤에 부른 설정이 아무 말 없이 무시되고 있었다.
- 되돌릴 수 없는 설정은 “무엇으로 정하나”보다 “언제 정해지나”가 먼저다. 늦게 부르면 실패하는데, 그 실패가 조용하면 틀린 줄도 모르고 다른 데를 뒤지게 된다.
도구는 흔한 환경을 전제하고 만들어진다
이 분야에서 가장 널리 쓰이는 자동화 라이브러리 pyautogui가 보조 모니터를 누르지 못했다. 좌표를 주 모니터 범위 안으로 잘라 버려서, 주 모니터 왼쪽에 놓인 화면(좌표가 음수가 된다)으로 보내면 가장자리에 걸렸다.
- 잘 만들어진 도구도 “모니터 한 대” 같은 흔한 환경을 전제한다. 내 환경이 그 전제 밖이면 도구를 설득하려 들지 말고 갈아타는 편이 빠르다.
- 다만 통째로 갈아탈 필요는 없었다. 어긋난 건 마우스 좌표뿐이라 마우스만 pynput(같은 일을 하는 다른 라이브러리 — 배율을 거치지 않은 실제 픽셀 좌표를 쓴다)으로 옮기고 키보드는 그대로 뒀다. 바꾸는 범위를 좁힐수록 이미 잘 되던 것이 덜 깨진다.
사람처럼 움직이는 게 방해가 될 때
커서를 목표 지점까지 부드럽게 이동시켰더니, 마우스를 올리면 펼쳐지는 메뉴가 도중에 닫혀 버렸다. 지나가는 길에 다른 항목들을 스치면서 메뉴가 그때마다 바뀐 탓이다.
커서를 좌표로 한 번에 건너뛰게 바꾸니 해결됐다. 건너뛰어도 도착한 자리에 “마우스를 올렸다”는 신호는 정상으로 전달된다.
- 사람을 흉내 내는 게 목적인지, 결과를 내는 게 목적인지 가른다. 자동화는 뒤쪽이다. 자연스러움은 기본으로 깔고 갈 값이 아니라 필요할 때만 넣는 선택지다.
입력기를 거치는 글자는 흉내로 못 넘는다
한글을 넣는 단계를 만들었는데 아무것도 입력되지 않았다. 반대로 한글 타이핑을 녹화해서 재생하면 글자가 어긋났다.
한글은 키를 누른 대로 글자가 되지 않는다. 자음과 모음을 모아 한 글자로 합쳐 주는 입력기(IME)가 중간에 한 겹 있고, 키를 흉내 내는 방식은 이 겹을 통과하지 못한다.
그래서 글자를 만들어 넣는 대신, 완성된 문장을 클립보드에 올려 두고 붙여넣기로 통째로 밀어넣었다.
- 중간에 해석하는 층이 있으면 그 층을 흉내로 통과하려 하지 말고, 결과를 통째로 건네는 길이 있는지 본다.
- 대신 클립보드에 있던 내용이 덮인다. 없앨 수 없는 대가라 숨기지 않고 사용법에 적어 뒀다. 우회에는 값이 붙고, 그 값을 알고 고르는 것까지가 판단이다.
조작 수단을 빼앗는 도구는 탈출구가 밖에 있어야 한다
재생이 시작되면 도구가 마우스를 계속 움직인다. 화면의 정지 버튼을 누르려 해도 커서가 손에서 빠져나간다.
그래서 멈추는 길을 마우스가 아닌 곳에 뒀다. 키보드 ESC와, 커서를 화면 왼쪽 위 끝까지 밀어붙이는 것 두 가지다. 몇십 초짜리 대기 단계 중에도 멈춰야 해서, 기다리는 동안에도 정지 신호를 계속 확인하게 했다.
- 도구가 사용자의 조작 수단 자체를 쓰는 종류라면, 그 수단으로는 도구를 멈출 수 없다. 탈출구는 점유되지 않는 통로에 따로 낸다.
- 이건 있으면 좋은 편의가 아니라 없으면 안 되는 요구사항이다. 다 만들고 붙이는 게 아니라 처음부터 자리를 잡아 둔다.