이 글은 Today I Learn 시리즈의 86번째 기록입니다. (총 125개)

마우스와 키보드를 대신 눌러 주는 도구를 만들었다. 클릭을 흉내 내는 것 자체는 금방 됐는데, 정작 붙잡은 건 “같은 좌표가 왜 다른 곳을 누르는가”와 “도구가 내 마우스를 쓰는 동안 어떻게 멈추는가”였다. 다음에 비슷한 걸 만들 때 다시 꺼내 쓸 것만 남긴다.


숫자가 같은데 결과가 다르면, 숫자를 읽는 쪽을 본다

모니터를 두 대 쓰는데, 오른쪽 화면에서 버튼을 눌러 녹화한 뒤 재생하니 엉뚱한 데를 눌렀다. 녹화된 좌표 숫자를 열어 보면 정확히 그 버튼 자리였다.

숫자는 맞았고 그 숫자를 읽는 쪽이 달랐다. 녹화는 화면의 실제 픽셀을 그대로 받아 적는데, 재생은 화면 배율(DPI 설정 — 125%·150% 같은 확대)을 감안해 좌표를 다시 계산한다. 두 모니터의 배율이 다르면 그 차이만큼 어긋난다.

  • 숫자가 같은데 결과가 다르면 숫자를 고치려 들지 말고, 그 숫자를 해석하는 기준이 양쪽에서 같은지 본다.

한 겹이 더 있었다. 배율을 어떻게 해석할지(DPI 인식 수준)는 프로그램이 켜질 때 딱 한 번 정해지고 그 뒤로는 못 바꾼다. 우리가 정하려던 건 모니터마다 다른 배율을 각각 반영하는 수준(Per-Monitor V2)이었는데, 마우스·키보드를 대신 조작하는 라이브러리 pyautogui가 불려 들어오면서 더 낮은 수준으로 먼저 정해 버려서, 뒤에 부른 설정이 아무 말 없이 무시되고 있었다.

  • 되돌릴 수 없는 설정은 “무엇으로 정하나”보다 “언제 정해지나”가 먼저다. 늦게 부르면 실패하는데, 그 실패가 조용하면 틀린 줄도 모르고 다른 데를 뒤지게 된다.

도구는 흔한 환경을 전제하고 만들어진다

이 분야에서 가장 널리 쓰이는 자동화 라이브러리 pyautogui가 보조 모니터를 누르지 못했다. 좌표를 주 모니터 범위 안으로 잘라 버려서, 주 모니터 왼쪽에 놓인 화면(좌표가 음수가 된다)으로 보내면 가장자리에 걸렸다.

  • 잘 만들어진 도구도 “모니터 한 대” 같은 흔한 환경을 전제한다. 내 환경이 그 전제 밖이면 도구를 설득하려 들지 말고 갈아타는 편이 빠르다.
  • 다만 통째로 갈아탈 필요는 없었다. 어긋난 건 마우스 좌표뿐이라 마우스만 pynput(같은 일을 하는 다른 라이브러리 — 배율을 거치지 않은 실제 픽셀 좌표를 쓴다)으로 옮기고 키보드는 그대로 뒀다. 바꾸는 범위를 좁힐수록 이미 잘 되던 것이 덜 깨진다.

사람처럼 움직이는 게 방해가 될 때

커서를 목표 지점까지 부드럽게 이동시켰더니, 마우스를 올리면 펼쳐지는 메뉴가 도중에 닫혀 버렸다. 지나가는 길에 다른 항목들을 스치면서 메뉴가 그때마다 바뀐 탓이다.

커서를 좌표로 한 번에 건너뛰게 바꾸니 해결됐다. 건너뛰어도 도착한 자리에 “마우스를 올렸다”는 신호는 정상으로 전달된다.

  • 사람을 흉내 내는 게 목적인지, 결과를 내는 게 목적인지 가른다. 자동화는 뒤쪽이다. 자연스러움은 기본으로 깔고 갈 값이 아니라 필요할 때만 넣는 선택지다.

입력기를 거치는 글자는 흉내로 못 넘는다

한글을 넣는 단계를 만들었는데 아무것도 입력되지 않았다. 반대로 한글 타이핑을 녹화해서 재생하면 글자가 어긋났다.

한글은 키를 누른 대로 글자가 되지 않는다. 자음과 모음을 모아 한 글자로 합쳐 주는 입력기(IME)가 중간에 한 겹 있고, 키를 흉내 내는 방식은 이 겹을 통과하지 못한다.

그래서 글자를 만들어 넣는 대신, 완성된 문장을 클립보드에 올려 두고 붙여넣기로 통째로 밀어넣었다.

  • 중간에 해석하는 층이 있으면 그 층을 흉내로 통과하려 하지 말고, 결과를 통째로 건네는 길이 있는지 본다.
  • 대신 클립보드에 있던 내용이 덮인다. 없앨 수 없는 대가라 숨기지 않고 사용법에 적어 뒀다. 우회에는 값이 붙고, 그 값을 알고 고르는 것까지가 판단이다.

조작 수단을 빼앗는 도구는 탈출구가 밖에 있어야 한다

재생이 시작되면 도구가 마우스를 계속 움직인다. 화면의 정지 버튼을 누르려 해도 커서가 손에서 빠져나간다.

그래서 멈추는 길을 마우스가 아닌 곳에 뒀다. 키보드 ESC와, 커서를 화면 왼쪽 위 끝까지 밀어붙이는 것 두 가지다. 몇십 초짜리 대기 단계 중에도 멈춰야 해서, 기다리는 동안에도 정지 신호를 계속 확인하게 했다.

  • 도구가 사용자의 조작 수단 자체를 쓰는 종류라면, 그 수단으로는 도구를 멈출 수 없다. 탈출구는 점유되지 않는 통로에 따로 낸다.
  • 이건 있으면 좋은 편의가 아니라 없으면 안 되는 요구사항이다. 다 만들고 붙이는 게 아니라 처음부터 자리를 잡아 둔다.

Series: Today I Learn

1 C++ 자료형(Data Type) 2 MD5 vs pHash 3 C++에서 함수의 선언과 정의 4 Tkinter padx, pady 5 메모리와 포인터 변수 6 Call by Value, Call by Reference, Call by Pointer 비교 7 const 8 Gemfile — Jekyll 프로젝트의 의존성 파일 9 kramdown-parser-gfm — Jekyll의 GFM 파서 10 파서(Parser) 11 AHU vs OHU 12 I might try it vs I'll try it 뉘앙스 차이 13 SESSION_EXPIRE_AT_BROWSER_CLOSE=True 14 configuration key 15 Git stash vs discard 16 subprocess.Popen으로 Windows 탐색기에 명령어를 전달 17 Post 잔디 분석하기 18 Google Sheets Sync 최적화 19 DSL (Domain Specific Language)과 GPL (General Purpose Language) 20 마크다운 표 그리는 방법 21 쿼리 파라미터(Query Parameter). 기존 QR코드 재활용 22 Django 보안 취약점 점검 및 수정 23 OOP Object-Oriented Programming 객체 지향 프로그래밍 24 Fernet 대칭 암호화 25 Jekyll 코드블록 안의 Liquid 태그 26 insertOnConflictUpdate vs DoUpdate(target) 27 세션 필터 28 아코디언(Accordiaon) UI를 펼친상태로 만들기 29 input의 step 30 Word Cloud 31 Google Sheets를 데이터 버스로(with AppSheet) 32 Django 모델 텍스트 필드 자동 수집 패턴 33 localStorage로 섹션 토글 상태 유지 34 순차 ID 생성(`select_for_update()` + `max()` 조합) 35 역참조 검색과 distinct() 36 xlsx 다운로드와 로딩 오버레이 충돌 37 Android 파일 공유 MIME 타입 38 AssetManifest — Flutter 빌드 타임 asset 목록 런타임 조회 39 UTF-8 BOM과 PowerShell 파일 쓰기 40 소리꽃 KeyBloom TIL 1 41 소리꽃 KeyBloom TIL 2 42 소리꽃 KeyBloom TIL 3 43 메트로놈 Simple Metronome TIL 1 44 소리꽃 KeyBloom TIL 4 45 메트로놈 Simple Metronome TIL 2 46 소리꽃 KeyBloom TIL 5 47 메트로놈 Simple Metronome TIL 3 48 정적 블로그 SEO 정비와 Pagefind 검색 도입 49 메트로놈 Simple Metronome TIL 4 50 안드로이드 AudioTrack 연속 재생, 실측 피커 정렬, 카메라 토치 플래시 51 메트로놈 Simple Metronome TIL 5 52 모래게임 Sandrop TIL 1 53 메트로놈 Simple Metronome TIL 6 54 모래게임 Sandrop TIL 2 55 모래게임 Sandrop TIL 3 56 메트로놈 Simple Metronome TIL 7 57 모래게임 Sandrop TIL 4 58 모래게임 Sandrop TIL 5 59 모래게임 Sandrop TIL 6 60 소리꽃 KeyBloom TIL 6 61 모래게임 Sandrop TIL 7 62 모래게임 Sandrop TIL 8 63 소리꽃 KeyBloom TIL 7 64 모래게임 Sandrop TIL 9 65 소리꽃 KeyBloom TIL 8 66 모래게임 Sandrop TIL 10 67 소리꽃 KeyBloom TIL 9 68 소리꽃 KeyBloom TIL 10 69 소리꽃 KeyBloom TIL 11 70 소리꽃 KeyBloom TIL 12 71 소리꽃 KeyBloom TIL 13 72 온실 GreenHouse TIL 1 73 소리꽃 KeyBloom TIL 14 74 온실 GreenHouse TIL 2 75 소리꽃 KeyBloom TIL 15 76 소리꽃 KeyBloom TIL 16 77 소리꽃 KeyBloom TIL 17 78 소리꽃 KeyBloom TIL 18 79 소리꽃 KeyBloom TIL 19 80 소리꽃 KeyBloom TIL 20 81 로그스톤 상표 셀프 출원 TIL 1 82 소리꽃 KeyBloom TIL 21 83 소리꽃 KeyBloom TIL 22 84 소리꽃 KeyBloom TIL 23 85 소리꽃 KeyBloom TIL 24 86 MiniMacro TIL 1 읽는 중 87 Astro가 무엇인지, 왜 옮기는지 88 MiniMacro TIL 2 89 메트로놈 Simple Metronome TIL 8 90 메트로놈 Simple Metronome TIL 9 91 블로그 Astro 이관 TIL 92 오픈데이 Openday TIL 1 93 오픈데이 Openday TIL 2 94 Unreal Engine MCP TIL 1 95 콘티온 Conti On TIL 11 96 오픈데이 Openday TIL 3 97 오픈데이 Openday TIL 4 98 오픈데이 Openday TIL 5 99 ScorePlayer TIL 1 100 BuildingHub TIL 1 101 ScorePlayer TIL 2 102 BuildingHub TIL 2 103 ScorePlayer TIL 3 104 Unreal Engine MCP TIL 2 105 궁 미로 PalaceMaze TIL 1 106 메트로놈 Simple Metronome TIL 10 107 메트로놈 Simple Metronome TIL 11 108 오픈데이 Openday TIL 6 109 BuildingHub TIL 3 110 Obsidian vault에서 코드만 빼기 — directory junction 111 ScorePlayer TIL 4 112 오픈데이 Openday TIL 7 113 URL은 바뀔 수 있는 것에 묶지 않는다 114 도구는 기능이 아니라 내 일에 맞는지로 고른다 115 돌이키기 힘든 변경은 작게 먼저 확인한다 116 궁 미로 PalaceMaze TIL 3 117 궁 미로 PalaceMaze TIL 2 118 소리꽃 KeyBloom TIL 29 119 오픈데이 Openday TIL 8 120 BuildingHub TIL 4 121 ScorePlayer TIL 5 122 BuildingHub TIL 5 123 MiniMacro TIL 3 124 소리꽃 KeyBloom TIL 30 125 궁 미로 PalaceMaze TIL 4