이 글은 Today I Learn 시리즈의 170번째 기록입니다. (총 213개)

원시 데이터를 처음 열어 본 날

앞선 TIL 32에서 원시 기록을 BigQuery로 쌓기로 했다. 이날 처음 열어 읽었다.

연결한 다음 날에도 데이터셋이 없었다

조회하려고 열었더니 데이터셋(BigQuery에서 표들을 담아 두는 묶음) 이름 옆에 “생성되지 않음”이 떠 있었다. 연결을 잘못한 줄 알았다.

데이터셋은 첫 내보내기가 돌 때 만들어진다. 실시간으로 보내는 방식(스트리밍)은 유료라 하루 한 번 내보내기로 뒀기 때문에, 연결 직후에는 없는 게 정상이었다. 하루 기다리니 생겼다.

  • 켜자마자 없는 게 정상인 경우가 있다. “언제 만들어지는가”를 먼저 알면 멀쩡한 설정을 다시 뒤지지 않는다

레벨마다 3이 찍혀 있었다

콘솔 표에서 레벨마다 3이 찍혀 있었다. 세 명이 그 레벨을 깬 것처럼 보였다.

한 판을 지나갈 때 이벤트가 셋 나간다. 진입, 종료, 최고 기록 갱신. 그래서 한 사람이 지나가면 3이 된다. 이벤트 수와 사람 수는 다른 열이었다.

앞선 TIL 5에서 같은 퍼센트도 보는 자리마다 분모가 달라야 뜻이 산다고 했다. 읽는 쪽도 같다. 숫자를 보기 전에 그게 무엇을 센 숫자인지부터 정해야 한다.

  • 표를 열면 그 열이 사람을 세는지, 행동을 세는지부터 본다. 한 행동에 이벤트를 여러 개 보내면 그 배수로 부풀어 보인다
  • 여러 줄에 같은 숫자가 고르게 반복되면 그 자체가 단서다. 사람 수라면 그렇게 고르게 안 나온다

번호 순서로 세웠더니 1, 10, 100, 11이었다

어디서 사람이 줄어드는지 보려면 레벨을 번호 순서로 세워야 한다. 그런데 1, 10, 100, 101, 11 순으로 늘어섰다. 레벨 번호가 숫자가 아니라 글자로 저장돼 있어서 앞 글자부터 비교한 것이다.

콘솔 설정으로는 못 바꿨다. 원시 데이터에서는 글자를 숫자로 바꿔 정렬할 수 있어서 그쪽으로 옮겼다.

  • 숫자로 보이는 값이 숫자로 저장돼 있으리라는 보장은 없다. 정렬이 이상하면 값이 아니라 저장된 형태(타입)를 본다
  • 도구가 못 하는 게 있으면 그 도구를 계속 두드리기보다 한 층 아래로 내려간다. 집계 화면이 막히면 원시 기록에서 푼다

사람마다 몇 탄까지 갔는지 보는 쿼리를 저장했다

원시 데이터에서 사람마다 최고 레벨, 그날 통과한 판 수, 처음 본 날과 마지막 본 날을 뽑는 쿼리(데이터에 던지는 질문을 SQL로 적은 것)를 만들어 “누가 몇탄까지”라는 이름으로 저장해 뒀다. 다음부터는 열기만 하면 같은 표가 나온다.

보내지 않은 값도 나왔다. “그날 어디서 시작했나”는 따로 안 보내지만, 최고 레벨에서 그날 통과한 판 수를 빼면 된다. 처음 본 날과 마지막 본 날이 다르면 다시 돌아온 사람이다.

최고 레벨그날 통과시작 지점
1136746
381523
29290
  • 계측을 늘리기 전에 이미 보내는 값들로 계산되는지 먼저 본다
  • 두고두고 볼 것은 이름 붙여 저장한다. 매번 다시 써야 하면 안 보게 되고, 그러면 데이터가 있어도 없는 것과 같다

나온 게 들어간 것보다 많았다

콘솔을 보다가 레벨 종료가 106건인데 레벨 진입은 95건인 걸 발견했다. 들어간 것보다 나온 게 많을 수는 없다. Claude는 그 콘솔 화면을 볼 수 없어서 내가 숫자를 옮겨 적어 물었다. 재시작하거나 이어서 할 때 진입이 안 나가는 것으로 의심돼 백로그에 올렸다. 그대로 두면 “몇 번 만에 깼나”를 셀 수 없는데, 난이도를 고칠 때 쓸 값이다.

  • 짝이 되는 이벤트는 개수를 맞춰 본다. 어긋나면 한쪽이 새고 있다
  • 이런 건 데이터를 처음 열어야 보인다. 계측을 넣은 날에는 “둘 다 보내고 있다”로 끝난다

좋은 신호로 읽었는데 전부 아는 사람이었다

세 명이 잡혔다. 최고 113탄, 38탄, 29탄. 처음에는 좋은 신호로 읽었다. 둘은 전날 이전부터 하던 사람이라 다시 돌아온 것이고, 하나는 그날 새로 깔아 29판을 깼으니까.

확인해 보니 둘은 아는 사람이고 하나는 내 기기였다. 아는 사람은 재미없어도 해 준다. 113탄을 몰입의 증거로 읽으면 안 된다.

내 기기는 빼고 봐야 하는데, 원시 데이터에는 이름 없이 익명 식별자(user_pseudo_id — 설치마다 붙는 번호)만 있다. 기기 모델과 지역으로 갈라 내 기록을 직접 찾았다. 이 번호는 폰이 아니라 설치에 붙어서, 앱 데이터를 지우고 다시 깔면 같은 폰도 다른 사람으로 잡힌다.

  • 숫자를 읽기 전에 그 숫자를 누가 만들었는지 가른다. 홍보 전에는 표본 대부분이 아는 사람이라 같은 숫자가 정반대로 읽힌다
  • 내 식별자는 알아 두고 늘 빼고 본다. 식별자가 설치마다 새로 붙으니, 앱을 지웠다 다시 깔면 같은 사람이 다른 사람으로 한 번 더 세어진다

결론은 못 냈지만 헛일은 아니었다

아는 사람 셋으로는 아무 결론도 안 나온다. 그래도 쿼리가 맞게 도는지, 열이 제대로 나오는지는 확정됐다. 모르는 사람이 들어오기 시작하면 그날부터 바로 읽을 수 있다.

  • 데이터가 모이기 전에 읽는 장치부터 맞춰 둔다. “결론이 안 나온다”와 “해 볼 필요가 없다”는 다른 말이다

Series: Today I Learn

1 C++ 자료형(Data Type) 2 MD5 vs pHash 3 C++에서 함수의 선언과 정의 4 Tkinter padx, pady 5 메모리와 포인터 변수 6 Call by Value, Call by Reference, Call by Pointer 비교 7 const 8 Gemfile — Jekyll 프로젝트의 의존성 파일 9 kramdown-parser-gfm — Jekyll의 GFM 파서 10 파서(Parser) 11 AHU vs OHU 12 I might try it vs I'll try it 뉘앙스 차이 13 SESSION_EXPIRE_AT_BROWSER_CLOSE=True 14 configuration key 15 Git stash vs discard 16 subprocess.Popen으로 Windows 탐색기에 명령어를 전달 17 Post 잔디 분석하기 18 Google Sheets Sync 최적화 19 DSL (Domain Specific Language)과 GPL (General Purpose Language) 20 마크다운 표 그리는 방법 21 쿼리 파라미터(Query Parameter). 기존 QR코드 재활용 22 Django 보안 취약점 점검 및 수정 23 OOP Object-Oriented Programming 객체 지향 프로그래밍 24 Fernet 대칭 암호화 25 Jekyll 코드블록 안의 Liquid 태그 26 습관만들기 Pawbit TIL 1 27 insertOnConflictUpdate vs DoUpdate(target) 28 세션 필터 29 아코디언(Accordiaon) UI를 펼친상태로 만들기 30 input의 step 31 습관만들기 Pawbit TIL 2 32 습관만들기 Pawbit TIL 3 33 Word Cloud 34 Google Sheets를 데이터 버스로(with AppSheet) 35 Django 모델 텍스트 필드 자동 수집 패턴 36 localStorage로 섹션 토글 상태 유지 37 순차 ID 생성(`select_for_update()` + `max()` 조합) 38 역참조 검색과 distinct() 39 xlsx 다운로드와 로딩 오버레이 충돌 40 Android 파일 공유 MIME 타입 41 AssetManifest — Flutter 빌드 타임 asset 목록 런타임 조회 42 크레센도 Phaser + TypeScript TIL 1 43 크레센도 Phaser + TypeScript TIL 2 44 크레센도 Phaser + TypeScript TIL 3 45 크레센도 Phaser + TypeScript TIL 4 46 크레센도 Phaser + TypeScript TIL 5 47 여둘까 Office Layout TIL 1 48 습관만들기 Pawbit TIL 4 49 여둘까 Office Layout TIL 2 50 여둘까 Office Layout TIL 3 51 크레센도 Phaser + TypeScript TIL 6 52 UTF-8 BOM과 PowerShell 파일 쓰기 53 소리꽃 KeyBloom TIL 1 54 습관만들기 Pawbit TIL 5 55 여둘까 Office Layout TIL 4 56 소리꽃 KeyBloom TIL 2 57 소리꽃 KeyBloom TIL 3 58 메트로놈 Simple Metronome TIL 1 59 소리꽃 KeyBloom TIL 4 60 메트로놈 Simple Metronome TIL 2 61 소리꽃 KeyBloom TIL 5 62 습관만들기 Pawbit TIL 6 63 크레센도 Phaser + TypeScript TIL 7 64 메트로놈 Simple Metronome TIL 3 65 소설 타임라인 관리 도구 Lumior TIL 1 66 습관만들기 Pawbit TIL 7 67 정적 블로그 SEO 정비와 Pagefind 검색 도입 68 크레센도 Phaser + TypeScript TIL 8 69 메트로놈 Simple Metronome TIL 4 70 습관만들기 Pawbit TIL 8 71 안드로이드 AudioTrack 연속 재생, 실측 피커 정렬, 카메라 토치 플래시 72 메트로놈 Simple Metronome TIL 5 73 모래게임 Sandrop TIL 1 74 습관만들기 Pawbit TIL 9 75 메트로놈 Simple Metronome TIL 6 76 모래게임 Sandrop TIL 2 77 모래게임 Sandrop TIL 3 78 습관만들기 Pawbit TIL 10 79 습관만들기 Pawbit TIL 11 80 메트로놈 Simple Metronome TIL 7 81 모래게임 Sandrop TIL 5 82 모래게임 Sandrop TIL 4 83 습관만들기 Pawbit TIL 12 84 모래게임 Sandrop TIL 6 85 소리꽃 KeyBloom TIL 6 86 모래게임 Sandrop TIL 7 87 모래게임 Sandrop TIL 8 88 소리꽃 KeyBloom TIL 7 89 모래게임 Sandrop TIL 9 90 소리꽃 KeyBloom TIL 8 91 모래게임 Sandrop TIL 10 92 소리꽃 KeyBloom TIL 9 93 콘티온 ContiOn TIL 1 94 소리꽃 KeyBloom TIL 10 95 콘티온 ContiOn TIL 2 96 습관만들기 Pawbit TIL 13 97 콘티온 ContiOn TIL 3 98 모래게임 Sandrop TIL 11 99 소리꽃 KeyBloom TIL 11 100 여둘까 Office Layout TIL 5 101 모래게임 Sandrop TIL 12 102 모래게임 Sandrop TIL 13 103 콘티온 ContiOn TIL 4 104 모래게임 Sandrop TIL 14 105 소리꽃 KeyBloom TIL 12 106 습관만들기 Pawbit TIL 14 107 모래게임 Sandrop TIL 15 108 모래게임 Sandrop TIL 16 109 소리꽃 KeyBloom TIL 13 110 온실 GreenHouse TIL 1 111 콘티온 ContiOn TIL 5 112 모래게임 Sandrop TIL 17 113 소리꽃 KeyBloom TIL 14 114 온실 GreenHouse TIL 2 115 콘티온 ContiOn TIL 6 116 모래게임 Sandrop TIL 18 117 콘티온 ContiOn TIL 7 118 모래게임 Sandrop TIL 19 119 소리꽃 KeyBloom TIL 15 120 모래게임 Sandrop TIL 20 121 모래게임 Sandrop TIL 21 122 소리꽃 KeyBloom TIL 16 123 소리꽃 KeyBloom TIL 17 124 소리꽃 KeyBloom TIL 18 125 여둘까 Office Layout TIL 6 126 소리꽃 KeyBloom TIL 19 127 소리꽃 KeyBloom TIL 20 128 콘티온 ContiOn TIL 8 129 콘티온 ContiOn TIL 9 130 로그스톤 상표 셀프 출원 TIL 1 131 소리꽃 KeyBloom TIL 21 132 로그스톤 샵 LogStone Shop TIL 1 133 소리꽃 KeyBloom TIL 22 134 로그스톤 샵 LogStone Shop TIL 2 135 소리꽃 KeyBloom TIL 23 136 모래게임 Sandrop TIL 22 137 모래게임 Sandrop TIL 23 138 소리꽃 KeyBloom TIL 24 139 로그스톤 샵 LogStone Shop TIL 3 140 모래게임 Sandrop TIL 24 141 소리꽃 KeyBloom TIL 25 142 모래게임 Sandrop TIL 25 143 MiniMacro TIL 1 144 모래게임 Sandrop TIL 26 145 콘티온 ContiOn TIL 10 146 Astro가 무엇인지, 왜 옮기는지 147 모래게임 Sandrop TIL 27 148 소리꽃 KeyBloom TIL 26 149 MiniMacro TIL 2 150 로그스톤 샵 LogStone Shop TIL 4 151 메트로놈 Simple Metronome TIL 8 152 모래게임 Sandrop TIL 28 153 여둘까 Office Layout TIL 7 154 메트로놈 Simple Metronome TIL 9 155 블로그 Astro 이관 TIL 156 여둘까 Office Layout TIL 8 157 로그스톤 샵 LogStone Shop TIL 5 158 모래게임 Sandrop TIL 29 159 오픈데이 Openday TIL 1 160 로그스톤 샵 LogStone Shop TIL 6 161 모래게임 Sandrop TIL 30 162 오픈데이 Openday TIL 2 163 모래게임 Sandrop TIL 31 164 Unreal Engine MCP TIL 1 165 모래게임 Sandrop TIL 32 166 소리꽃 KeyBloom TIL 27 167 콘티온 ContiOn TIL 11 168 오픈데이 Openday TIL 3 169 로그스톤 샵 LogStone Shop TIL 7 170 모래게임 Sandrop TIL 33 읽는 중 171 소리꽃 KeyBloom TIL 28 172 오픈데이 Openday TIL 4 173 여둘까 Office Layout TIL 9 174 오픈데이 Openday TIL 5 175 ScorePlayer TIL 1 176 모래게임 Sandrop TIL 34 177 BuildingHub TIL 1 178 ScorePlayer TIL 2 179 여둘까 Office Layout TIL 10 180 BuildingHub TIL 2 181 ScorePlayer TIL 3 182 Unreal Engine MCP TIL 2 183 궁 미로 PalaceMaze TIL 1 184 메트로놈 Simple Metronome TIL 10 185 메트로놈 Simple Metronome TIL 11 186 오픈데이 Openday TIL 6 187 BuildingHub TIL 3 188 Obsidian vault에서 코드만 빼기 — directory junction 189 ScorePlayer TIL 4 190 여둘까 Office Layout TIL 11 191 오픈데이 Openday TIL 7 192 URL은 바뀔 수 있는 것에 묶지 않는다 193 도구는 기능이 아니라 내 일에 맞는지로 고른다 194 돌이키기 힘든 변경은 작게 먼저 확인한다 195 궁 미로 PalaceMaze TIL 2 196 궁 미로 PalaceMaze TIL 3 197 소리꽃 KeyBloom TIL 29 198 오픈데이 Openday TIL 8 199 BuildingHub TIL 4 200 ScorePlayer TIL 5 201 로그스톤 샵 LogStone Shop TIL 8 202 여둘까 Office Layout TIL 12 203 오픈데이 Openday TIL 9 204 BuildingHub TIL 5 205 MiniMacro TIL 3 206 소리꽃 KeyBloom TIL 30 207 오픈데이 Openday TIL 10 208 여둘까 Office Layout TIL 13 209 소리꽃 KeyBloom TIL 31 210 궁 미로 PalaceMaze TIL 4 211 로그스톤 샵 LogStone Shop TIL 9 212 로그스톤 샵 LogStone Shop TIL 10 213 소리꽃 KeyBloom TIL 32