AI와 레트로 게임의 만남: Raspberry Pi Pico 위의 월드 모델, 그리고 DOOM 안에 만든 신경망
출처: GitHub (SheepSeb/tinyworldformer)
2026년 10월 30일: 이번 주 Hacker News 첫 페이지에 오른 두 취미 프로젝트는 흔한 'AI가 게임을 한다'는 발상을 뒤집습니다. 하나는 작은 AI가 마이크로컨트롤러에서 플레이 가능한 게임을 꿈꾸듯 만들어 내는 프로젝트입니다. 다른 하나는 작동하는 신경망을 DOOM 레벨로 만들어 낸 것입니다. 둘 다 오픈 소스이고, 이런 모델이 실제로 어떻게 작동하는지 재미있게 이해할 수 있는 방법입니다.
tinyworldformer: Pico 2 W에서 꿈꾸는 게임
개발자 SheepSeb의 tinyworldformer 프로젝트는 두 개의 작은 신경망을 Raspberry Pi Pico 2 W 보드 위에서 동시에 실행합니다:
- 월드 모델: 현재 프레임과 행동을 받아 다음 프레임과 보상을 예측합니다. 다시 말해, 이것이 바로 게임 그 자체입니다.
- 액터 네트워크: 생성된 프레임을 보고 다음 행동을 고릅니다. 다시 말해, 이 네트워크는 게임을 플레이합니다.
프로젝트 페이지에 따르면 칩 위에서 두 네트워크 모두 실제 게임에는 전혀 닿지 않습니다. 액터는 월드 모델이 만들어 낸 프레임만 보고, 월드 모델은 액터의 행동만 받습니다. 아무 버튼이나 누르면 조작이 플레이어에게 넘어오므로, 그 '꿈'을 직접 플레이할 수 있습니다.
이 프로젝트에는 작은 게임 다섯 개가 들어 있습니다: Breakout, 레이캐스팅 방식의 'Doom-lite', Flappy Bird, Pong, 팩맨. 월드 모델은 하나의 트랜스포머 블록을 반복 적용하는 구조('루프형' 트랜스포머)인데, 가중치를 재사용하면 메모리를 아낄 수 있어 개발자가 택했습니다. Pico에서는 프레임 레이트를 유지하려고 루프를 두 번 돌립니다. 가중치는 int8 양자화를 염두에 두고 학습되며 Rust 펌웨어로 컴파일됩니다.
설명은 실패 사례에도 솔직합니다. 초기 Breakout 모델은 공을 두 개 동시에 그렸고, 꿈속에서 학습한 에이전트는 월드 모델이 맞은 모서리 벽돌을 지우지 않은 탓에 벽돌 26개가 남은 상태에서 154점을 낸 적도 있습니다. 대형 연구소들이 겪는 '시뮬레이터 허점 악용' 문제를 손바닥만 한 보드 위에서 그대로 보여 준 셈입니다.
doomformer: 부두 인형으로 만든 신경망
두 번째 프로젝트인 doomformer (mottopanikeiku의 Show HN 게시물)는 정수 신경망을 DOOM 맵으로 컴파일합니다. DOOM의 고전적인 '부두 인형'이 연산을 맡고, 조명 단계와 바닥 높이가 값을 저장합니다. 대표 데모는 손글씨 숫자(MNIST) 인식으로, 해병이 바닥 위에서 숫자 모양대로 걸으면 맵 안의 부두 인형 1,355개가 답을 계산합니다.
제작자에 따르면 DOOM이 계산하는 모든 값은 NumPy 기준값과 허용 오차 0으로 대조됩니다. 플레이 가능한 '박물관' WAD는 인형 136개를 쓰며, 게임 도중 연결 하나를 바꿔 7이 1로 바뀌는 모습을 볼 수 있습니다. 프로젝트에 따르면 셀프 테스트 버전은 무료 Freedoom 데이터 파일을 사용해 GZDoom, LZDoom, UZDoom, ZDoom 2.8.1에서 정확하게 실행됩니다.
게이머가 관심을 가져야 하는 이유
Google DeepMind의 Genie 4 같은 월드 모델은 tinyworldformer 아이디어의 고급 버전, 즉 게임을 한 프레임씩 생성하는 AI입니다. 장난감 규모로 보면 장단점이 분명해집니다. 작은 오류는 쌓이고, AI 플레이어는 시뮬레이션의 모든 실수를 찾아내 악용합니다. Doomformer는 순수한 재미이자, DOOM 커뮤니티는 무엇이든 DOOM 안에서 돌린다는 사실을 다시 일깨워 줍니다.
확인된 사항 / 확인되지 않은 사항
확인됨 (각 프로젝트의 GitHub 페이지 기준): tinyworldformer의 하드웨어, 게임 다섯 개, 두 네트워크 구조, 실패 사례. doomformer의 부두 인형 설계, 인형 수, 허용 오차 0 검증, 지원 소스 포트.
미확인: Pico에서의 프레임 레이트와 제작자가 공개한 것 이상의 정확도 수치. 저희는 두 프로젝트 모두 직접 만들어 보지 않았습니다.
출처
- SheepSeb, tinyworldformer (GitHub): https://github.com/SheepSeb/tinyworldformer
- mottopanikeiku, doomformer (GitHub): https://github.com/mottopanikeiku/doomformer
- 관련 기사: Google DeepMind, Genie 4 발표 (2026년 10월 27일): https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/
관련 기사
상위: AI