CoG 2019 참석 후기

29 Aug 2019 • 0 Comments

• Conference on Games
• 다양성
• 프레임워크
• MCTS의 약진
• PCG
• 마치며

지난 주에 런던 QMUL 대학에서 개최되었던 CoG(Conference on Games) 2019 에 논문이 Accept되어 참석하고 돌아왔습니다. 생애 첫 학회 참석에 영어 발표도 처음이라 긴장이 많이 되었지만 일단 준비한 내용은 다 하고 돌아왔습니다. 개인적으로는 세계적인 연구자들의 발표를 보고 자극이 많이 되는 시간이었기 때문에, 기억이 희미해지기 전에 참석 후기를 남겨봅니다.

 

Conference on Games

2018년까지 CIG(Computational Intelligence and Games)였던 이 학회는 좀 더 범위를 넓히고자 2019년부터 Conference on Games라는 이름으로 바뀌게 되었습니다. 다루고 있는 주제로는 아직까지는 AI와 PCG 쪽의 논문이 다수를 차지하지만 그 외에도 플레이어 모델링, serious games, 내러티브, e-sports 등 다양한 분야의 논문과 발표를 찾아볼 수 있었습니다.

게임 쪽의 학회로는 미국 서부권 중심의 AIIDE(AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment)가 있다면 미국 동부와 유럽의 연구자들이 중심이 되는 CoG를 양대 학회로 꼽을 수 있겠습니다.

주요 연구자로는 뉴욕 대학의 Julian Togelius 교수, 몰타 대학의 Georgios N. Yannakakis 교수, 네덜란드 마스트리흐트 대학의 Cameron Browne 교수(Evolutionary Search로 만든 보드 게임인 Yavalath로 잘 알려져 있습니다), 코펜하겐 대학의 Sebastian Risi 교수 등이 있습니다.

둘째 날 있었던 젊은 연구자들의 모임. 저는 양심상 가지 않았습니다. 사진 출처 트윗 링크

 

다양성

CoG2019에서 느낀 점 중 하나는 다양성이었습니다. Angry birds, 스타크래프트, 마인크래프트 등 총 12개 종목의 competition이 열렸고 각각에 대한 수상자 발표가 있었습니다. 저도 마침 1회차인 bot-bowl competition에 참가해서 운이 좋게 2등으로 입상했습니다. 그런데 competition이 너무 많다보니 각 competition에 대한 참여자 수가 적은 것이 문제 제기가 되어 수상자 발표 시간 도중에 그에 대한 패널 토론이 있었습니다. competition의 수를 줄이고 집중하자는 의견도 있었고, 다양성을 유지하기 위해 더 많은 competition을 개최하는 것을 막아서는 안된다는 의견도 있었습니다. 저는 개인적으로 후자에 동의하는 편이었습니다만, 이렇게 대회의 진행 방식에 대한 자유로운 논의가 열리는 것 자체가 인상적이었습니다.

더 나은 competition을 위한 패널 토론. 사진 출처 트윗 링크

다양성은 논문 연구 분야에서도 확인할 수 있었습니다. 최근 가장 주목을 받고 있는 딥러닝과 강화학습 뿐만 아니라 진화적 탐색(Evolutionary Search), 셀룰러 오토마타(Cellular Automata), 알고리즘을 사용한 problem solving 등 다양한 분야에 대한 논문이 발표되었습니다.

발표를 직접 들은 논문 중 두 개를 뽑아서 간단히 소개하겠습니다. 먼저 마스트리흐트 대학의 Jos Uiterwijk 교수가 발표한 “Solving Strong and Weak 4-in-a-Row”입니다. 4목 같은 턴제 보드 게임은 서로 최적(optimal)의 수를 둘 경우 첫번째 플레이어가 무조건 유리한데, 5x6 보드와 4x9 보드 이상에서 첫번째 플레이어(흑)이 먼저 둘 경우 무조건 이기게 된다는 것을 알고리즘적으로 증명한 논문입니다.

5x6 보드와 4x9 보드 이상에서 첫번째 플레이어(흑)이 먼저 둘 경우 서로 최적의 수를 둘 때 무조건 이기는 수가 발견됩니다.

오하이오 주립대학의 Pavlos Androulakakis가 발표한 “Evolution of Kiting Behavior in a Two Player Combat Problem”도 새로웠습니다. 진화 알고리즘을 사용하여 두 플레이어의 전투 시뮬레이션에서의 최적 control을 찾는 실험을 수행한 이 논문은 최적이라고 생각하는 움직임보다 grid parameterization을 수행한 결과를 진화적으로 탐색했을 때 퍼포먼스가 더 나아질 수도 있다는 결과를 발표했습니다.

grid parameterization으로 진화적 탐색을 수행하면 2D State Space Control에 가까워지는 결과가 나오고, 퍼포먼스가 더 나아질 수도 있습니다.

 

프레임워크

CoG2019에서는 프레임워크를 만들려는 몇몇 시도가 눈에 띄었습니다. 프레임워크는 특정 연구에서 벗어나 다양하고 일반적인 연구를 할 수 있게 해주고, 다른 연구자들을 이 프레임워크에 끌어들여서 전체적인 연구의 질을 높이는 효과가 있습니다.

진화적 탐색으로 Yavalath를 만든 Cameron Browne 교수의 팀에서는 4개의 논문을 발표했는데, 이 중 야심차게 발표한 Ludii Portal에 대한 논문(“Ludii as a Competition Platform”)이 있었습니다. Yavalath를 만든 것처럼 간단한 규칙으로 게임을 작성할 수 있을 뿐만 아니라, 게임의 디자인적 측면을 분석, 평가하고 각 게임에 대한 온라인 매치메이킹을 제공하는 플랫폼입니다. 아직 개발이 완료되지 않은 부분들이 있지만 게임 연구를 위한 좋은 시도라고 생각되었습니다. 최근에 딥마인드에서 발표한 OpenSpiel도 21개의 간단한 보드 게임에 대한 연구/강화학습 환경을 제공함으로써 비슷한 시도를 하는 것 같습니다.

왼쪽은 Yavalath의 규칙, 오른쪽은 게임 화면입니다. 4목이지만 그 전에 3목을 만들면 패배하게 됩니다.

코펜하겐 대학의 Mads Johansen은 GVGAI Competition에서 사용된 것으로 유명한 VGDL(Video Game Description Language)¹을 유니티의 ML-Agents에 통합한 학습 환경을 구축한 논문(“Video Game Description Language Environment for Unity Machine Learning Agents”)을 발표했습니다. 유니티의 ML-Agents는 PPO 같은 최신의 강화학습 알고리즘을 클릭 한번으로 쉽게 적용할 수 있는데, 여기에 게임 환경까지 쉽게 세팅할 수 있게 되는 것이기 때문에 일반화되면 다양한 연구에 활용될 수 있을 것으로 생각됩니다.

VGDL 논문에서 제시된 zelda-like 게임의 표현과 규칙. 출처 링크

 

MCTS의 약진

이번 CoG2019의 Best Paper 수상 부문에는 총 6개의 후보가 올랐는데, 그 중 3개가 MCTS를 활용한 논문이었습니다. 기존에도 강화학습의 강력한 방법론이었던 MCTS는 딥마인드의 알파고와 알파제로에서 사용된 이후 최고의 주목을 받고 있는 것 같습니다. 각 페이퍼는 다음과 같습니다.

“Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates”, Dennis Soemers, Eric Piette, Matthew Stephenson and Cameron Browne

“Random Search-Control Parameters in Monte-Carlo Tree Search”, Chiara F. Sironi and Mark H. M. Winands

“Mysterious Murder - MCTS-driven Murder Mystery Generation”, Corinna Jaschek, Tom Beckmann, Jaime Garcia and William Raffe

앞의 두 논문은 AI에 대한 것인데 마지막은 특이하게도 PCG에 MCTS를 활용한 사례였습니다. 내러티브 생성에 MCTS를 사용했다는 점이 긍정적으로 작용되었는지 이 논문은 3개의 Best Paper 중 하나를 수상했습니다. CoG2019에 MCTS 또는 Monte-Carlo Tree Search가 제목에 들어간 논문은 총 9개로, 전체 161개의 논문 중 약 5.6%였습니다.

 

PCG

게임 학회에서 PCG는 AI와 함께 항상 메인 테마 중 하나를 차지하고 있는 것 같습니다. 인상적이었던 PCG 논문을 역시 2개 정도 뽑아보겠습니다.

캐나다 Simon Fraser University의 Ahmed Abuzuraiq이 발표한 “Taksim: A Constrained Graph Partitioning Framework for Procedural Content Generation”은 그래프 구조를 공간적 구조(맵)로 Answer Set Programming을 사용해서 옮기는 방법에 대한 내용이었습니다. 제가 예전에 연구했던 그래프 구조를 WFC를 사용해서 맵에 옮기는 방법과 비슷하기도 해서 열심히 봤던 것 같습니다.

왼쪽의 그래프 구조를 오른쪽의 공간적 구조로 옮길 수 있습니다.

뉴욕대학교의 Sarjak Pankaj Thakkar가 발표한 “Autoencoder and Evolutionary Algorithm for Level Generation in Lode Runner”는 레벨 생성에 Variational AutoEncoder와 진화적 탐색을 이용해서 좋은 결과를 보여주었습니다. 저도 2017년에 Variational AutoEncoder로 레벨을 생성해본 적이 있는데, 이렇게 좋은 결과가 나오지는 않았습니다. 개인적으로 자극이 되고 시도해보고 싶은 방법론이었습니다.

왼쪽에서 AutoEncoder와 Variational AutoEncoder를 단순 적용한 결과에 비해, 진화적 탐색 과정을 거치면 오른쪽의 결과는 훨씬 깔끔해집니다.

 

마치며

학회의 모든 일정과 발표를 끝내고 집에 돌아오는 비행기 안에서 많은 생각이 들었습니다. 나는 잘하고 있는지? 앞으로 어떤 연구를 하는 쪽으로 방향을 잡아야 하는지? 세계 무대에서 사람들이 어떤 생각을 하고 어떤 연구를 하는지에 대해서 많이 배울 수 있는 시간이었고 한국 36도, 런던 20도의 큰 기온차로 가자마자 감기에 걸리는 등 몸은 피곤했지만 보람이 있었습니다.

내년의 CoG2020은 일본의 오사카에서 열리고 한국 GIST의 김경중 교수님과 일본 리츠메이칸 대학의 Ruck Thawonmas 교수님이 공동으로 General Chairs를 맡으셨습니다. 2011년 한국 서울, 2015년 대만 이후로 오랜만에 아시아에서 열리는 CoG라서 아시아에서도 많은 분들이 참석하실 것 같습니다. 이 글을 보고 관심이 생기신 분들은 내년에 CoG2020에서 만나뵐 수 있으면 좋겠습니다. 감사합니다.

내년에 또 갈 수 있으면 좋겠습니다! 그러려면 좋은 논문을 써야겠네요. 사진 출처 트윗 링크