Googleの開発したAlphaGoが、囲碁の世界チャンピオン柯潔氏に勝利するなど、近年AIの進化には目を見張るものがあります。これまで不可能だったさまざまな分野で、AIのさらなる利用が行われると予想されるなか、Microsoftが開発したAIシステムが、コンピューターゲーム「Ms. Pac-Man」で最高スコア999,990をたたき出すことに成功したことが分かりました(公式ブログ、MSPoweruser、The Verge)。
システムは、今年の初めMicrosoftによって買収されたカナダのディープラーニングスタートアップ、Maluubaのチームによって開発されたもの。Hybrid Reward Architecturと呼ばれる手法で分割統治法を用い、複雑な問題をAIを利用して解決することに成功しています。
システムでは150以上のエージェントが同時に動作し、例えばあるエージェントは餌を発見するタスクを、また他のエージェントはゴーストから逃げるタスクを実行します。結果を上級エージェントがとりまとめ、全ての提案から判断した最適の結果を適用して、Ms. Pac-Manをどこに動かせば良いのが決定されるのです。
上級エージェントは、どの方向に動くのかをエージェントの提案の数によって決めますが、判断には重みがつけられていて、例えば100のエージェントが餌を食べるために右に移動しようと提案し、3つのエージェントがゴーストを避けるために左に移動しようと提案した場合、ゴーストを避ける判断が優先され左に移動することになります。
最先端のAI研究に、Ms. Pac-Manが利用されるのは不思議な気もしますが、ゲームの中にたびたび現れる瞬時の判断はとても複雑なことが多く、AI企業の多くは研究のためにゲームを題材に選んでいるとのことです。
