3月13日（現地時間）、Google DeepMindはゲームプレイAIエージェント「SIMA（Scalable Instructable Multiworld Agent）」を発表しました。
Introducing SIMA: the first generalist AI agent to follow natural-language instructions in a broad range of 3D virtual environments and video games. ️It can complete tasks similar to a human, and outperforms an agent trained in just one setting. https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq— Google DeepMind (@GoogleDeepMind) March 13, 2024
Introducing SIMA: the first generalist AI agent to follow natural-language instructions in a broad range of 3D virtual environments and video games. 🕹️
— Google DeepMind (@GoogleDeepMind) March 13, 2024
It can complete tasks similar to a human, and outperforms an agent trained in just one setting. 🧵 https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq
同社の説明によればSIMAは「3D仮想環境やビデオゲームで自然言語の指示に従うジェネラリストAIエージェント」で、「人間同様にタスクを完了することが可能」だということです。
SIMAは画像と言語を正確に関連付けするために設計されたモデルと、画面上で次に何が起こるかを予測するモデルで構成されています。
広告の後にも続きます
SIMA needs only the images provided by the 3D environment and natural-language instructions given by the user. ️With mouse and keyboard outputs, it is evaluated across 600 skills, spanning areas like navigation and object interaction – such as "turn left" or "chop down tree."… pic.twitter.com/PEPfLZv2o0— Google DeepMind (@GoogleDeepMind) March 13, 2024
SIMA needs only the images provided by the 3D environment and natural-language instructions given by the user. 🖱️
— Google DeepMind (@GoogleDeepMind) March 13, 2024
With mouse and keyboard outputs, it is evaluated across 600 skills, spanning areas like navigation and object interaction – such as "turn left" or "chop down tree."… pic.twitter.com/PEPfLZv2o0
ゲームスタジオ8社と協力し、9種類のビデオゲームでSIMAのトレーニングとテストを実施。
その結果、SIMAの現バージョンはナビゲーション（左折など）、対象物との相互作用（はしごを登るなど）、メニューの使用（地図を開くなど）といった基本スキルを600個備えています。
同社では今後「リソースを見つけてキャンプを構築する」といった複雑なタスクにも取り組んでいくとしています。
※画像とソース：
https://deepmind.google/discover/blog/sima-generalist-ai-agent-for-3d-virtual-environments/
