ロボット学習
データからロボットのコントローラを学習する手法。行動クローニングとアクションチャンキング、シミュレーションでの強化学習、Vision-Language-Actionモデル、そしてOpen X-EmbodimentやLeRobotなどのオープンなデータセットとツールを扱います。
概要
ロボット学習は、人が書いたコントローラを、データから学習した方策に置き換えます。方策は、カメラ画像や関節状態などロボットが感知した情報を、関節の目標値やグリッパ指令などの次の動作に対応付けます。主に使われるデータは2種類です。1つはデモンストレーションで、通常はテレオペレーションで収集し、模倣学習に使います。もう1つはシミュレーションでの報酬で、強化学習に使います。現在では、大規模に事前学習したVision-Language-Actionモデル（VLA）が、この両者をWeb規模のデータと組み合わせています。このハブはロボット側、すなわちデータ収集、行動空間、制御周期、転移に焦点を当てます。機械学習そのものについてはAI/ML Field Guideを参照してください。
重要な考え方
デモンストレーションからの模倣学習
模倣学習の最も単純な形である行動クローニング（behaviour cloning）は、人がロボットをテレオペレーションしている間に記録した観測と行動の組を使う教師あり学習です。古くからの弱点は誤差の累積です。小さな誤りによって、デモンストレーションに一度も現れなかった状態にロボットが入ると、方策には手がかりがありません。そこから誤差が大きくなっていきます。近年の2つの設計がこの問題を軽減します。Zhao et al.（2023）のACTは、1ステップずつではなく、将来の行動のまとまり（チャンク）を一度に予測します。著者らによれば、ACTは低コストのアームで、バッテリーの差し込みなど6つの精密な双腕タスクを、10分間のデモンストレーションから80〜90%の成功率で学習しました。Chi et al.（2023）のDiffusion Policyは、反復的なデノイジングで行動を生成します。そのため、1つのタスクを複数の方法で解くデモンストレーションにも対応できます。Mandlekar et al.（2021）は、robomimicフレームワークを用いて、オフラインの人間のデモンストレーションから学習するときにどの選択が重要かを調べました。
制御のための強化学習
強化学習は、報酬に対する試行錯誤で方策を改善します。実機では時間がかかり、ロボットが摩耗し、危険な場合もあります。そのため、ロボットの強化学習の多くはシミュレーションで行い、その後実機に転移します。最も明確な成功例はロコモーション（脚による移動）です。脚式ロボットのハブでは、1台のGPUで数分で学習する四脚ロボットの方策を取り上げています。マニピュレーションでは、OpenAI（2018）が物理パラメータをランダム化したシミュレーションだけで、多指ハンドによる手の中での物体の向き変えを学習させました。成否を左右するのは、アルゴリズムよりも次の2点です。1つは報酬設計です。方策は報酬に抜け穴があれば必ずそれを利用します。もう1つはsim-to-realギャップで、シミュレーションのハブで扱っています。一般的な理論、PPO、オフライン強化学習は、AI/ML Field Guideの強化学習ハブにあります。
Vision-Language-Actionモデルとそのデータ
VLAは、Webデータで事前学習した視覚言語モデルを出発点とし、ロボットの行動を出力するように追加で学習したモデルです。Brohan et al.（2023）はRT-2でこのカテゴリに名前を付けました。RT-2は行動をテキストトークンとして表現しました。OpenVLA（Kim et al., 2024）は、970,000件の実ロボットのデモンストレーションで学習した、パラメータ数7BのオープンなVLAです。著者らの報告では、29のタスクにわたるタスク成功率で、パラメータ数55BのクローズドなRT-2-Xを16.5ポイント上回りました。また、コンシューマ向けGPUでファインチューニングできるとしています。π0（Black et al., 2024）は、事前学習した視覚言語モデルにフローマッチングによる行動ヘッドを追加したモデルで、単腕・双腕のマニピュレータと移動マニピュレータのデータで学習されました。
これらのモデルは共有データセットに依存しています。Open X-Embodiment（2023）は、21機関の22種類のロボットから、527のスキルにわたるデータを集めました。DROID（Khazatsky et al., 2024）は、564のシーンで収集した76,000本のデモンストレーション軌道（350時間分）を収めています。Hugging FaceのLeRobotは、データをLeRobotDataset形式（ParquetとMP4）でHugging Face Hubに保存し、ACT、Diffusion Policy、いくつかのVLAを実装しています。公表された成功率は、著者らのロボットとタスクでの結果として扱ってください。いずれかに頼る前に、自分のロボットと自分のカメラで評価してください。
どこから始めるか
まずロボット側に慣れてください。センサとノイズでは方策が何を見ているかを説明し、MuJoCoでアームをシミュレーションするではデータを収集するための環境を用意します。PyBulletのピックアンドプレース・プロジェクトは、学習した方策と比較するためのスクリプトによるベースラインです。ロボット一覧の表には、LeRobotが対応するSO-101アームが載っています。ニューラルネットワークの基礎は、AI/ML Field Guideのディープラーニングハブにあります。
ツールとプラットフォーム
| ツール | 用途 | ライセンス |
|---|---|---|
| LeRobot | 模倣学習・強化学習・VLAの方策のデータセット、記録、学習、デプロイ | Apache-2.0 |
| robomimic | オフラインのデモンストレーションからの模倣学習 | MIT |
| Diffusion Policy | Diffusion Policy論文のリファレンス実装 | MIT |
| OpenVLA | オープンなVLAの学習・ファインチューニング用コード | MIT |
| openpi | π0系列のモデルとファインチューニング用コード | Apache-2.0 |
| Isaac Lab | GPU並列の強化学習・模倣学習環境 | BSD-3-ClauseとApache-2.0 |
| MuJoCo Playground | MuJoCo上の強化学習環境と学習 | Apache-2.0 |
よくある間違い
- タスクを一貫しないさまざまな方法で解くデモンストレーションを集め、うまくいかないとモデルのせいにする。
- 記録時とデプロイ時で制御周期が違う、またはカメラ位置が違う。
- 学習に使ったシーンで成功率を測る。物体、位置、照明を評価用に取り分けておく。
- タスクを実行しなくても満たせる報酬を書く。
- VLAが新しいロボットでゼロショットで動くと思い込む。ファインチューニング用のデモンストレーション収集を計画に入れておく。
- 安全層を省く。学習した方策にも、関節の可動範囲、速度制限、停止機能が必要。
さらに深く
- Zhao, Kumar, Levine and Finn, Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, 2023（ACT）。
- Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion, 2023、およびMandlekar et al., What Matters in Learning from Offline Human Demonstrations for Robot Manipulation, 2021。
- Brohan et al., RT-2, 2023、Kim et al., OpenVLA, 2024、Black et al., π0, 2024。
- Open X-Embodiment Collaboration, Open X-Embodiment: Robotic Learning Datasets and RT-X Models, 2023、およびKhazatsky et al., DROID, 2024。
- アルゴリズムと理論については、AI/ML Field Guideの強化学習ハブを参照。