DeepMind robot plays table tennis, and its forehand and backhand slip into the air, completely defeating human beginners

But maybe you can’t beat the old man in the park?

The Paris Olympic Games are in full swing, and table tennis has attracted much attention. At the same time, robots have also made new breakthroughs in playing table tennis.

Just now, DeepMind proposed the first learning robot agent that can reach the level of human amateur players in competitive table tennis.

Paper address: https://arxiv.org/pdf/2408.03906

How good is this DeepMind robot at playing table tennis? Probably on par with human amateur players:

Both forehand and backhand:

The opponent uses a variety of playing styles, and the robot can also withstand it:

Receives serves with different spins:

However, the competition seems not as intense as the battle between the old men in the park.

For robots, table tennis requires mastering complex low-level skills and strategic gameplay, and requires long-term training. DeepMind believes that strategies that are suboptimal but can perform low-level skills proficiently may be a better choice. This distinguishes table tennis from purely strategic games such as chess and Go.

Thus, table tennis is a valuable benchmark for improving robot capabilities, including high-speed locomotion, real-time precise and strategic decision-making, system design, and direct competition with human opponents.

For this, the chief scientist of Google DeepMind praised: "The table tennis robot will help us solve high-speed control and perception problems."

The study conducted 29 table tennis games between robots and humans, including Bots won 45% of the time (13/29). All human players were players the robot had never seen before, ranging in ability from beginners to tournament players.

While the bot lost all its matches against the highest-level players, it won 100% of its matches against beginners and 55% of its matches against intermediate players, demonstrating the performance of a human amateur. .

Overall, the contributions of this research include:

1. Proposing a hierarchical and modular policy architecture that includes:

2. low-level controllers and their detailed skill descriptors that are useful for The capabilities of the agent are modeled and help bridge the gap between simulation and reality;

3. Choose high-level controllers with low-level skills.

4. Technology to implement zero-sample simulation to reality, including defining iterative methods based on real-world task distribution and defining automatic curriculum.

5. Adapt to unseen opponents in real time.

Method introduction

The agent consists of a low-level skill library and a high-level controller. The low-level skill pool focuses on a specific aspect of table tennis, such as forehand topspin, backhand aim, or forehand serve. In addition to incorporating training strategies, the study also collects and stores information offline and online about the strengths, weaknesses, and limitations of each low-level skill. The high-level controller responsible for coordinating low-level skills will select the best skills based on current game statistics and skill descriptions.

In addition, the study also collected a small amount of human and human sparring game data as a seed for the initial task conditions. The data set includes position, speed and rotation information. The agent is then trained in a simulated environment using reinforcement learning and employs some existing techniques to seamlessly deploy the policy to real hardware.

The agent plays with humans to generate more training data. As the robot continues to learn, the game standards become more and more complex, allowing the agent to learn more and more complex actions. This hybrid “simulation-reality” loop creates an automated teaching that allows the robot’s skills to improve over time.

レイヤードコントロール

レイヤードコントロールには主に次の部分が含まれます:

• 卓球のプレースタイル: 高レベルコントローラー (HLC、ハイレベルコントローラー) はまず、どのプレースタイル (フォアハンドまたはフォアハンドまたはハイレベルコントローラー) を使用するかを決定します。バックハンド);

• 調整: 対戦相手との試合の統計に基づいて各 HLC の好み (H 値) をオンラインで維持します。

• 最も効果的なスキルを選択します: LLC によるサンプリングに基づいて、HLC の候補者をペアにします。

• 更新: H値と対戦相手の統計はゲームが終了するまで更新されます。

結果

研究者らは、初心者、中級者、上級者、上級 + スキルを含む、さまざまなレベルの 29 人の卓球選手とエージェントを比較しました。人間のプレーヤーは標準的な卓球ルールに従ってロボットと 3 試合を行いましたが、ロボットがサーブを打つことができなかったため、ルールが若干変更されました。

すべての対戦相手と対戦して、ロボットは試合の 45%、試合の 46% で勝利しました。スキル レベル別に見ると、ボットは初心者に対してはすべての試合に勝ち、上級および上級+ プレーヤーに対してはすべての試合に負け、中級者に対しては試合の 55% に勝ちました。これは、エージェントが卓球のラウンドにおいて人間の中級プレーヤーのレベルに達していることを示しています。

ロボットが上級プレイヤーに勝てない理由は、反応速度、カメラのセンシング能力、回転処理などを含む物理的および技術的な制限により、シミュレーション環境で正確にモデル化することが困難です。

ロボットとのスパーリングもとても魅力的です

研究参加者は、ロボットと遊ぶのがとても楽しかったと述べ、ロボットに対して「面白い」「魅力的」という点で高い評価を与えました。彼らはまた、再びロボットと戦うことに「非常に意欲がある」と満場一致で表明した。自由時間には、5分間で平均4分06秒ロボットと遊んだ。

このロボットはバックスピンが苦手です

最もスキルの高い参加者は、ロボットはバックスピンの処理が苦手だと述べました。この観察を検証するために、研究者らはボールのスピンに対するロボットの着地率をプロットしたところ、バックスピンが多いボールに直面するとロボットの着地率が大幅に低下することが結果で示された。この欠陥は、ロボットが低いボールを扱うときにテーブルとの衝突を避けようとすることが部分的に原因であり、第二に、ボールのスピンをリアルタイムで判断することが非常に難しいという事実によって引き起こされます。

参考リンク：

https://sites.google.com/view/competitive-robot-table-tennis/home?utm_source&utm_medium&utm_campaign&utm_content&pli=1

The above is the detailed content of DeepMind robot plays table tennis, and its forehand and backhand slip into the air, completely defeating human beginners. For more information, please follow other related articles on the PHP Chinese website!