东京工业大学做了一个能预测对象0.5秒后动作的系统

东京工业大学的研究组制作了一款名为“FuturePose”的系统，该系统可实时预判侦测对象0.5秒后的动作。据组内人员介绍，FuturePose 是为了格斗项目的深度训练开发的。
FuturePose 的基础原理是用相机实时记录下对象的运动，并推测未来动作的系统。

首先用 RGB 图像推测对象 2D 关节的位置，然后把对象 2D 关节的位置输入至利用长短期记忆网络，从时间上分析其特征，从而预测对象 2D 关节未来所处的位置。为了得到更加准确的结果，在样型式别方面采用了光流法，并使用晶格光流来降低计算成本。最后把预测的 2D 关节位置可视化，构筑成 3D 骨架模型。用户可通过 VR 显示设备体验。
研究组成员也进行了实验。实验时所配戴的 VR 设备为 HTC Vive，让佩戴者躲避对方的拳脚动作。预测的 3D 骨骼影像和现实中对方的影像可同时显示。30fps 的视频可以提前15帧预测出对方0.5秒后的动作。实验结果是未使用 FuturePose 人员做出回避动作的平均反应时间为0.62秒，使用 FuturePose 系统成员的反应时间为0.42或0.41秒。

虽然东京工业大学制作 FuturePose 的初衷是为了格斗训练，但他们也希望通过不断完善这项技术，让 FuturePose 可以应用于其他竞技体育或娱乐项目中。
FuturePose 的论文已发表至 IEEE XPlore（英文），感兴趣的朋友可以了解一下。

https://ieeexplore.ieee.org/abstract/document/8658594