単純形状物体の姿勢推定

概要

柄の無いパズルのピースが当てはまる位置と向きを考えるのが難しいように、コンビニ商品のような単純な形の物体は形の特徴が少なく、正面以外は柄も少ないため、三次元の姿勢を推定することが困難です。
そこで本研究室では、物体のどの面が接地しているかを先に推定することで、三次元姿勢を一次元もしくは二次元の姿勢推定で解く新しい手法を研究しております。

デモ

本研究室では、接地している面を推定することをPoseClass推定と呼んでいます。例えば、サンドイッチの左側面が接地していれば、PoseClass1、右側面が接地してればPoseClass2が出力されます。PoseClass1とPoseClass2はわずかな見た目の違いしかありませんが、しっかりとPoseClass推定できているので、一次元の姿勢推定でサンドイッチの三次元姿勢を推定できるのがわかると思います。

参考文献

1. 藤田 幸平, 田崎 豪: 物体姿勢を維持する画像変換を用いたzero-shot姿勢推定, 電気学会論文誌C, Vol. 143, No. 12, pp. 1113-1122, Dec. 2023. [pdf]
2. Kohei Fujita, Tsuyoshi Tasaki: PYNet: Poseclass and Yaw Angle Output Network for Object Pose Estimation, Journal of Robotics and Mechatronics, Vol.35, No.1, pp. 8-17, Feb., 2023. [pdf]
3. Kazuhisa Matsumoto, Yusuke Ibuki, Ryusei Tomikawa, Kazufumi Kobayashi, Kenichi Ohara, Tsuyoshi Tasaki: Selective Instance Segmentation for Pose Estimation, Advanced Robotics, Vol. 36, Issue 17-18, pp.890-899, Sep., 2022. [pdf]

謝辞

本研究の一部は、競輪の補助を受けて実施しました。