AIロボット入門：第5章ビジョン3– 深層学習による物体検出

拙著（以下，教科書と表記）「ROS2とPythonで作って学ぶAIロボット入門」（講談社）を授業で使用する場合の講義資料のたたき台です．

5章ビジョンの5.7.2節(p.180) 深層学習による物体検出の補足記事です．教科書は実機を使った説明でなので，シミュレータを使った方法を説明します．具体的には，教科書プログラムリストとTurtleBot3 Simulationパッケージのトピック名が違うので，その対応が必要になります．

前回，古典的な物体検出のプログラムを作ったので，今回は現在主流の深層学習を使った物体検出のハンズオンをします．教科書用のDockerイメージを使い，教科書を見ながらハンズオンを進めてください．

サンプルプログラム

教科書p.182のプログラムリスト5.8, 5.9とその説明を読んでください．

ハンズオン

ここでは，シミュレータを使いYOLOを使って物体認識を行います．

実　行

端末を開き３分割する。以下のコマンドを実行する。
上段の端末：シミュレータの起動
- カメラの位置を低くしたいので，ロボットモデルにwaffle_piを設定する．
  - $ export TURTLEBOT3_MODEL=waffle_pi
- Gazeboの起動
  - $ ros2 launch turtlebot3_gazebo empty_world.launch.py

- Gazeboを起動し，そのInsertタブから色々な物体を挿入してみよう．
  - 上図は次の物体を使っている．
    - http://gazbosim.org/models/
    - Ambulance, Coke Can, Hokuyo, Walking person
中段の端末。yolov5_ros2パッケージのobject_detectionノードの起動．トピック名が違うので次のようにリマップ（名前を付け替え）するか，プログラムリスト5.9の25行目のトピック名を’/camera/image_raw’に変更しなければならない．
- $ ros2 run yolov5_ros2 object_detection --ros-args --remap image_raw:=/camera/image_raw
- プログラムが正常に動作すると下図のような認識結果のウインドウが開く．personは正しく認識されていますが，ambulance（救急車）はtruckと認識，coke can（コーラ缶）に至ってはkite（凧）と間違って認識，hokuyo（北陽電機LiDAR）は検出されていない．これは，YOLOv5の学習済みの重みをそのまま使っているためである．正しく認識させるためにはデータを集めて深層学習ネットワークに転移学習やファインチューニングさせる必要がある．
- なお，ここで使用しているYOLOv5はCOCO128データセットで学習済みで，物体名（クラス名）は次のリンクに記載されている．
  - https://github.com/ultralytics/yolov5/blob/master/data/coco128.yaml

下段の端末。遠隔操作してロボットを動かして認識が変化するか確認しよう！
- $ ros2 run turtlebot3_teleop teleop_keyboard

まとめ

ROS2では実機とシミュレータが同じコードで動きます．実機の代わりにシミュレータを使う場合は，まず，Gazeboを起動します．次に，実機とシミュレータのトピック名が違う場合があるので，その場合は，今回のハンズオンのようにリマップするとソースコードを変更する必要がないので楽できます．

参考資料

終わり