特許ウォッチ

公開番号2025133383
公報種別公開特許公報(A)
公開日2025-09-11
出願番号2024031297
出願日2024-03-01
発明の名称データ生成システム、データ生成方法、及びプログラム
出願人トヨタ自動車株式会社
代理人個人
主分類B25J 13/08 20060101AFI20250904BHJP(手工具;可搬型動力工具;手工具用の柄;作業場設備;マニプレータ)
要約【課題】ロボットに多様な動作を学習させることができる学習データを生成すること。
【解決手段】アーム部とハンド部とを含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するデータ生成システムは、複数種類のアーム部の画像を取得し、各アーム部の画像に識別情報を夫々付与するアーム画像取得手段と、複数種類のハンド部の画像を取得し、各ハンド部の画像に識別情報を夫々付与するハンド画像取得手段と、取得された複数のアーム部の中から1つのアーム部を選択し、取得された複数のハンド部の中から1つのハンド部を選択し、選択したアーム部に選択したハンド部を接続したロボットを動作させた際の画像を生成し、生成した画像に対して、選択したアーム部の識別情報と、選択したハンド部の識別情報と、を夫々付与することで、学習データを生成する学習データ生成手段と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するデータ生成システムであって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与するアーム画像取得手段と、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与するハンド画像取得手段と、
前記アーム画像取得手段により取得された複数のアーム部の中から１つのアーム部を選択し、前記ハンド画像取得手段により取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成する学習データ生成手段と、
を備える、
データ生成システム。
続きを表示（約 1,900 文字）【請求項２】
請求項１記載のデータ生成システムであって、
前記学習データ生成手段は、前記選択したアーム部に前記選択したハンド部を接続したロボットを動作させ、該ロボットを複数の異なる位置から夫々撮影した際の画像を生成し、該生成した各画像に対して、前記位置の識別情報と、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を付与することで、前記学習データを生成する、
データ生成システム。
【請求項３】
請求項１記載のデータ生成システムであって、
前記ロボットは、対象物に対して動作を行うものであり、
複数種類の対象物の画像を取得し、該取得した各対象物の画像に、該各対象物を識別するための識別情報を夫々付与する対象物画像取得手段を更に備え、
前記学習データ生成手段は、前記対象物画像取得手段により取得された複数の対象物の中から１つの対象物を選択し、前記選択したアーム部に前記選択したハンド部を接続したロボットを前記選択した対象物に対して動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、前記対象物の識別情報と、を付与することで、前記学習データを生成する、
データ生成システム。
【請求項４】
請求項１記載のデータ生成システムであって、
前記ハンド部は、筐体部と、該筐体部に接続され対象物を把持する少なくとも２つの爪部と、前記筐体部と前記爪部とを接続する接続部と、を有する把持部として構成されており、
前記ハンド画像取得手段は、複数種類の前記筐体部と前記爪部と前記接続部とを生成し、該生成した各筐体部、各爪部及び各接続部に対し識別情報を夫々付与し、
前記学習データ生成手段は、前記ハンド画像取得手段により生成された筐体部、爪部及び接続部の中から、筐体部、爪部及び接続部を夫々選択して、前記把持部を構成し、該構成した把持部を前記選択したアーム部に接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記構成した把持部の筐体部、爪部及び接続部の識別情報と、を付与することで、前記学習データを生成する、
データ生成システム。
【請求項５】
請求項１記載のデータ生成システムであって、
前記複数種類のハンド部は、対象物を把持する把持部、対象物を磁着する磁着部、及び、対象物を吸引する吸引部、のうち少なくとも１つを含む、
データ生成システム。
【請求項６】
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するためのデータ生成方法であって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与するステップと、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与するステップと、
前記取得された複数のアーム部の中から１つのアーム部を選択し、前記取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成するステップと、
を含む、
データ生成方法。
【請求項７】
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するためのプログラムであって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与する処理と、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与する処理と、
前記取得された複数のアーム部の中から１つのアーム部を選択し、前記取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成する処理と、
をコンピュータに実行させる、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本開示は、ロボットの動作の学習データを生成するデータ生成システム、データ生成方法、及びプログラムに関する。
続きを表示（約 3,600 文字）【背景技術】
【０００２】
ロボットの把持動作を学習させた学習済みモデルを生成するために、様々な角度から撮像されたロボットの画像を含む学習用データセットをシミュレーション環境で取得するシステムを知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
特許第６６７１６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、被把持対象物の種類や大きさなどが学習済みモデルで対応できる範囲を超える場合は、そのロボットの把持動作が難しくなるというような状況が発生し、ロボットの動作に制限が生じ得る。
【０００５】
本開示は、このような問題点を解決するためになされたものであり、ロボットに多様な動作を学習させることができる学習データを生成するデータ生成システム、データ生成方法、及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本開示の一態様は、
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するデータ生成システムであって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与するアーム画像取得手段と、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与するハンド画像取得手段と、
前記アーム画像取得手段により取得された複数のアーム部の中から１つのアーム部を選択し、前記ハンド画像取得手段により取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成する学習データ生成手段と、
を備える、
データ生成システム
である。
この一態様において、
前記学習データ生成手段は、前記選択したアーム部に前記選択したハンド部を接続したロボットを動作させ、該ロボットを複数の異なる位置から夫々撮影した際の画像を生成し、該生成した各画像に対して、前記位置の識別情報と、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を付与することで、前記学習データを生成してもよい。
この一態様において、
前記ロボットは、対象物に対して動作を行うものであり、
複数種類の対象物の画像を取得し、該取得した各対象物の画像に、該各対象物を識別するための識別情報を夫々付与する対象物画像取得手段を更に備え、
前記学習データ生成手段は、前記対象物画像取得手段により取得された複数の対象物の中から１つの対象物を選択し、前記選択したアーム部に前記選択したハンド部を接続したロボットを前記選択した対象物に対して動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、前記対象物の識別情報と、を付与することで、前記学習データを生成してもよい。
この一態様において、
前記ハンド部は、筐体部と、該筐体部に接続され対象物を把持する少なくとも２つの爪部と、前記筐体部と前記爪部とを接続する接続部と、を有する把持部として構成されており、
前記ハンド画像取得手段は、複数種類の前記筐体部と前記爪部と前記接続部とを生成し、該生成した各筐体部、各爪部及び各接続部に対し識別情報を夫々付与し、
前記学習データ生成手段は、前記ハンド画像取得手段により生成された筐体部、爪部及び接続部の中から、筐体部、爪部及び接続部を夫々選択して、前記把持部を構成し、該構成した把持部を前記選択したアーム部に接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記構成した把持部の筐体部、爪部及び接続部の識別情報と、を付与することで、前記学習データを生成してもよい。
この一態様において、
前記複数種類のハンド部は、対象物を把持する把持部、対象物を磁着する磁着部、及び、対象物を吸引する吸引部、のうち少なくとも１つを含んでいてもよい。
上記目的を達成するための本開示の一態様は、
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するためのデータ生成方法であって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与するステップと、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与するステップと、
前記取得された複数のアーム部の中から１つのアーム部を選択し、前記取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成するステップと、
を含む、
データ生成方法
である。
上記目的を達成するための本開示の一態様は、
アーム部と、該アーム部の先端に接続されるハンド部と、を含むロボットの動作を学習させた学習済みモデルを生成するための学習データを生成するためのプログラムであって、
複数種類の前記アーム部の画像を取得し、該取得した各アーム部の画像に、該各アーム部を識別するための識別情報を夫々付与する処理と、
複数種類の前記ハンド部の画像を取得し、該取得した各ハンド部の画像に、該各ハンド部を識別するための識別情報を夫々付与する処理と、
前記取得された複数のアーム部の中から１つのアーム部を選択し、前記取得された複数のハンド部の中から１つのハンド部を選択し、該選択したアーム部に該選択したハンド部を接続したロボットを動作させた際の画像を生成し、該生成した画像に対して、前記選択したアーム部の識別情報と、前記選択したハンド部の識別情報と、を夫々付与することで、前記学習データを生成する処理と、
をコンピュータに実行させる、
プログラム
である。
【発明の効果】
【０００７】
本開示によれば、ロボットに多様な動作を学習させることができる学習データを生成するデータ生成システム、データ生成方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
本実施形態に係るデータ生成システムの概略的なハードウェア構成を示すブロック図である。
本実施形態に係るデータ生成システムの概略的なシステム構成を示すブロック図である。
アーム部の生成方法のフローの一例を示すフローチャートである。
ハンド部の構成例を示す図である。
ハンド部の生成方法のフローの一例を示すフローチャートである。
ハンド部の選択方法を示す図である。
ロボットの生成方法のフローの一例を示すフローチャートである。
本実施形態に係るデータ生成方法のフローの一例を示すフローチャートである。
本実施形態に係るデータ生成システムの概略的なシステム構成を示すブロック図である。
対象物の構成例を示す図である。
【発明を実施するための形態】
【０００９】
実施形態１
以下、図面を参照して本実施形態について説明する。本実施形態に係るデータ生成システムは、ロボットの動作を機械学習させた学習済みモデルを生成するための学習データを生成するものである。
【００１０】
ロボットは、例えば、複数のリンク部及び、リンク部を接続する関節部（肘関節、手首関節など）を有するアーム部と、アーム部の先端に接続されるハンド部と、を含む多関節型のアームロボットとして構成されている。ハンド部は、例えば、対象物を把持する把持部、対象物を磁着する磁着部、対象物を吸引する吸引部、などとして構成されている。
（【００１１】以降は省略されています）

関連特許