特許ウォッチ

公開番号2025130060
公報種別公開特許公報(A)
公開日2025-09-05
出願番号2025028124
出願日2025-02-25
発明の名称産業環境マップ内へのミッションアクションのレンダリング
出願人横河電機株式会社
代理人個人,個人,個人,個人
主分類G05D 1/223 20240101AFI20250829BHJP(制御;調整)
要約【課題】ミッションアクションを産業環境マップ内にレンダリングする。
【解決手段】レンダリングされるミッションアクションは、第1の様式でレンダリングされた第1のミッションアクションと、第1の様式とは異なる第2の様式でレンダリングされた第2のミッションアクションとを含み得る。たとえば、第1のミッションアクションは、第1のレベルの粒度である第1のミッションアクションの第1のメタデータ(たとえば、ロボット姿勢およびカメラ姿勢を指定する第1のメタデータ)に基づいて、第1のグラフィカル特徴を用いてレンダリングされ得る。第2のミッションアクションは、第2のレベルの粒度である第2のミッションアクションの第2のメタデータ(たとえば、ロボット姿勢を指定するが、何のカメラ姿勢も指定しない第2のメタデータ)に基づいて、第2のグラフィカル特徴を用いてレンダリングされ得る。
【選択図】図3
特許請求の範囲【請求項１】
1つまたは複数のプロセッサによって実施される方法であって、
産業環境のための複数のミッションアクションの各々についてのメタデータを識別するステップと、
前記産業環境用のマップインターフェース内に、第1のグラフィカル特徴を用いて前記ミッションアクションの第1のサブセットをレンダリングするステップであって、第1のグラフィカル特徴を用いて前記ミッションアクションの第1のサブセットをレンダリングする前記ステップが、前記第1のサブセットの前記ミッションアクションの各々についての対応するメタデータが1つまたは複数の第1の基準に整合するとの判定に応じる、ステップと、
前記産業環境用の前記マップインターフェース内に、前記ミッションアクションの前記第1のサブセットとともに、第2のグラフィカル特徴を用いて前記ミッションアクションの第2のサブセットをレンダリングするステップであって、第2のグラフィカル特徴を用いて前記ミッションアクションの第2のサブセットをレンダリングする前記ステップが、前記第2のサブセットの前記ミッションアクションの各々についての対応するメタデータが1つまたは複数の第2の基準に整合するとの判定に応じ、
前記第1の基準が前記第2の基準とは異なり、
前記第1のグラフィカル特徴が、前記第2のグラフィカル特徴とは視覚的に異なる、
ステップと、
前記産業環境用の前記マップインターフェースを介して、前記第1のサブセットまたは前記第2のサブセットの所与のミッションアクションの選択を受信するステップと、
前記選択の受信に応じて、前記所与のミッションアクションを事前定義されたロボットミッションに追加するか、または前記所与のミッションアクションを新しいロボットミッション内に含めるステップと
を含む、方法。
続きを表示（約 1,500 文字）【請求項２】
前記第1のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが前記1つまたは複数の第1の基準に整合すると判定することが、
前記第1のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが、第1のタイプのセンサーからの示度を含むと判定すること
を含み、
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが前記1つまたは複数の第2の基準に整合すると判定することが、
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが、第2のタイプのセンサーからの示度を含むと判定することであって、前記第2のタイプが前記第1のタイプとは異なる、こと
を含む、請求項1に記載の方法。
【請求項３】
前記第1のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが前記1つまたは複数の第1の基準に整合すると判定することが、
前記第1のサブセットの前記ミッションアクションの各々についての前記対応するメタデーが、前記ミッションアクションのための対応するロボット姿勢、および前記対応するロボット姿勢にある間に前記ミッションアクションの視覚データをキャプチャするための対応する1つまたは複数の視覚センサーパラメータを含むと判定すること
を含む、請求項1に記載の方法。
【請求項４】
前記第1のサブセットの前記ミッションアクションが危険物を含む、請求項3に記載の方法。
【請求項５】
前記1つまたは複数の視覚センサーパラメータが、前記産業環境内でモバイルロボットが持ち運ぶ視覚センサーに関連する、視覚センサー姿勢、視覚センサーズームレベル、および/または視覚センサーフォーカスパラメータを含む、請求項3に記載の方法。
【請求項６】
前記第1のサブセットの前記ミッションアクションの各々についてのメタデータが、前記第1のサブセットの前記ミッションアクションの、対応するミッションアクションにおけるPOIに関する1つまたは複数のPOIパラメータをさらに含む、請求項3に記載の方法。
【請求項７】
前記1つまたは複数のPOIパラメータが、前記POIのPOI識別子および/または前記POIのタイプを含む、請求項6に記載の方法。
【請求項８】
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが前記1つまたは複数の第2の基準に整合すると判定することが、
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが、前記ミッションアクションのための対応するロボット姿勢を含むが、前記ミッションアクションの画像をキャプチャするためのいずれのカメラパラメータも欠くと判定すること
を含む、請求項1に記載の方法。
【請求項９】
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが前記1つまたは複数の第2の基準に整合すると判定することが、
前記第2のサブセットの前記ミッションアクションの各々についての前記対応するメタデータが、前記第2のサブセットの前記ミッションアクションの各々のための対応するロボット姿勢のみを含むと判定すること
を含む、請求項8に記載の方法。
【請求項１０】
前記マップインターフェースが前記産業環境の平面図である、請求項1に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
ミッションアクションを産業環境マップ内にレンダリングすることに関する。
続きを表示（約 4,400 文字）【背景技術】
【０００２】
計器の画像をキャプチャする、ガス示度を測定する、異常検出のための画像をキャプチャするなど、様々な目的で複数のロボットが産業施設内で展開され得る。たとえば、所与の時点で、第1のロボットは、各々が関心地点(POI)の画像がキャプチャされ得る、対応するロボット姿勢およびロボットのカメラの対応するカメラ姿勢を定義する、一連のミッションアクション(mission actions)を伴う第1のミッションを実行していることがある。したがって、第1のミッションを実行することは、一連のミッションアクションを実施して、ロボットを様々なロボット姿勢にナビゲートし、(たとえば、カメラが対応するカメラ姿勢にある状態で)それらの姿勢における対応する画像をキャプチャさせることを伴い得る。所与の時点で、第2のロボットも、各々が同様にカメラ姿勢を定義することなしに(たとえば、第2のロボットは、いずれのカメラも欠くが、ガスセンサーを含む)、対応するロボット姿勢を定義する一意の一連のミッションアクションを伴う第2のミッションを実行していることがある。したがって、第2のミッションを実行することは、一意の一連のミッションアクションを実施して、ロボットを様々なロボット姿勢にナビゲートし、およびガスセンサーを使用して、いずれのカメラ姿勢にも関係なく、それらの姿勢におけるガス示度を測定させることを伴い得る。
【０００３】
ミッションアクションは、(たとえば、ハンドヘルドコントローラおよび/またはコンピュータインターフェースの使用を通して)制御されるロボットに対して人間のオペレータによって最初に定義され、人間のオペレータによって提供された入力によって指定され得る。ロボットは、実際の産業施設内で制御される実際のロボット、または実際の産業施設のシミュレーション内で制御されるシミュレートロボットであってもよい。たとえば、ミッションアクションを定義する際に、人間は、ハンドヘルドコントローラを利用して、特定のロボット姿勢(たとえば、ロボットのロケーションおよび配向)にロボットをナビゲートし、ロボットが特定のロボット姿勢にある間に、特定のカメラ姿勢(たとえば、カメラのロケーションおよび配向)にロボットのカメラを調整し、特定のミッションアクションについてのメタデータとして特定のロボット姿勢および特定のカメラ姿勢を定義するユーザインターフェース入力を提供することができる。ロボットミッションアクションが最初に定義された後、そのロボット(または異なるロボット)は、その後、定義されたロボットミッションアクションを利用して、自律的に(すなわち、いずれの人間のオペレータ制御も必要とせずに)ミッションアクションを実施する(たとえば、ロボット姿勢にナビゲートし、カメラをカメラ姿勢に調整する)ことができる。
【発明の概要】
【課題を解決するための手段】
【０００４】
上記で言及したように、産業環境(たとえば、産業施設を含む)内のロボットは、対応する定義されたミッションを実行することができ、それを行う際に、各々、それぞれのミッションに対して定義されたミッションデータのシーケンスを実施することができる。たとえば、第1のロボットは、ミッションアクションの第1のシーケンスを実施することによって、第1の定義されたミッションを実行することができ、第1のロボットとは異なる第2のロボットは、ミッションアクションの第2のシーケンスを実施することによって第2の定義されたミッションを実行することができる。第1のロボットは、第2のロボットと同じであってもよく、または異なってもよい。たとえば、第1のロボットおよび第2のロボットは異なる製造会社からである、異なるタイプのものである(たとえば、四足歩行、複数車輪、自己平衡型単輪、クローラー、航空など)、および/または異なるペイロードを有する(たとえば、第1のロボットはカメラおよび/またはガスセンサーを含み、第2のロボットはいずれのカメラおよび/またはガスセンサーも欠く)という点で、第1のロボットは第2のロボットとは異なり得る。第1の定義されたミッションは、第2の定義されたミッションと同じであってもよく、または異なってもよい。
【０００５】
いくつかの実施形態では、同じシーケンス(たとえば、第1のシーケンスまたは第2のシーケンス)内の異なるミッションアクションは、同じレベルの粒度で定義され得る。いくつかの他の実施形態では、同じシーケンス(たとえば、第1のシーケンスまたは第2のシーケンス)内の異なるミッションアクションは、異なるレベルの粒度で定義され得る。たとえば、いくつかのミッションアクションは、他のミッションアクション(たとえば、ロボット姿勢のみ)よりも細かく(たとえば、ロボット姿勢およびカメラパラメータ)定義されてもよい。非限定的な例として、ミッションアクションの第1のシーケンスは、異なるレベルの粒度で定義されている、第1のミッションアクション、第2のミッションアクション、および第3のミッションアクションを含み得る。この非限定的な例では、第1のミッションアクションは、第1のロボットの第1のロボット姿勢で定義され得るが、第1のロボットのペイロードの部分である、カメラのカメラ姿勢のいずれの定義も欠くことがあり、第2のミッションアクションは、第1のロボットが第2のロボット姿勢にあるとき、第1のロボットの第2のロボット姿勢およびカメラの第1のカメラ姿勢で定義され得、第3のミッションアクションは、第1のロボットの第3のロボット姿勢、カメラの第2のカメラ姿勢、ならびに第1のロボットが第3のロボット姿勢にあるとき、第2のカメラ姿勢においてカメラによってキャプチャされているPOI(たとえば、コンポーネントのID、コンポーネントのタイプなど)の情報で定義され得る。したがって、この非限定的な例では、第3のミッションアクションは、最高レベルの粒度(ロボット姿勢、カメラ姿勢、およびPOI情報)で定義され得、第1のミッションアクションは、より低いレベルの粒度(ロボット姿勢のみ)で定義され得、第2のミッションアクションは、第1のミッションアクションの粒度レベルと第2のミッションアクションの粒度レベルの間である粒度レベル(ロボット姿勢およびカメラ姿勢)で定義され得る。
【０００６】
いくつかの実施形態では、ミッションアクションは、任意選択または追加で、ミッションアクションにおいてセンサー示度によってキャプチャされているPOIの特徴を定義するPOIパラメータで定義され得る。たとえば、ロボット(たとえば、第1のロボット)が特定の計器の画像をキャプチャするミッションアクション(たとえば、第2のミッションアクション)は、特定の計器のタイプ(たとえば、温度タイプ、圧力タイプなど)および/または特定の計器の一意の識別子(たとえば、X1234AB)で定義されてもよい。ミッションアクションに対して定義されているPOIの特徴は、ミッションアクションを定義しているオペレータによって提供され得、および/またはミッションアクションにおいてキャプチャされた画像および/または他の視覚的データの分析から自動的に判定され得る。
【０００７】
いくつかの実施形態では、異なるシーケンス(たとえば、第1のシーケンスおよび第2のシーケンス)内の異なるミッションアクションは、同じレベルの粒度で定義され得る。いくつかの他の実施形態では、異なるシーケンス(たとえば、第1のシーケンスおよび第2のシーケンス)内の異なるミッションアクションは、異なるレベルの粒度で定義され得る。たとえば、第1のシーケンス内のミッションアクションは、計器の画像をキャプチャするためであってもよく、第2のシーケンス内の追加のミッションアクションは、ガス示度を測定するためであってもよい。この例では、ミッションアクションは、(a)ロボットのロボット姿勢(たとえば、X座標、Y座標、Z座標、ならびに任意選択で、回転および/または並進)、および/またはロボットの他のロボットパラメータ(たとえば、ロボットのロボットタイプ)と(b)計器の画像をキャプチャするために使用されるカメラの、カメラ姿勢(たとえば、回転および/または並進)、カメラズームレベル、および/またはカメラフォーカス設定など、カメラパラメータの両方で定義され得る。追加のミッションアクションは、ロボット姿勢(および、時にはロボット姿勢のみ)で、いずれのカメラパラメータも用いずに、定義され得る。
【０００８】
あるミッションアクションは、あるタイプのロボットを使用して定義および/またはナビゲートされ得ることに留意されたい。この場合、これらのミッションアクションは、様々なレベルの粒度で定義され得ない。
【０００９】
いくつかの実施形態では、定義された後、ミッションアクションは、(たとえば、産業環境内の)その後のアクセスのために、ミッションアクションを定義するメタデータに関連付けられて記憶され得る。たとえば、定義されたミッションアクションは、産業環境内の産業施設の動作を確実にするために、人間のオペレータによって特定のロボットの所与のミッション(または新しいミッション)に追加されてもよい。異なるミッションアクションは、異なるレベルの粒度を有するメタデータで定義され記憶されてもよく、または同じミッションアクションは、異なるロボットに関連して異なる様々なレベルの粒度を有するメタデータで定義され記憶されてもよいことに留意されたい。
【００１０】
ミッション(たとえば、前述の第1の定義されたミッションまたは第2の定義されたミッション)は、経時的に変化しないことがあるが、所与のミッションアクションを所与のミッションに少なくとも一時的に追加することが望ましい状況が存在し得る(所与のミッションがその所与のミッションアクションを前に含んでいなかった場合)。たとえば、所与のミッションは、ミッションアクションA～Kを含むことがあるが、ミッションアクションLは含まないことがあるものの(ミッションアクションLが代替ミッションにおいて定義されているとはいえ)、ミッションアクションLを所与のミッションに追加する要望が存在し得る。たとえば、ミッションアクションLの近くに潜在的に有害な状態が存在する場合、ミッションアクションLに関連する計器に潜在的な問題が存在する場合など、ミッションアクションLを所与のミッションに追加する要望が存在し得る。
（【００１１】以降は省略されています）

関連特許