特許ウォッチ

公開番号2025071227
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2025025618,2022520319
出願日2025-02-20,2020-09-29
発明の名称クラウドゲーミングのための方法、コンピュータ可読媒体およびコンピュータシステム
出願人株式会社ソニー・インタラクティブエンタテインメント
代理人個人
主分類H04N 21/238 20110101AFI20250424BHJP(電気通信技術)
要約【課題】サーバとクライアントとの間のラウンドトリップ待ち時間及び一方向待ち時間を実質的に低減させる。
【解決手段】サーバにおいてビデオゲームを実行するときにビデオフレームを生成し、サーバスキャンラインごとにエンコーダにビデオフレームをスキャンインする。エンコーダにおいて1つ以上の符号化済みスライスとして1つ以上のエンコーダスライスを符号化し、各々の符号化済みスライスは、エンコーダフィルレートでバッファに配信される。ネットワークを通じてバッファドレイン速度でクライアントに第1の符号化済みスライスをストリーミングするよう、バッファから第1の符号化済みスライスをドレインし、第1の符号化済みスライスは、ビデオフレームの1つ以上のスライスを完全に符号化する前にネットワークを通じてストリーミングされる。
【選択図】図6
特許請求の範囲【請求項１】
クラウドゲーミングのための方法であって、
サーバにおいてビデオゲームを実行するときにビデオフレームを生成し、
サーバスキャンラインごとにエンコーダに前記ビデオフレームをスキャンインし、
前記エンコーダにおいて１つ以上の符号化済みスライスとして１つ以上のエンコーダスライスを符号化し、各々の符号化済みスライスは、エンコーダフィルレートでバッファに配信されるものであり、
ネットワークを通じてバッファドレイン速度でクライアントに第１の符号化済みスライスをストリーミングするよう、前記バッファから前記第１の符号化済みスライスをドレインし、前記第１の符号化済みスライスは、前記ビデオフレームの前記１つ以上のスライスを完全に符号化する前に前記ネットワークを通じてストリーミングされるものである、方法。
続きを表示（約 1,700 文字）【請求項２】
前記サーバは、前記ビデオフレーム全体が符号化される前に、前記ビデオフレームの少なくとも１つの符号化済みスライスをドレインする、請求項１に記載の方法。
【請求項３】
さらに、符号化済みスライスが１つ以上のネットワーク通信パケットにパケット化され、
前記エンコーダにおいて前記１つ以上のネットワーク通信パケットの各々を最大伝送ユニット（ＭＴＵ）以下にサイジングし、
前記ネットワークを通じて前記ドレイン速度で前記クライアントに前記１つ以上のネットワーク通信パケットをストリーミングする、請求項１に記載の方法。
【請求項４】
各々の符号化済みスライスが単一の対応するネットワーク通信パケットにパケット化されるように、前記１つ以上の符号化済みスライスの各々を前記ＭＴＵまたはそれよりも小さくサイジングする、請求項３に記載の方法。
【請求項５】
さらに、前記クライアントの最大受信帯域幅を測定し、
前記１つ以上の符号化済みスライスの伝送が前記クライアントの前記測定された最大受信帯域幅に基づいて間隔を空けられるように、前記ドレイン速度がおおよそ前記最大受信帯域幅に等しくなるよう動的に調節し、
前記バッファドレイン速度は、前記エンコーダフィルレートから分断される、請求項１に記載の方法。
【請求項６】
前記１つ以上の符号化済みスライスを訂正するために使用される１つ以上の前方誤り訂正（ＦＥＣ）スライスを生成し、
ストリーミングするときに前記１つ以上の符号化済みスライス内で前記１つ以上のＦＥＣスライスをインタリーブし、
前記１つ以上のＦＥＣスライス及び前記１つ以上の符号化済みスライスの各々は、最大伝送ユニット（ＭＴＵ）以下のサイズの対応するパケットにパケット化される、
請求項１に記載の方法。
【請求項７】
さらに、前記クライアントとのセッションの間、ストリーミングモードにおいて前記サーバによるビデオゲームの処理に応答して、前記サーバにおいて複数のビデオフレームを生成し、
前記エンコーダにおいて複数の圧縮済みビデオフレームに前記複数のビデオフレームを符号化し、各々の圧縮済みビデオフレームは、１つ以上の符号化済みスライスを含むものであり、
ネットワークを通じて前記クライアントに前記複数の圧縮済みビデオフレームを送信する、請求項１に記載の方法。
【請求項８】
前記クライアントは、前記クライアントと関連付けられたディスプレイにレンダリングするために前記複数の圧縮済みビデオフレームを受信及び圧縮解除するように構成される、請求項７に記載の方法。
【請求項９】
クラウドゲーミングのための方法を実行するコンピュータプログラムを記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体は、
サーバにおいてビデオゲームを実行するときにビデオフレームを生成するためのプログラム命令を有し、
サーバスキャンラインごとにエンコーダに前記ビデオフレームをスキャンインするためのプログラム命令を有し、
前記エンコーダにおいて１つ以上の符号化済みスライスとして１つ以上のエンコーダスライスを符号化するためのプログラム命令を有し、各々の符号化済みスライスは、エンコーダフィルレートでバッファに配信されるものであり、
ネットワークを通じてバッファドレイン速度でクライアントに第１の符号化済みスライスをストリーミングするよう、前記バッファから前記第１の符号化済みスライスをドレインするためのプログラム命令を有し、前記第１の符号化済みスライスは、前記ビデオフレームの前記１つ以上のスライスを完全に符号化する前に前記ネットワークを通じてストリーミングされるものである、非一時的コンピュータ可読媒体。
【請求項１０】
前記サーバは、前記ビデオフレーム全体が符号化される前に、前記ビデオフレームの少なくとも１つの符号化済みスライスをドレインする、請求項９に記載の非一時的コンピュータ可読媒体。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、ネットワークにわたってコンテンツをストリーミングするように構成されたストリーミングシステムに関連し、より具体的に、クラウドゲーミングサーバとクライアントとの間の待ち時間を低減させるために、クラウドゲーミングサーバ及び／またはクライアントにおいて動作を重ね合わせることに関連する。
続きを表示（約 4,300 文字）【背景技術】
【０００２】
近年、ネットワークを通じて接続されたクラウドゲーミングサーバとクライアントとの間でストリーミングフォーマットでのオンラインゲーミングまたはクラウドゲーミングを可能にするオンラインサービスに対する継続した追及が存在してきた。オンデマンドでのゲームタイトルの可用性、マルチプレイヤゲーミングのためのプレイヤの間のネットワークに対する能力、プレイヤの間のアセットの共有、プレイヤ及び／または観客の間の即時的な経験の共有、フレンドがビデオゲームをプレイするフレンドを鑑賞し、フレンドをフレンドの進行しているゲームプレイに参加させることが可能となったことなどにより、ストリーミングフォーマットが次第により一般的になっている。
残念なことに、ネットワーク接続の能力、並びにクライアントに配信されるような高品質画像をレンダリングするのに十分に応答する、サーバ及びクライアントにおいて実行される処理の能力の制限に対する需要も増加している。例えば、サーバ上で実行される全てのゲーミング活動の結果は、最良のユーザ経験のために低いミリ秒の待ち時間において圧縮され、クライアントに伝送し戻される必要がある。ユーザのコントローラ入力とクライアントにおけるビデオフレームの表示との間の全体時間としてラウンドトリップ待ち時間が定義されることがあり、それは、制御情報の処理及びコントローラからクライアントへの制御情報の伝送、制御情報の処理及びクライアントからサーバへの制御情報の伝送、入力に応答してビデオフレームを生成するためのサーバにおけるその入力の使用、ビデオフレームの処理及び符号化ユニットへのビデオフレームの転送（例えば、スキャンアウト）、ビデオフレームの符号化、クライアントへの符号化済みビデオフレームの戻り伝送、ビデオフレームの受信及び復号、並びにその表示の前のビデオフレームのいずれかの処理またはステージングを含むことがある。
サーバにおける符号化ユニットへのビデオフレームの転送（例えば、スキャンアウト）の開始から、クライアントにおけるビデオフレームの表示の開始までの時間から構成されるラウンドトリップ待ち時間の一部であるとして一方向待ち時間が定義されることがある。ラウンドトリップ待ち時間及び一方向待ち時間の一部は、通信ネットワークを通じてデータストリームがクライアントからサーバに及びサーバからクライアントに送信されるのに要する時間と関連付けられる。別の部分は、クライアント及びサーバにおける処理と関連付けられ、フレーム復号及び表示に関連するアドバンスドストラテジなど、それらの動作における改善は、サーバとクライアントとの間のラウンドトリップ待ち時間及び一方向待ち時間を実質的に低減させることを結果としてもたらすことがあり、クラウドゲーミングサービスのユーザにより高い品質経験をもたらすことがある。
【０００３】
本開示の実施形態は、このような背景の下になされたものである。
【発明の概要】
【０００４】
本開示の実施形態は、ネットワークにわたってコンテンツ（例えば、ゲーミング）をストリーミングするように構成されたストリーミングシステムに関連し、より具体的に、サーバにおいて符号化動作及び送信動作を重ね合わせること、クライアントにおいて受信動作及び復号動作を重ね合わせること、並びにクライアントにおいて受信動作、復号動作、及びレンダリング動作を表示動作に重ね合わせることに関連する。
【０００５】
本開示の実施形態は、クラウドゲーミングのための方法を開示する。方法は、クライアントにおいてビデオフレームの１つ以上の符号化済みスライスを受信することを含み、ビデオフレームは、ビデオゲームを実行する間にサーバにおいて生成されており、サーバにおけるエンコーダによって１つ以上の符号化済みスライスに符号化されている。方法は、ビデオフレームの１つ以上の符号化済みスライスを完全に受信する前に、クライアントのデコーダにおいて第１の符号化済みスライスを復号することを含む。サーバにおいて、クライアントとのセッションの間、ストリーミングモードにおいてサーバによるビデオゲームの処理に応答して、複数のビデオフレームが生成される。複数のビデオフレームは、エンコーダにおいて複数の圧縮済みビデオフレームに符号化され、各々の対応する圧縮済みビデオフレームは、１つ以上の対応する符号化済みスライスを含む。複数の圧縮済みビデオフレームは、ネットワークを通じてクライアントに伝送される。
【０００６】
別の実施形態では、クラウドゲーミングのための方法が開示される。方法は、サーバにおいてビデオゲームを実行するときにビデオフレームを生成することを含む。方法は、サーバスキャンラインごとにエンコーダにビデオフレームをスキャンインすることを含む。方法は、エンコーダにおいて１つ以上の符号化済みスライスとして１つ以上のスキャンラインを符号化することを含み、各々の符号化済みスライスは、エンコーダフィルレートでバッファに配信される。方法は、ネットワークを通じてバッファドレイン速度においてクライアントに第１の符号化済みスライスをストリーミングするよう、バッファから第１の符号化済みスライスをドレインすることを含み、第１の符号化済みスライスは、ビデオフレームの１つ以上のスライスを完全に符号化する前にネットワークを通じてストリーミングされる。
【０００７】
別の実施形態では、クラウドゲーミングのためのコンピュータプログラムを記憶した非一時的コンピュータ可読媒体が開示される。コンピュータ可読媒体は、クライアントにおいてビデオフレームの１つ以上の符号化済みスライスを受信するためのプログラム命令を含み、ビデオフレームは、ビデオゲームを実行する間にサーバにおいて生成されており、サーバにおけるエンコーダによって１つ以上の符号化済みスライスに符号化されている。
コンピュータ可読媒体は、ビデオフレームの１つ以上の符号化済みスライスを完全に受信する前に、クライアントのデコーダにおいて第１の符号化済みスライスを復号するためのプログラム命令を含む。サーバにおいて、クライアントとのセッションの間、ストリーミングモードにおいてサーバによるビデオゲームの処理に応答して、複数のビデオフレームが生成される。複数のビデオフレームは、エンコーダにおいて複数の圧縮済みビデオフレームに符号化され、各々の対応する圧縮済みビデオフレームは、１つ以上の対応する符号化済みスライスを含む。複数の圧縮済みビデオフレームは、ネットワークを通じてクライアントに伝送される。
【０００８】
別の実施形態では、クラウドゲーミングのためのコンピュータプログラムを記憶した非一時的コンピュータ可読媒体が開示される。コンピュータ可読媒体は、サーバにおいてビデオゲームを実行するときにビデオフレームを生成するためのプログラム命令を含む。コンピュータ可読媒体は、サーバスキャンラインごとにエンコーダにビデオフレームをスキャンインするためのプログラム命令を含む。コンピュータ可読媒体は、エンコーダにおいて１つ以上の符号化済みスライスとして１つ以上のエンコーダスライスを符号化するためのプログラム命令を含み、各々の符号化済みスライスは、エンコーダフィルレートにおいてバッファに配信される。コンピュータ可読媒体は、ネットワークを通じてバッファドレイン速度においてクライアントに第１の符号化済みスライスをストリーミングするよう、バッファから第１の符号化済みスライスをドレインするためのプログラム命令を含み、第１の符号化済みスライスは、ビデオフレームの１つ以上のスライスを完全に符号化する前にネットワークを通じてストリーミングされる。
【０００９】
更なる別の実施形態では、コンピュータシステムは、プロセッサと、プロセッサに結合され、そこに記憶された命令を有するメモリと、を含み、命令は、コンピュータシステムによって実行される場合、コンピュータシステムに、クラウドゲーミングのための方法を実行させる。方法は、クライアントにおいてビデオフレームの１つ以上の符号化済みスライスを受信することを含み、フレームは、ビデオゲームを実行する間にサーバにおいて生成されており、サーバにおけるエンコーダによって１つ以上の符号化済みスライスに符号化されている。方法は、ビデオフレームの１つ以上の符号化済みスライスを完全に受信する前に、クライアントのデコーダにおいて第１の符号化済みスライスを復号することを含む。サーバにおいて、クライアントとのセッションの間、ストリーミングモードにおいてサーバによるビデオゲームの処理に応答して、複数のビデオフレームが生成される。複数のビデオフレームは、エンコーダにおいて複数の圧縮済みビデオフレームに符号化され、各々の対応する圧縮済みビデオフレームは、１つ以上の対応する符号化済みスライスを含む。複数の圧縮済みビデオフレームは、ネットワークを通じてクライアントに伝送される。
【００１０】
更なる別の実施形態では、コンピュータシステムは、プロセッサと、プロセッサに結合され、そこに記憶された命令を有するメモリと、を含み、命令は、コンピュータシステムによって実行される場合、コンピュータシステムに、クラウドゲーミングのための方法を実行させる。方法は、サーバにおいてビデオゲームを実行するときにビデオフレームを生成することを含む。方法は、サーバスキャンラインごとにエンコーダにビデオフレームをスキャンインすることを含む。方法は、エンコーダにおいて１つ以上の符号化済みスライスとして１つ以上のエンコーダスライスを符号化することを含み、各々の符号化済みスライスは、エンコーダフィルレートでバッファに配信される。方法は、ネットワークを通じてバッファドレイン速度においてクライアントに第１の符号化済みスライスをストリーミングするよう、バッファから第１の符号化済みスライスをドレインすることを含み、第１の符号化済みスライスは、ビデオフレームの１つ以上のスライスを完全に符号化する前にネットワークを通じてストリーミングされる。
（【００１１】以降は省略されています）

関連特許