特許ウォッチ

公開番号2025131251
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2024028871
出願日2024-02-28
発明の名称ログ抽出方法及びログ抽出システム
出願人株式会社日立製作所
代理人弁理士法人サンネクスト国際特許事務所
主分類G06F 11/34 20060101AFI20250902BHJP(計算;計数)
要約【課題】多種多様なログの識別子の対応付けをより適切に行う。
【解決手段】ログ抽出方法では、同種のリクエストに係るログを把握し、このログに含まれる識別子を識別する識別子キーと、ログにおいて識別子が取る値を表す識別子バリューと、の対応関係を管理する同種リクエスト関連識別子リストを生成する。またログ抽出方法では、同種リクエスト関連識別子リストにおいて、異種のリクエストに対応付けられている同一の識別子の識別子バリューに基づいて、異種の前記リクエスト間における該識別子バリューの相関度を算出する。そしてログ抽出方法では、識別子キーをノード、識別子キーと識別子との関係をリンク、相関度をリンクメトリックスとして、識別子キーをリンクメトリックスに基づいてグループ化した関連識別子グラフを生成する。
【選択図】図3
特許請求の範囲【請求項１】
複数のサブシステムを含んで構成される情報処理システムから出力されるログを抽出するログ抽出システムが実行するログ抽出方法であって、
前記ログ抽出システムは、プロセッサと、記憶部と、を有し、
前記記憶部は、
前記情報処理システムに対するリクエストに応じて該情報処理システムにおいて発生するイベントに係るイベントログを格納するイベントログ格納部と、
前記イベントに応じて前記複数のサブシステムから出力される前記ログを格納するログ格納部と、
前記リクエストの種類を識別可能な情報と、前記サブシステムを識別可能な情報と、の対応関係を管理するシステム構成情報を格納するシステム構成情報記憶部と、を含み、
前記プロセッサが、
前記システム構成情報と、前記イベントログと、に基づいて、同種の前記リクエストに係る前記ログを把握し、
同種の前記リクエストに係る前記ログに基づいて、該ログに含まれる前記情報処理システムで用いられる識別子を識別する識別子キーと、該ログにおいて該識別子が取る値を表す識別子バリューと、の対応関係を管理する同種リクエスト関連識別子リストを生成し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同一の前記識別子の前記識別子バリューに基づいて、異種の前記リクエスト間における該識別子バリューの相関度を算出し、
前記識別子キーをノード、前記識別子キーと前記識別子との関係をリンク、前記相関度をリンクメトリックスとして、前記識別子キーを該リンクメトリックスに基づいてグループ化した関連識別子グラフを生成する
各処理を有することを特徴とするログ抽出方法。
続きを表示（約 3,100 文字）【請求項２】
請求項１に記載のログ抽出方法であって、
前記プロセッサが、
前記イベントログから、前記リクエストが前記情報処理システムによって受付けられた受付時刻と、該リクエストが該情報処理システムによる処理が終了した終了時刻と、から該リクエスト毎の処理時間を把握し、
前記システム構成情報と、前記ログのタイムスタンプが前記処理時間に該当することと、に基づいて、同種の前記リクエストに係る前記ログを把握し、
同種の前記リクエストに係る前記ログから前記識別子及び変数部分を除外し、該ログから該識別子及び該変数部分を除外した残りの部分のハッシュ値を計算し、
前記ハッシュ値を前記識別子キーとし、該識別子キーと前記識別子バリューとの対応関係を把握し、
同種の前記リクエストと、前記識別子キーと、前記識別子バリューと、の対応関係を管理する前記同種リクエスト関連識別子リストを生成し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同じ前記識別子のそれぞれが取る前記識別子バリューの値の数を乗算した第１総数を算出し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同じ前記識別子に対する全ての前記識別子バリューの組合せのパターンの総数である第２総数を把握し、
前記第２総数を前記第１総数で除算することで前記相関度を算出する
各処理を有することを特徴とするログ抽出方法。
【請求項３】
請求項１に記載のログ抽出方法であって、
前記プロセッサが、
前記関連識別子グラフを参照し、前記ログ格納部から取得した前記情報処理システムにおいてエラーが発生したことを示す前記ログにおける前記識別子バリューに関連する前記識別子を特定して特定識別子とし、
前記同種リクエスト関連識別子リストを参照し、前記特定識別子と同種の前記リクエストに基づく前記識別子と、該識別子に対応する前記識別子キー及び前記識別子バリューと、の組合せを特定し、
特定した前記識別子キーと前記識別子バリューとの組合せに含まれる該識別子キー毎に前記ログをグループ化する
各処理を有することを特徴とするログ抽出方法。
【請求項４】
請求項３に記載のログ抽出方法であって、
前記プロセッサが、
前記識別子キー毎のキューに、該識別子キー毎にグループ化した前記ログを格納する
ことを特徴とするログ抽出方法。
【請求項５】
請求項４に記載のログ抽出方法であって、
前記プロセッサが、
前記識別子キー毎の前記キューを、前記特定識別子を新たに特定する毎に生成する
処理を有することを特徴とするログ抽出方法。
【請求項６】
請求項５に記載のログ抽出方法であって、
前記プロセッサが、
前記識別子キー毎の前記キューから前記ログが全て取出されると、該キューを削除する
処理を有することを特徴とするログ抽出方法。
【請求項７】
請求項５に記載のログ抽出方法であって、
前記プロセッサが、
前記識別子キー毎の前記キューの生存期間が経過すると、該キューを削除する
処理を有することを特徴とするログ抽出方法。
【請求項８】
複数のサブシステムを含んで構成される情報処理システムから出力されるログを抽出するログ抽出システムであって、
前記ログ抽出システムは、プロセッサと、記憶部と、を有し、
前記記憶部は、
前記情報処理システムに対するリクエストに応じて該情報処理システムにおいて発生するイベントに係るイベントログを格納するイベントログ格納部と、
前記イベントに応じて前記複数のサブシステムから出力される前記ログを格納するログ格納部と、
前記リクエストの種類を識別可能な情報と、前記サブシステムを識別可能な情報と、の対応関係を管理するシステム構成情報を格納するシステム構成情報記憶部と、を含み、
前記プロセッサは、
前記システム構成情報と、前記イベントログと、に基づいて、同種の前記リクエストに係る前記ログを把握し、
同種の前記リクエストに係る前記ログに基づいて、該ログに含まれる前記情報処理システムで用いられる識別子を識別する識別子キーと、該ログにおいて該識別子が取る値を表す識別子バリューと、の対応関係を管理する同種リクエスト関連識別子リストを生成し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同一の前記識別子の前記識別子バリューに基づいて、異種の前記リクエスト間における該識別子バリューの相関度を算出し、
前記識別子キーをノード、前記識別子キーと前記識別子との関係をリンク、前記相関度をリンクメトリックスとして、前記識別子キーを該リンクメトリックスに基づいてグループ化した関連識別子グラフを生成する
ことを特徴とするログ抽出システム。
【請求項９】
請求項８に記載のログ抽出システムであって、
前記プロセッサは、
前記イベントログから、前記リクエストが前記情報処理システムによって受付けられた受付時刻と、該リクエストが該情報処理システムによる処理が終了した終了時刻と、から該リクエスト毎の処理時間を把握し、
前記システム構成情報と、前記ログのタイムスタンプが前記処理時間に該当することと、に基づいて、同種の前記リクエストに係る前記ログを把握し、
同種の前記リクエストに係る前記ログから前記識別子及び変数部分を除外し、該ログから該識別子及び該変数部分を除外した残りの部分のハッシュ値を計算し、
前記ハッシュ値を前記識別子キーとし、該識別子キーと前記識別子バリューとの対応関係を把握し、
同種の前記リクエストと、前記識別子キーと、前記識別子バリューと、の対応関係を管理する前記同種リクエスト関連識別子リストを生成し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同じ前記識別子のそれぞれが取る前記識別子バリューの値の数を乗算した第１総数を算出し、
前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同じ前記識別子に対する全ての前記識別子バリューの組合せのパターンの総数である第２総数を把握し、
前記第２総数を前記第１総数で除算することで前記相関度を算出する
ことを特徴とするログ抽出システム。
【請求項１０】
請求項８に記載のログ抽出システムであって、
前記プロセッサは、
前記関連識別子グラフを参照し、前記ログ格納部から取得した前記情報処理システムにおいてエラーが発生したことを示す前記ログにおける前記識別子バリューに関連する前記識別子を特定して特定識別子とし、
前記同種リクエスト関連識別子リストを参照し、前記特定識別子と同種の前記リクエストに基づく前記識別子と、該識別子に対応する前記識別子キー及び前記識別子バリューと、の組合せを特定し、
特定した前記識別子キーと前記識別子バリューとの組合せに含まれる該識別子キー毎に前記ログをグループ化する
ことを特徴とするログ抽出システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、ログ抽出方法及びログ抽出システムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
複数のコンテナでマイクロサービス（サブシステム）を実行する情報処理システムでは、コンテナ毎にマイクロサービスの実行に伴うログが膨大に出力される。例えば情報処理システムにおける障害原因の特定や、障害の影響を受けたユーザを特定する場合に、複数のマイクロサービスにわたる膨大なログが分析される。この際全てのログの組合せのパターンを網羅することは現実的ではない。よって対象のログを予め絞り込んでログ分析を効率的に行うために、識別子とコンテキスト属性に基づいて関連性が高いログを抽出する技術が開示されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
米国特許第１１３５４３０１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし上述の従来技術では、識別子やコンテキスト属性の名前が既知かつ固定であり、識別子やコンテキスト属性の値が一致することを前提としている。このためオープンソフトウェアや既存のアプリケーションを組合せて構築された情報処理システムのように、ログが多種多様である場合には、識別子の名前や値が異なるが、関連する識別子の対応付けが困難であるという問題があった。識別子の対応付けが適切でないと、例えば関連性が高いログの抽出ができない。
【０００５】
本発明は、上述の事情を考慮してなされたものであり、多種多様なログの識別子の対応付けをより適切に行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様では、複数のサブシステムを含んで構成される情報処理システムから出力されるログを抽出するログ抽出システムが実行するログ抽出方法であって、前記ログ抽出システムは、プロセッサと、記憶部と、を有し、前記記憶部は、前記情報処理システムに対するリクエストに応じて該情報処理システムにおいて発生するイベントに係るイベントログを格納するイベントログ格納部と、前記イベントに応じて前記複数のサブシステムから出力される前記ログを格納するログ格納部と、前記リクエストの種類を識別可能な情報と、前記サブシステムを識別可能な情報と、の対応関係を管理するシステム構成情報を格納するシステム構成情報記憶部と、を含み、前記プロセッサが、前記システム構成情報と、前記イベントログと、に基づいて、同種の前記リクエストに係る前記ログを把握し、同種の前記リクエストに係る前記ログに基づいて、該ログに含まれる前記情報処理システムで用いられる識別子を識別する識別子キーと、該ログにおいて該識別子が取る値を表す識別子バリューと、の対応関係を管理する同種リクエスト関連識別子リストを生成し、前記同種リクエスト関連識別子リストにおいて、異種の前記リクエストに対応付けられている同一の前記識別子の前記識別子バリューに基づいて、異種の前記リクエスト間における該識別子バリューの相関度を算出し、前記識別子キーをノード、前記識別子キーと前記識別子との関係をリンク、前記相関度をリンクメトリックスとして、前記識別子キーを該リンクメトリックスに基づいてグループ化した関連識別子グラフを生成する各処理を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多種多様なログの識別子の対応付けをより適切に行うことができる。
【図面の簡単な説明】
【０００８】
実施形態１に係るログ抽出システムを含む全体システムの構成を示す図。
実施形態１に係るシステム構成情報の構成を示す図。
実施形態１に係る関連識別子抽出処理を示すフローチャート。
実施形態１に係る同種リクエスト関連識別子リストの構成を示す図。
実施形態１に係る異種リクエスト間の相関度の算出方法を説明するための図。
実施形態１に係る関連識別子グラフの構成を示す図。
実施形態２に係るログ抽出システムを含む全体システムの構成を示す図。
実施形態２に係る関連識別子抽出処理を示すフローチャート。
実施形態２に係る識別子に関連する識別子キー／識別子バリューの抽出処理を説明するための図。
コンピュータのハードウェアの構成を示す図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、本発明の実施形態を詳述する。なお、以下の記載及び図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。また、実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。本発明が実施形態に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。本発明は、当業者であれば本発明の範囲内で様々な追加や変更等を行うことができる。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は複数でも単数でも構わない。
【００１０】
以下の説明では、「ＣＰＵ（Central Processing Unit）」は、一つ以上のプロセッサデバイスの一例である。少なくとも一つのプロセッサデバイスは、典型的には、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサデバイスでもよい。少なくとも一つのプロセッサデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサデバイスは、プロセッサコアでもよい。
（【００１１】以降は省略されています）

関連特許