特許ウォッチ

公開番号2025132531
公報種別公開特許公報(A)
公開日2025-09-10
出願番号2024030164
出願日2024-02-29
発明の名称文字列分割装置、文字列分割システム、語彙群生成方法、およびプログラム
出願人株式会社リコー
代理人個人,個人
主分類G06F 16/35 20250101AFI20250903BHJP(計算;計数)
要約【課題】既存の語彙群に基づいて新たな語彙群を効率的に生成できるようにすること。
【解決手段】文字列分割装置は、識別子が対応付けられた複数の語彙を有する語彙群と、文字列を取得する取得部と、語彙群に基づいて、取得部によって取得された文字列を複数の語彙に分割する文字列分割手段と、文字列分割手段によって得られた複数の語彙を出力する出力部と、既存の語彙群に基づいて、新たな語彙群を生成する生成部とを備え、複数の語彙の各々は、埋め込みベクトルが対応付けられており、生成部は、新たな語彙群に含まれる複数の語彙のうち、既存の語彙群との共通部分に含まれている語彙については、既存の語彙群に含まれている当該語彙に対応付けられている埋め込みベクトルを、変更することなく新たな語彙群の当該語彙に対応付ける。
【選択図】図6
特許請求の範囲【請求項１】
識別子が対応付けられた複数の語彙を有する語彙群と、
文字列を取得する取得部と、
前記語彙群に基づいて、前記取得部によって取得された前記文字列を複数の語彙に分割する文字列分割手段と、
前記文字列分割手段によって得られた前記複数の語彙を出力する出力部と、
既存の前記語彙群に基づいて、新たな前記語彙群を生成する生成部と
を備え、
前記複数の語彙の各々は、埋め込みベクトルが対応付けられており、
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれている語彙については、前記既存の語彙群に含まれている当該語彙に対応付けられている前記埋め込みベクトルを、変更することなく前記新たな語彙群の当該語彙に対応付ける
ことを特徴とする文字列分割装置。
続きを表示（約 1,900 文字）【請求項２】
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれている語彙については、識別子を変更することなく、前記新たな語彙群に複製し、前記既存の語彙群との共通部分に含まれていない語彙については、任意の識別子を割り当てて、前記新たな語彙群に追加する
ことを特徴とする請求項１に記載の文字列分割装置。
【請求項３】
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれていない語彙については、前記既存の語彙群に含まれている語彙のうち、前記新たな語彙群に含まれない語彙の識別子を割り当てて、前記新たな語彙群に追加する
ことを特徴とする請求項１に記載の文字列分割装置。
【請求項４】
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれていない語彙については、当該語彙を前記既存の語彙群に基づいて複数の語彙に分割し、前記既存の語彙群に含まれている当該複数の語彙に対応付けられている複数の前記埋め込みベクトルの平均値を、前記新たな語彙群の当該語彙に対応付ける
ことを特徴とする請求項１に記載の文字列分割装置。
【請求項５】
前記既存の語彙群および前記新たな語彙群は、言語単位で生成されている
ことを特徴とする請求項１から４のいずれか一項に記載の文字列分割装置。
【請求項６】
前記既存の語彙群および前記新たな語彙群は、用語単位で生成されている
ことを特徴とする請求項１から４のいずれか一項に記載の文字列分割装置。
【請求項７】
前記文字列分割手段によって得られた前記複数の語彙の識別子を機械学習モデルへ出力することにより、前記機械学習モデルによる前記複数の語彙の識別子に対する処理結果を取得する
ことを特徴とする請求項１から４のいずれか一項に記載の文字列分割装置。
【請求項８】
識別子が対応付けられた複数の語彙を有する語彙群と、
文字列を取得する取得部と、
前記語彙群に基づいて、前記取得部によって取得された前記文字列を複数の語彙に分割する文字列分割手段と、
前記文字列分割手段によって得られた前記複数の語彙を出力する出力部と、
既存の前記語彙群に基づいて、新たな前記語彙群を生成する生成部と
を備え、
前記複数の語彙の各々は、埋め込みベクトルが対応付けられており、
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれている語彙については、前記既存の語彙群に含まれている当該語彙に対応付けられている前記埋め込みベクトルを、変更することなく前記新たな語彙群の当該語彙に対応付ける
ことを特徴とする文字列分割システム。
【請求項９】
複数の語彙の各々に識別子が対応付けられて構成され、文字列分割手段によって文字列を複数の語彙に分割する際に使用される語彙群を生成する語彙群生成方法であって、
既存の前記語彙群に基づいて、新たな前記語彙群を生成する語彙群生成工程を含み、
前記複数の語彙の各々は、埋め込みベクトルが対応付けられており、
前記語彙群生成工程では、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれている語彙については、前記既存の語彙群に含まれている当該語彙に対応付けられている前記埋め込みベクトルを、変更することなく前記新たな語彙群の当該語彙に対応付ける
ことを特徴とする語彙群生成方法。
【請求項１０】
複数の語彙の各々に識別子が対応付けられて構成され、文字列分割手段によって文字列を複数の語彙に分割する際に使用される語彙群を生成するプログラムであって、
コンピュータを、
既存の前記語彙群に基づいて、新たな前記語彙群を生成する生成部として機能させ、
前記複数の語彙の各々は、埋め込みベクトルが対応付けられており、
前記生成部は、
前記新たな語彙群に含まれる複数の語彙のうち、前記既存の語彙群との共通部分に含まれている語彙については、前記既存の語彙群に含まれている当該語彙に対応付けられている前記埋め込みベクトルを、変更することなく前記新たな語彙群の当該語彙に対応付ける
ことを特徴とするプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、文字列分割装置、文字列分割システム、語彙群生成方法、およびプログラムに関する。
続きを表示（約 1,700 文字）【背景技術】
【０００２】
下記非特許文献１には、日本語に対応していないモデルを日本語に対応させる目的で、トークナイザーが有する既存のモデルに対し、日本語語彙を追加する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１の技術は、既存のモデルに日本語語彙を追加するために、新たなモデルの語彙数が既存のモデルの語彙数＋日本語語彙の語彙数となるため、ＬＬＭ（Large Language Models）の識別子の数が増えることでメモリコストが増加するといった問題が生じる。また、他の方法として、日本語語彙の新たなモデルを作り直す方法が考えられるが、この場合、新たなモデルを効率的に生成することができない。
【０００４】
本発明は、上述した従来技術の課題を解決するため、既存の語彙群に基づいて新たな語彙群を効率的に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、一実施形態に係る文字列分割装置は、識別子が対応付けられた複数の語彙を有する語彙群と、文字列を取得する取得部と、語彙群に基づいて、取得部によって取得された文字列を複数の語彙に分割する文字列分割手段と、文字列分割手段によって得られた複数の語彙を出力する出力部と、既存の語彙群に基づいて、新たな語彙群を生成する生成部とを備え、複数の語彙の各々は、埋め込みベクトルが対応付けられており、生成部は、新たな語彙群に含まれる複数の語彙のうち、既存の語彙群との共通部分に含まれている語彙については、既存の語彙群に含まれている当該語彙に対応付けられている埋め込みベクトルを、変更することなく新たな語彙群の当該語彙に対応付ける。
【発明の効果】
【０００６】
一実施形態に係る文字列分割装置によれば、既存の語彙群に基づいて新たな語彙群を効率的に生成できる。
【図面の簡単な説明】
【０００７】
一実施形態に係る文字列分割システムのシステム構成の一例を示す図
一実施形態に係るサーバおよびのハードウェア構成図
一実施形態に係るサーバの機能ブロック図
一実施形態に係るサーバの機能ブロック図
一実施形態に係るサーバが備えるトークナイザーによる文字列分割処理の概念図
一実施形態に係るサーバが備える生成部による生成処理の概念図
一実施形態に係るサーバが備える生成部による生成処理の一例を示す図
一実施形態に係るサーバが備える生成部による生成処理の手順の一例を示すフローチャート
一実施形態に係るサーバが備える語彙群の一例（第１例）を示す図
一実施形態に係るサーバが備える語彙群の一例（第２例）を示す図
一実施形態に係るサーバが備える生成部によるベクトル設定処理の手順の一例を示すフローチャート
一実施形態に係るサーバが備える生成部によるベクトル設定処理の一例を示す図
一実施形態に係るサーバが備えるトークナイザーと機械学習モデルとの連携の構成の一例（第１例）を示す図
一実施形態に係るサーバが備えるトークナイザーと機械学習モデルとの連携の構成の一例（第２例）を示す図
【発明を実施するための形態】
【０００８】
以下、図面を参照して、本発明の一実施形態について説明する。
【０００９】
（文字列分割システム１０のシステム構成の一例）
図１は、一実施形態に係る文字列分割システム１０のシステム構成の一例を示す図である。
【００１０】
図１に示す文字列分割システム１０は、サーバ１２およびＰＣ１４を備える。サーバ１２およびＰＣ１４は、通信ネットワーク１６を介して、互いに通信可能に接続されている。通信ネットワーク１６としては、例えば、ＬＡＮ、インターネット等が用いられる。
（【００１１】以降は省略されています）

関連特許