NotebookLMの回答精度がどれくらいのものなのか検証してみた
takashiはじめに
NotebookLMでは、アップロードした資料を元にLLMが回答を作ってくれますが、精度はどれくらいのものなのでしょうか。通常のRAGですと、複雑な表をうまく読み取れないため、JSONやMarkdown形式に一回変換して読み込ませるといった前処理を行います。本記事では、通常のRAGでは読み取ることが難しい表をどれくらい読み取れるのかご紹介します。
データ
本検証では、複雑な表を含む約款資料や料金プラン表を対象とします。
・ａｕ（ＬＴＥ）通信サービス契約約款
・通信キャリア別料金プラン
方法
NotebooLMに約款資料と料金プラン画像をアップロードし、プロンプトを投げて精度検証しました
結果
①プロンプト：第56条第2項の基本使用料等の支払いが免除されるケースを約款資料に記載されているまま回答してください。省略したり、まとめないでください。
ａｕ（ＬＴＥ）通信サービス契約約款の第56条第2項、およびそれに関連する号・表・注の全てを、ソースの記載通りに回答します。
２ 前項の期間において、利用の一時中断等によりａｕ（ＬＴＥ）通信サービスを利用することができない状態が生じたときの基本使用料等の支払いは、次によります。
(１) 利用の一時中断をしたときは、契約者は、その期間中の基本使用料等の支払いを要します。
(２) 利用停止があったときは、契約者は、その期間中の基本使用料等の支払いを要します。 ただし、当社が利用停止の期間を延長する取扱いを行った場合であって、当社が必要と認めるときは、この延長に係る期間に対応する基本使用料等に係る支払債務は発生しません。
(３) 前２号の規定によるほか、契約者は、次の場合を除き、ａｕ（ＬＴＥ）通信サービスを利用できなかった期間中の基本使用料等の支払いを要します。
| 区別 | | 支払いを要しない料金 | | :--- | :--- | :--- | | １ | 契約者の責めによらない理由によりそのａｕ（ＬＴＥ）通信サービスを全く利用することができない状態（その契約に係る電気通信設備による全ての通信に著しい支障が生じ、全く利用できない状態と同程度の状態となる場合を含みます｡)が生じた場合に、そのことを当社が認知した時刻から起算して、24 時間以上その状態が連続したとき。 | そのことを当社が認知した時刻以後の利用できなかった時間（24 時間の倍数である部分に限ります｡)について、24 時間ごとに日数を計算し、その日数に対応するそのａｕ（ＬＴＥ）通信サービスに係る基本使用料等 | | ２ | ａｕ（ＬＴＥ）通信サービスの利用の一時休止をしたとき。 | | | | (１) (２)又は(３)以外の場合。 | ａｕ（ＬＴＥ）通信サービスの利用の一時休止をした日から起算し、再び利用できる状態とした日の前日までの日数に対応するそのａｕ（ＬＴＥ）通信サービスに係る基本使用料等 | | | (２) ＬＴＥサービスの利用の一時休止をした場合（前項第２号のイ又は第３号に定める基本使用料の料金種別を受けている場合に限ります。前項第２号のウ又は第３号のウに定めるオプション機能については、その一時休止日に廃止があった場合に限ります。以下この第２項において同じとします｡)であって、(３)以外のとき。 | ａｕ（ＬＴＥ）通信サービスの利用の一時休止をした日を含む料金月の翌料金月の初日から起算し、再び利用できる状態とした日の前日までの日数に対応するそのａｕ（ＬＴＥ）通信サービスに係る基本使用料等 | | | (３) ＬＴＥサービスの利用の一時休止をした場合であって、その一時休止日を含む料金月において再利用を行ったとき。 | － | | ３ | その料金月の全ての日において、ＬＴＥサービスの利用の一時停止をしているとき。 | その料金月におけるそのａｕ（ＬＴＥ）通信サービスに係る基本使用料等 |
(注１) オプション機能の廃止があった日とは、その廃止の申込みの態様に応じて当社が定める日をいいます。 (注２) 基本使用料の日割については、料金表通則に定めるところによります。 (注３) 本条第２項第２号のただし書きにより基本使用料等に係る支払債務が発生しないときは、料金表第１表第３（データ通信料）に規定する料金であって定額料として定めるもの、電話ユニバーサルサービス料、ブロードバンドユニバーサルサービス料及び電話リレーサービス料に係る支払債務についても発生しません。 (注４) 本条第２項第２号のただし書きにより基本使用料等に係る支払債務が発生しないときは、そのＬＴＥ契約者が契約を締結している当社所定のサービスの料金に係る支払債務についても、そのサービスに係る規約等の規定に関わらず発生しません。
約款の内容を正確に回答できています！第56条の2はセル結合を含む複雑な表でしたが、NotebookLMでは正確に読み取れていました。表の構造を保持したまま、うまくLLMに情報を伝えられていることが伺えます。JSONやMarkdown形式で一から作ると手間なので、手っ取り早く試したいならばNotebookLMを使った方がいいですね！
②プロンプト：ヤマダ電機の格安スマホで音声通話付きの月額料金を教えて
ヤマダ電機の格安スマホサービスである**「ヤマダニューモバイル」**の音声通話付き月額料金について、ソースの比較表に基づきご案内します。
月額料金は、選択する**「データ通信プランの金額（A）」に「音声通話付きの場合の追加料金（B）」**を合算した金額となります。
音声通話付き月額料金の内訳
音声通話を追加する場合、各データ通信プランの料金にプラス700円〜725円がかかります。具体的な合計金額（目安）は以下の通りです。
データ容量 データ通信料 (A) 音声オプション (B) 月額合計（税込） 容量無制限 (200kbps) 525円 +700〜725円 1,225円 〜 1,250円 3.3GB 900円 +700〜725円 1,600円 〜 1,625円 5.3GB 1,450円 +700〜725円 2,150円 〜 2,175円 10.3GB 2,260円 +700〜725円 2,960円 〜 2,985円 20.3GB 4,050円 +700〜725円 4,750円 〜 4,775円 サービスの特徴と注意点
- 回線種別: ドコモ回線を使用しています。
- 通話料: 上記の月額基本料金とは別に、従量制の通話料が発生します。
- 最低利用期間: 1年の最低利用期間が設定されています。
- 特典: ヤマダ電機のポイントが貯まるほか、余ったデータ容量の繰り越しや、通信量をシェアできるプランも用意されています。
※料金プランの詳細は2024年4月3日時点の情報に基づいています。最新の正確な料金や事務手数料等については、公式WEBサイト等で別途ご確認いただくことをお勧めします。
2024年と情報を混ぜ込んでいたり、従量制と勝手に思い込んでいたりとハルシネーションがわずかにありましたが、料金プランのような複雑な表も読み取れています。画像の読み取りの精度が高いことに加え、表に記載されている通信料を元に月額合計を正しく計算できていることもすごいです！
おわりに
今回は約款資料と料金プラン表を使って、NotebookLMが読み取れているのか検証しました。どちらも複雑な表でしたが、NotebookLMでは、ほとんど読み取れており、資料検索には十分使えるレベルと言って過言ではないでしょう！今後、自前の資料を検索してみたいと思ったらまずはNotebookLMで試してみるのが良さそうですね！
