Domino IQ： パラフレーズ機能の動作

『Domino IQ： インストールとセットアップ』の中で、パラフレーズは無効化しないと適切な返答が得られないことを紹介しました。今回は、このパラフレーズの機能と動作について検証したいと思います。

利用するのは前回作成した日英翻訳のサンプルアプリです。デバッグパラメータ DEBUG_DOMINOIQ_LLMPAYLOAD=1 を利用して送受信する JSON を確認しながら、パラフレーズ有効/無効を切り替え動作を検証します。

 パラフレーズ無効の場合

まずは DOMIQ_DISABLE_PROMPT_PARAPHRASE=1 を有効化した状態で、日英翻訳を実行します。Domino サーバのサポートフォルダには、”domiqllmthr” で始まる送受信のログが出力されます。そこから、送受信した JSON を抜き出すと次のようになっていました。

パラフレーズ有効の場合

同じテストをパラフレーズを有効化（DOMIQ_DISABLE_PROMPT_PARAPHRASE=1 を削除）して行います。すると１回のリクエストで送受信ログが２つ出力されました。

それぞれのログから JSON を取り出し整理するとパラフレーズ機能の動作が見えてきます。

まず、１回目のリクエストでは 「Paraphrase the following text:」とが付加して送信しています。これは「次の文章を言い換えてください。」という指示になりますが、英語で伝えているためか、LLM は英語に言い換えて返しています。

そして、その返答をそのまま２回目のリクエストにセットして、もう一度問い合わせています。この２回目のレスポンスが Domino IQ の返答となっています。

パラフレーズ機能の目的って？

今回 Domino IQ にさせたいことは日英翻訳だったのですが、１回目で英訳されたので、これで要件を満たしています。ですが、その結果をさらに『日本語を英語にしてください。返答は英訳した文章のみにしてください。』と指示することで、Responce は次のようになっていました。

1	Here is a paraphrased version of the text: Tonight, the temperature suddenly dropped and it's become quite chilly.
2	Tonight, the temperature plummeted and the air grew crisp.

無用な変換が繰り返されたことで、過剰な翻訳にも見えます。そもそも、２回目のリクエストでは英文を渡して英訳してくれというのもどうかと思います。リクエストを処理するのが AI なので破綻することなく何とか目的を達成していますが、仕様的には疑問符が付きますね。

今回の検証にあたって、いろいろとモヤモヤしました。

• LLM は「Paraphrase the following text:」で必ず ”英訳しろ” と理解するのか？
• そもそも、パラフレーズ機能はリクエストを英訳することだけが目的？
• 検証で使用している「elyza/Llama-3-ELYZA-JP-8B-GGUF」は日本語対応だが、それでもパラフレーズ機能は必要？
• LLM には英語で質問したほうが良い結果を得られると聞いたことがあるが、パラフレーズはそれを自動で行う機能？

英訳することを事例にしたためパラフレーズの動作とかち合って混乱しただけかもしれません。ただ、パラフレーズ機能の目的や使い時がハッキリしない限り、当面は無効化するほう無難だと思います。自分でコントロールできるので...

パラフレーズ機能は Domino サーバ の notes.ini の設定で行い、Domino IQ 全体に適用されます。リクエスト単位には指定できないので、いったん無効化して運用を始めると怖くて有効にできないですね。もし、”使える”機能だった場合に悔やまれるので、メーカの立場として”機能の狙い”ぐらいは発信してほしいものです。