Domino IQ は、Notes/Domino 14.5 で導入された新機能のひとつで、AI（大規模言語モデル = LLM）推論エンジンを、Domino サーバ環境内に組み込んで利用できるようにした機能です。
Domino IQ の AI エンジンは、Domino サーバ内でローカル実行を前提にしています（設定外部の LLM の利用も可能）。Domino サーバ内にたまった機密事項を含む社内情報を安心して活用できます。
アプリ開発の側面に配慮されているのが Notes/Domino らしいです。14.5 からは Domino IQ を操作するための NotesLLMRequest と NotesLLMResponse クラスが LotusScript に追加されました。これらを活用し AI 連携アプリが比較的簡単に開発できるうようになっています。
今回は Domino IQ の初期セットアップの方法についてまとめます。
14.5 と DominoIQ
評価環境として Domino 14.5 をごく普通にセットアップします。今回は、Domino 14.5 英語版、日本語ランゲージパック、Domino 14.5 FixPack 1 をインストールしセットアップしました。
Domino サーバを起動すると、まだセットアップを行っていない Domino IQ のメッセージが出力されます。DominoIQ が 14.5 の標準機能であることがよくわかりますね。
ここからは本題の DominoIQ のセットアップ作業となります。HCL Software の Customer Support の以下の記事を参考にしながら作業を進めます。
Domino ディレクトリプロフィールの設定
14.5 のドミノディレクトリ（names.nsf）のディレクトリプロフィールに Domino IQ に関する設定が追加されています。ドミノディレクトリを開いてアクションメニューから［ディレクトリプロフィールの編集］を選択し入力します。
設定後、サーバを再起動すると Domino IQ Configuration（dominoiq.nsf） がサーバのルートフォルダに作成されます。
サーバコンソールでは『DominoIQTask : 設定データベースでサーバー設定が見つかりませんでした...』と表示が変わりました。設定 DB があっても設定できていない状態ということですね。
Domino IQ 準備
Domino IQ Configuration の設定を行う前に LLM をローカルで動かすためのセットアップを行います。
上記 Customer Support の記事 を参考に My HCLSoftware ポータル から llama Server for Domino IQ のサーバモジュールをダウンロードします。ファイルは ZIP 圧縮されているので Domino サーバのプログラムフォルダに解凍して配置します。
続いて学習済みの LLM を準備します。
初回のセットアップですのでここも記事に従いセットアップします。『使用する言語モデルのダウンロード』の通りに「Llama-3-ELYZA-JP-8B-q4_k_m.gguf」をダウンロードして、llm_models フォルダに配置します。
LLM モデルの登録
Domino IQ Configuration DB を開き、左の［Models］ メニューを開きます。［Add Model］ボタンを押し、先ほどダウンロードした LLM を指定します。
Model Name は次に設定する Configuration 文書の選択肢になる項目のようです。LLM をダウンロードしたページのタイトルをコピーして利用すると、簡単かつわかりやすく入力できます。
File name はダウンロードしたファイル名を入力します。なぜか Description も必須入力なので、モデル名を入れておきましょう。
Model Status は ”Model available” になっている必要があります。文書を保存して開きなおすと上部に［Modfy model status］ボタンが表示され、クリックすると変更できます。
Configuration 文書の作成
LLM モデルの登録ができたら Configuration 文書を作成します。
Domino IQ Configuration DB の［Configurations］メニューを開き、新規文書を作成し、各項目を入力します。先ほど登録したモデルを選択し、Status を ”Enable” とします。
設定を保存したら、Domino サーバを再起動します。設定が正しいと『DominoIQTask: AI エンジン実行中。』と表示され、LLM のモデル名が表示されます。
また、LLM が正常にロードされると Configration 文書の Model availability が ”Model copy succeeded; model is available” となるようです。
メール要約機能の確認
サーバ側の設定が完了したので、Notes クライアントから動作検証をします。
14.5 のメールテンプレートには Domino IQ を利用してメールの要約を表示する機能があります。メールを開き［…］－［要約］を選択すると、ダイアログボックス内にメールの要約が表示されます。
ちなみに、この機能は Domino IQ のセットアップが完了していることが表示条件となっています。非表示式を確認すると notes.ini の以下の項目で判定しています。このエントリは、メール DB を開いたタイミングでセットされるようです。
パラフレーズの無効化
先ほど要約表示で使用したサンプルのメールは、今回の作業で参考にした Customer Support の記事 をコピペしたものです。ところが、表示されたこのメールの要約は、なんだか微妙ですね...
この症状は Domino IQ の設定で改善できるようです。今回参考にした記事内にも注意書きがありました。
記載の通り Domino サーバの notes.ini に以下のエントリを追加します。
DOMIQ_DISABLE_PROMPT_PARAPHRASE=1
設定後、改めて実行するとメールの内容と合致する要約が無事に表示されました。
このパラフレーズを無効化する設定の動作については別途まとめたいと思います。現時点では、この設定が必要であることを覚えておきましょう。
おわりに
今回は Domino IQ のセットアップの基本について、最もシンプルな構成である LLM を Domino サーバ内で実行する設定で紹介しました。このローカル実行では、サーバ機に GPU（NVIDIA の CUDA 対応ハードウェア） が必須となる点に注意が必要です。
私が Domino IQ に出会ったのは今年初め、Domino 14.5 Early Access Program Drop 2（EAP2）のときでした。当時のバージョンは GPU 非対応で、メインメモリに大きく依存する構成。「メモリが潤沢でないとまともに検証できない」と聞き、一念発起して検証機を新調しました。どうせならと、メモリは 128 GB 搭載（単に ”3 桁” GB にしてみたかっただけ...）。
ところが、パーツ納品の遅れで組み上がった頃にはすでに EAP3 がリリースされており、仕様は ”GPU のみサポート” に変更。ここまで来て動かせないのは悔しい...ということで、結局 GPU まで発注することに...。
結果として、個人所有としては過剰なほどのハイスペック PC が誕生しました（オンラインゲームでも始めて、リソース活用すべきですかね...）。
検証に使用した GPU は NVIDIA GeForce RTX 5060 Ti 16 GB です。ネット情報では「ライト～中級ゲーマー向け」「動画編集や AI 処理は趣味レベルの性能」とのことです（いいお値段したんですけどね...）。この環境で本編で紹介した要約処理を実行したところ、応答時間は 2 秒程度 でした。
ビジネス利用では、どの程度の GPU 環境が求められるのでしょうか。
個人ではさすがに検証できない世界なので、実際に運用されている方の声をぜひ聞いてみたいところです。
0 件のコメント:
コメントを投稿