2026/11/22

つないでみよう:#36) Responses API - 画像認識

今回は、Responses API を利用して、送信した画像を説明させる方法を確認しましょう。

まずは、#14 ~ #18 で利用した Chat Completion API との違いについて整理します。送信する JSON のフォーマットは次の通りです。

Responses API Chat Completion API
{
   "model": "gpt-5-nano",
   "input": [
      {
         "role": "user",
         "content": [
            {
               "type": "input_text",
               "text": "画像を説明してください。"
            },
            {
               "type": "input_image",
               "image_url":
                 "data:image/jpeg;base64,BASE64の画像"
            }
         ]
      }
   ]
}
{
    "model": "gpt-5-nano",
   "messages": [
      {
         "role": "user",
         "content": [
            {
               "type": "text",
               "text": "画像を説明してください。"
            },
            {
               "type": "image_url",
               "image_url": {
                  "url": "data:image/jpeg;base64,
BASE64の画像"
               }

            }
         ]
      }
   ]
}

Responses API では主に次の3点が変わります。

  1. messages が input になる
  2. type: "text" が type: "input_text" になる
  3. type: "image_url" が type: "input_image" になる

そして、画像を指定する image_url ノードの設定の仕方も微妙に変わります。Responses API では、よりシンプルな形式で指定できるようになっています。この点はありがたいですね。

ローカルにある画像を送信するには、BASE64 でエンコードする仕様自体には変更がありません。この点に関しては過去のコードが再利用できますね。


サンプルアプリの準備

前回 作成したフォームとエージェントをコピペしたものをベースに作業を進めます。

フォームで重要な変更は、以下のように送信する画像を添付するリッチテキストフィールドを追加することです。また、今回の返答はテキストとなりますので、実行結果はテキストフィールド Result_Content としています。

なお、必要に応じて、フォーム名やフォームのヘッダ部分、ウィンドウタイトルを変更します。また、アクションボタンでは後述するエージェントを起動するように変更します。


エージェントでは、送信する JSON を作成する xGetRequest_JSON 関数を修正します。下記コードで、冒頭に紹介した JSON を生成させます。

Function xGetRequest_JSON(vnd As NotesDocument) As NotesJSONNavigator
   Dim jnav As NotesJSONNavigator
   Dim jaInp As NotesJSONArray
   Dim joInp As NotesJSONObject
   Dim jaCon As NotesJSONArray
   Dim joCon As NotesJSONObject
   Dim s As String

   'RequestBody(JSON) の準備
   Set jnav = xns.CreateJSONNavigator("")

   '1.model
   Call jnav.AppendElement(vnd.Model(0),"model")

   '1.input 配列
   Set jaInp = jnav.AppendArray("input")
   Set joInp = jaInp.AppendObject()

   '2.role
   Call joInp.AppendElement("user", "role")

   '2.content 配列
   Set jaCon = joInp.AppendArray("content")

   'text
   Set joCon = jaCon.AppendObject()
   Call joCon.AppendElement("input_text", "type")
   Call joCon.AppendElement(vnd.Prompt(0), "text")

   'image
   Set joCon = jaCon.AppendObject()
   Call joCon.AppendElement("input_image", "type")
   s = xAttachmentToBase64(vnd, "Request_Image")
   s = "data:image/jpeg;base64," & s
   Call joCon.AppendElement(s, "image_url")

   Set xGetRequest_JSON = jnav
End Function

※ 画像の形式は jpeg を前提にしています。

xAttachmentToBase64 が添付画像を BASE64 の文字列に変換する関数となります(後述)。


画像の BASE64 変換

この処理は、過去に紹介した関数を流用することで実現できます。

まず、#17 で紹介した関数です。


◇ xAttachmentToBase64

添付画像を BASE64 文字列に変換するメインルーチンです。

Function xAttachmentToBase64(vnd As NotesDocument,  ByVal vsFldName As String) As String
   'Base64に変換
   Dim sBase64 As String
   Dim sName As String
   Dim nst As NotesStream

   'ファイルをダウンロードしてファイル名を取得
   sName = xSaveAttachment(vnd, vsFldName)

   'ファイルをBase64に変換
   Set nst = xns.CreateStream()
   Call nst.Open(sName)
   sBase64 = StreamToBase64(nst)

   'CR/LF を削除
   sBase64 = Replace(sBase64, Chr$(13), "")
   sBase64 = Replace(sBase64, Chr$(10), "")


   xAttachmentToBase64 = sBase64
End Function

今回の関数では、CR/LF を削除する部分を追加しています(赤字)。BASE64 に変換した文字列に改行コード(CR/LF)が含まれていると、API から不正な BASE64 文字列として扱われる場合があります。今回なぜかこの処理が必要になったため、ここで改行コードを削除しています。


◇ xSaveAttachment

引数のフィールドに添付されている画像をダウンロードして、そのファイルパスを返す関数です。

Function xSaveAttachment(vnd As NotesDocument, ByVal vsFldName As String) As String
   Dim ni As NotesItem
   Dim nrti As NotesRichTextItem
   Dim nemb As NotesEmbeddedObject
   Dim sFol As String
   Dim sName As String
   Dim vTmp As Variant
   Dim i As Integer
   Dim v As Variant

   'Windows テンポラリフォルダを取得
   sFol = GetWinTmpPath()

   'フィールドを取得
   Set ni = vnd.GetFirstItem(vsFldName)
   If ni.Type = RICHTEXT Then
      'リッチテキストなら添付ファイルをチェック
      Set nrti = ni
      vTmp = nrti.EmbeddedObjects
      If Not (IsEmpty(vTmp)) Then
         For i = 0 To UBound(vTmp)
            '埋め込みオブジェクトを順に取得
            Set nemb = vTmp(i)
            If nemb.Type = EMBED_ATTACHMENT Then
               '画像ファイルであることを前提
               sName = nemb.Source
               v = Split(sName, ".")
               'ファイル名を決定
               sName = sFol & "denaoshi" & Format(Now, "yyyymmddhhnnss") & "." &  v(UBound(v))
               '添付ファイルを保存
               Call nemb.ExtractFile(sName)
               Exit For
            End If
         Next
      End If
   End If

   xSaveAttachment = sName
End Function


◇ GetWinTmpPath

上記関数では Windows テンポラリフォルダにファイルを保存しています。そのフォルダを取得するのが GetWinTmpPath 関数です。この関数は『Windows のテンポラリフォルダの取得』で紹介しています。

Option Declare
Declare Function xGetTempPath Lib "kernel32.dll" Alias "GetTempPathA" (ByVal nBufferLength As Long, ByVal lpBuffer As String) As Long

Public Function GetWinTmpPath() As String
   Dim sPath As String
   Dim lStrLen As Long

   sPath = Space(255)
   lStrLen = xGetTempPath(255, sPath)

   GetWinTmpPath = Left(sPath, lStrLen)
End Function

下記のコードをスクリプトライブラリ lsWindows として保存し、今回のエージェントに組み込んでください。

Use "lsWindows"


◇ StreamToBase64

この関数は、画像データ(バイナリファイル)を Base64 でエンコードされた文字列に変換する関数です。この関数は『DXL Step-by-Step:#10)イメージリソースの新規作成』で紹介済みです。

%REM
   Function StreamToBase64
   Description: Convert a binary NotesStream to a string of Base64 data.
      The output can be used as part of DXL data for importing.
%END REM

Function StreamToBase64(streamIn As NotesStream) As String
   On Error GoTo theOldWay
   ' ReadEncoded function is not documented. In case it doesn't work have a backup.
   StreamToBase64 = Replace(streamIn.ReadEncoded(ENC_BASE64, 76), Chr$(13), "")
   Exit Function

theOldWay:
   Dim session As New NotesSession
   Dim db As NotesDatabase
   Dim doc As NotesDocument
   Dim mime As NotesMIMEEntity

   Set db = session.CurrentDatabase
   Set doc = db.CreateDocument
   Set mime = doc.CreateMIMEEntity("Body")
   streamIn.Position = 0
   Call mime.SetContentFromBytes(streamIn, "image/gif", ENC_NONE)
   mime.EncodeContent(ENC_BASE64)
   StreamToBase64 = Replace(mime.ContentAsText, Chr$(13), "")
End Function

※ この関数は OpenNTF の LotusScript Gold Collection プロジェクトから拝借


◇ StreamToBase64

この関数は、画像データ(バイナリファイル)を Base64 でエンコードされた文字列に変換する関数です。この関数は『DXL Step-by-Step:#10)イメージリソースの新規作成』で紹介済みです。

Function xGetResponce(vnd As NotesDocument, vjnav As NotesJSONNavigator) As Boolean
   Dim je As NotesJSONElement

   Set je = vjnav.Getfirstelement()

   'id 取得
   vnd.Result_ID = GetPropertyValue(vjnav, "id")

   'output 取得してセット
   Set je = GetProperty(vjnav, "output")

   '"type": "message" の要素を取得
   Set je = FindInArray(je, "type", "message")

   'content
   Set je = GetProperty(je, "content")

   '"type": "output_text"
   Set je = FindInArray(je, "type", "output_text")

   '返答を取得してセット
   vnd.Result_Content = GetPropertyValue(je, "text")

   xGetResponce = True
End Function


以上で、サンプルアプリは完成です。


動作検証とまとめ

新規文書を作成して、AI model、プロンプト、調査してもらう画像を添付して、アクションボタンをクリックします。AI からの回答が表示されれば成功です。

今回は、Responses API を利用して画像を送信し、AI に画像の内容を説明させる方法を紹介しました。

Chat Completions API と比較すると、送信する JSON の構造にはいくつか違いがありますが、画像を BASE64 に変換して送信する基本的な仕組みは変わりません。また、過去に作成した LotusScript の関数を流用することで、比較的少ない修正で対応できました。

これまでの開発資産を活用できるのは、やはりありがたいですね。


前回 連載:つないでみよう


0 件のコメント:

コメントを投稿