前回までで、一番単純な会話ができるようになったので、次は画像生成をさせてみましょう。
Responses API は、画像生成にも対応しているので、/images/generations など別の API をコールする必要はありません。例えば、次のような JSON を送信することで、Responses API に画像生成させることができます。
{
"model": "gpt-5-nano",
"input": "ビーチリゾートに行きたくなるような、白い砂浜とヤシの木の画像",
"tools": [
{
"type": "image_generation",
"model": "gpt-image-2",
"size": "1024x1024",
"output_format": "png",
"quality": "low"
}
]
}
|
重要なのは tools 配列を指定し、その中で type に image_generation を設定している点です。設定値からもわかるように、Responses API では画像生成も「ツール」の一つとして扱われます。次の model が画像生成を担当するモデルです。現在の推奨モデルは gpt-image-2 で、size、output_format、quality は画像生成時のオプションです。指定できる項目や設定値はモデルによって異なるため、必要に応じて公式ドキュメントを確認してください。
この例では、プロンプトの解釈を gpt-5-nano が担当し、実際の画像生成を gpt-image-2 が担当します。このように Responses API では、それぞれの役割に応じてモデルを組み合わせて利用できるのが特徴です。
画像生成機能の作成方針
前回までに紹介した会話のサンプルでは、新規と継続で別々のフォーム、エージェントで作成しました。今回の画像生成では、１つにまとめたいと思います。
新規か継続の判断は、文書に実行結果が入っているかで判断するものとします。具体的には、Result_ID に値が入っていれば、継続として処理します。
フォームの作成
画像生成用のフォームをサンプルアプリに追加します。
前回 #34 で作成した fGPT_Res02 フォーム（継続元ID フィールドがある）をコピペして、画像生成用フォーム fGPT_Res03 を作成します。
フィールドは基本的にはそのままなのですが、今回の返答が画像となります。そこで、実行結果のフィールドをリッチテキスト Result_Image に変更します。
エージェントの作成
フォームと同様にエージェントも前回作成のエージェントをコピペして作業を開始します。
◇ Initialize
基本的な処理の流れに変更はありません。ただ、新規と継続をまとめたことで中盤の太字の部分が大きく違います。また、この変更に関連して変数名や処理順を一部変更していますので、Initialize 全体を掲載しています。
Sub Initialize
Dim nuiw As New NotesUIWorkspace
Dim nuid As NotesUIDocument
Dim ndb As NotesDatabase
Dim ndCur As NotesDocument 'UI で開いている文書
Dim ndReq As NotesDocument '問い合わせに利用する文書
Dim jnavRequest As NotesJSONNavigator
Dim jnavResponse As NotesJSONNavigator
Dim s As String
'初期化
Set xns = New NotesSession
Set ndb = xns.CurrentDatabase
'現在の文書（= 継続元の文書）
Set nuid = nuiw.Currentdocument
Set ndCur = nuid.Document ' UI の文書は読み込みモードの前提
' 新規 or 継続の判定
If ndCur.Result_ID(0) = "" Then
'新規リクエスト（現在の文書で問い合わせ）
Set ndReq = ndCur
Else
'継続したリクエスト（現在の文書を参照させる設定で新規作成）
s = nuiw.Prompt(PROMPT_OKCANCELEDIT, "継続", "次のプロンプトを入力してください。")
If s = "" Then Exit Sub
'新規文書作成
Set ndReq = ndb.CreateDocument()
ndReq.Form = "fGPT_Res03"
ndReq.Model = ndCur.Model
ndReq.PrevID = ndCur.Result_ID '現在の文書を参照
ndReq.Prompt = s
End If
'Request Body(JSON) の作成
Set jnavRequest = xGetRequest_JSON(ndReq)
Call xSetJSON(ndReq, "Request", jnavRequest) 'Request Body の保存
'問い合わせ実行
Set jnavResponse = xAskResponses(jnavRequest)
Call xSetJSON(ndReq, "Response", jnavResponse) 'Response の保存
'返答を取得
If xGetResponce(ndReq, jnavResponse) Then
Call ndReq.Save(True, False)
'文書を開きなおす
Call nuid.Close()
Call nuiw.EditDocument(False, ndReq)
End If
End Sub
|
◇ xGetRequest_JSON
Responses API に送信する関数で、画像生成を指定する tools 配列を追加しています。今回はサンプルですので、model や size などには固定値を追加しています。
Sub
Function xGetRequest_JSON(vnd As NotesDocument) As NotesJSONNavigator
Dim jnav As NotesJSONNavigator
Dim jaTol As NotesJSONArray
Dim joTol As NotesJSONObject
'RequestBody（JSON） の準備
Set jnav = xns.CreateJSONNavigator("")
'1.model
Call jnav.AppendElement(vnd.Model(0),"model")
'1.previous_response_id 継続の場合のみ設定
If vnd.PrevID(0) <> "" Then
Call jnav.AppendElement(vnd.PrevID(0),"previous_response_id")
End If
'1.input
Call jnav.AppendElement(vnd.Prompt(0),"input")
'1.tools 配列
Set jaTol = jnav.AppendArray("tools")
'2.image_generation
Set joTol = jaTol.AppendObject()
Call joTol.AppendElement("image_generation", "type")
Call joTol.AppendElement("gpt-image-2", "model")
Call joTol.AppendElement("1024x1024", "size")
Call joTol.AppendElement("png", "output_format")
Call joTol.AppendElement("low", "quality")
Set xGetRequest_JSON = jnav
End Function
|
◇ xAskResponses
画像生成は会話より応答時間がかかります。そこで、タイムアウトを 450 秒に設定します（デフォルトは 30 秒）。ちなみに私が試した限り上記生成条件で、300 秒以内で返答が返ってきました。
Sub
Function xAskResponses(vjnavRequest As NotesJSONNavigator) As NotesJSONNavigator
・・・（省略）・・・
'HTTP ヘッダーの設定
Call http.SetHeaderField("Content-Type", "application/json")
Call http.SetHeaderField("Authorization", "Bearer " & xcsBearer)
'API 実行
http.TimeOutSec = 450 '画像生成は時間がかかるので
http.PreferJSONNavigator = True
・・・（省略）・・・
End Function
|
◇ xGetResponce
API のレスポンスから返答を取得する処理も変化します。生成された画像は output 配列内の type が image_generation_call にあります。これを取り出し、result の値が画像データとなります。
Function xGetResponce(vnd As NotesDocument, vjnav As NotesJSONNavigator) As Boolean
Dim je As NotesJSONElement
Dim sBase64 As String
Set je = vjnav.Getfirstelement()
'id 取得
vnd.Result_ID = GetPropertyValue(vjnav, "id")
'output 取得してセット
Set je = GetProperty(vjnav, "output")
'"type": "image_generation_call" の要素を取得
Set je = FindInArray(je, "type", "image_generation_call")
'生成画像（result）を取得してセット
sBase64 = GetPropertyValue(je, "result")
Call xSetImageFile(vnd, "Result_Image", sBase64)
xGetResponce = True
End Function |
画像データは Base64 でエンコードされているので、以下の３つの関数を通して、デコードし、画像ファイルに変換します。
◇ xSetImageFile
Base64 の画像データをデコード、画像ファイル化し、文書に添付する関数です。
Private Function xSetImageFile(vnd As NotesDocument, ByVal vsFld As String, vsBase64 As String)
Dim nsImg As NotesStream
Dim nrti As NotesRichTextItem
Dim sFP As String
sFP = xns.GetEnvironmentString("Directory", True)
sFP = sFP & "\" & Format(Now, "yyyymmddhhnnss") & ".png"
On Error Resume Next
Kill sFP '存在してたら削除
On Error GoTo Err_General
Set nsImg = xns.CreateStream()
Call Base64ToBinary(vsBase64, nsImg) 'デコード
Call StreamToImageFile(nsImg, sFP) '画像ファイルとして保存
'画像ファイルを文書に添付
Call vnd.RemoveItem(vsFld)
Set nrti = vnd.CreateRichTextItem(vsFld)
Call nrti.EmbedObject(EMBED_ATTACHMENT, "", sFP)
Exit_Proc:
Exit Function
Err_General:
MsgBox Error$
Resume Exit_Proc
End Function
|
◇ Base64ToBinary / StreamToImageFile
これらの関数は OpenNTF の LotusScript Gold Collection プロジェクトから拝借した関数です。詳しくは #28 で紹介しているので必要に応じて参照ください。関数自体は下記に再掲載します。
%REM
Sub Base64ToBinary
Description: Given a string of base64-encoded data, write into a binary stream we are passed.
This is done rather than creating the stream here and returning it, so that you can
stream directly into a file if you choose.
%END REM
Sub Base64ToBinary(strBase64$, streamOut As NotesStream)
' Given a string of base64 encoded data, this routine decodes and writes the original binary data into a NotesStream
Dim doc As NotesDocument
Dim mime As NotesMIMEEntity
Dim streamIn As NotesStream
Dim db As NotesDatabase
Dim session As New NotesSession
Set db = session.CurrentDatabase
Set doc = db.CreateDocument
Set mime = doc.CreateMIMEEntity("Body") ' the mime classes already know how to do this conversion,
Set streamIn = session.CreateStream
Call streamIn.WriteText(strBase64)
streamIn.Position = 0
Call mime.SetContentFromText(streamIn, "binary", ENC_BASE64)
Call mime.GetContentAsBytes(streamOut, True) ' decode as you stream out the data.
End Sub
|
Sub StreamToImageFile(vnstImage As NotesStream, ByVal vsFP As String)
Dim nstOut As NotesStream
On Error Resume Next
Kill vsFP '存在してたら削除
Set nstOut = xns.CreateStream()
Call nstOut.Open(vsFP)
vnstImage.Position = 0
Do Until vnstImage.Position >= vnstImage.Bytes
Call nstOut.Write(vnstImage.Read(16000))
Loop
End Sub
|
想定外の改造
画像生成のサンプルとしては、上記までで完了のつもりでした。ただ、実行するとエラーが発生しました。
原因は、API のレスポンスが大きく、リッチテキストに書き込む処理で リッチテキストの制限 に引っ掛かっていたためだと思われます（どちらも 64 KB まで）。
- リッチテキストフィールドの単一段落の最大サイズ
- 文書当たりのテキスト (要約) データの最大量
そこで、JSON のサイズが大きい場合、添付ファイルとして保存するように変更します。
◇ xSetJSON
JSON を文書に保存する関数で、サイズが大きい場合（10000 バイト）、後述する JSONToFile を通して、ファイルに保存します。
Private Function xSetJSON(vnd As NotesDocument, ByVal vsFld As String, vjnav As NotesJSONNavigator)
・・・（省略）・・・
'日時の記録
Call vnd.ReplaceItemValue(vsFld & "_DT", Now)
'JSON の記録
'いったん削除してからセット
Dim sFP As String
Call vnd.RemoveItem(vsFld & "_JSON")
Set nrti = vnd.CreateRichTextItem(vsFld & "_JSON")
If Len(sText) > 10000 Then
'大きいのでファイルで保存
sFP = JSONToFile(vjnav, "") 'ファイル名は指定なし
Call nrti.EmbedObject(EMBED_ATTACHMENT, "", sFP)
Kill sFP '添付したのでファイルは削除
Else
'そのままテキストで保存
Call nrti.AppendText(sText)
End If
End Function
|
◇ JSONToFile
JSON をファイルに保存する関数です。この関数はほかでも使いそうなので、lsJSONNavi ライブラリに作成します。
Public Function JSONToFile(vjnav As NotesJSONNavigator, ByVal vsFileName As String) As String
Dim ns As New NotesSession
Dim nstOut As NotesStream
Dim sFP As String
sFP = ns.Getenvironmentstring("Directory", True)
If vsFileName = "" Then
sFP = sFP & "\" & Format(Now, "yyyymmddhhnnss") & ".json"
Else
sFP = sFP & "\" & vsFileName
End If
On Error Resume Next
Kill sFP '存在してたら削除
On Error GoTo Err_General
Set nstOut = ns.CreateStream()
Call nstOut.Open(sFP)
Call nstOut.WriteText(vjnav.Stringify())
Call nstOut.Close()
JSONToFile = sFP
Exit_Proc:
Exit Function
Err_General:
MsgBox Error$
Resume Exit_Proc
End Function
|
動作検証
出来上がったら動作検証します。
最初のリクエストを書いた文書を開き、エージェントを実行します。しばらくすると文書が開きなおし、画像が添付された状態となります。API からの返答は大きくなるので、JSON は返答だけが添付ファイルになっているはずです。この状態から再度エージェントを実行すると作成された画像に対するリクエストが送信できます。
今日も朝から暑い中 Notes 三昧なので、『ビーチリゾートに行きたくなるような、白い砂浜とヤシの木の画像』ネタだけは休日仕様にしてみました。
結果は次のような感じでした。
青い海に真っ白な砂浜、デッキチェアにパラソル、イメージ通りの画像ですね。次のリクエストでは『この画像を夕景に変更してください。』と送信しました。構図は少々変わってしまってますが、見事な夕焼けですね。
あぁ、リゾートしたい...
