綺麗に出来たフォトリアルな画像。ただ写真の質感のまま漫画に貼ると浮いてしまうので、イラストタッチへの変換が必要です。今回はComfyUIを使って、そのちょうどいい変換ルートを探ってみました。
元の画像はこちら
題材にしたのは、GPT Imageで生成した沖縄美ら海水族館っぽいトンネル水槽の写真寄りな画像です。エイや魚影、光の差し込みまでかなりフォトリアルに出ています。
これをComfyUIのimg2imgに通して、漫画のコマに馴染むイラストタッチへ変換していきます。使ったのはSDXL系のイラストモデル「Illustrious-XL」。元の構図や光の感じを保ったまま、線とセルシェーディング寄りの塗りに寄せるのが目標です。
まさかの「下半分が真緑」事件
最初はdenoise(元画像をどれだけ壊して描き直すか)の値を調整しながら試していたんですが、なぜか毎回、画像の下半分だけが単色の緑で塗りつぶされるという謎の現象に遭遇しました。denoiseを下げても、ネガティブプロンプトに「grass, lawn」を足して草地を除外しても直らず、SDXLのVAE(fp16精度)のNaN不具合まで疑って検証しましたが、それでも症状は同じ位置に出続けました。
結局たどり着いた原因は拍子抜けするようなもので、ComfyUIのinputフォルダへ転送する過程で、元画像ファイル自体が二重露光のように破損していただけでした。ワークフローも設定も悪くなく、そもそも渡していた画像が壊れていたというオチです。クリーンな画像を置き直したら、あっさり解決しました。
ControlNetで輪郭を安定させる
クリーンな画像でdenoise 0.55まで上げると、狙い通り「元の構図・光・被写体は保ったまま、イラスト寄りのタッチ」に変換できました。ただ、魚やエイのシルエットなど細かい輪郭がやや溶けやすい傾向もありました。
そこでScribble系のControlNet(controlnet-scribble-sdxl)を追加。元画像から線画を抽出してControlNetとして効かせることで、輪郭がぐっと安定しました。最終的にはこちらを採用版にしようかと思っています。
最終的なノード構成
できあがったComfyUIのノード構成はこんな感じです。LoadImageで元画像を読み込み、ScribblePreprocessorで線画を抽出、それをControlNetとして適用しつつ、Illustrious-XLでimg2img(denoise 0.55)にかける、という流れです。
まとめ
途中で謎の緑バグに振り回されましたが、原因は元画像の転送不良という地味なオチでした。これが不具合なく通れば、画像生成ウェブサービスで生成→生成完了のタイミングをDOMの変化で拾う(tab-content-jq-search-queryでポーリングする)→ClaudeブリッジでComfyUI側をAPI経由で叩く→画像が生成されるという自動パイプラインが出来ます。ただ今回はブリッジの時点で画像転送に失敗したのでそちらは要対応です。もしかしたらここだけ人間がやる必要があるかもしれません。ComfyUI側は一度ワークフローをテンプレート化してしまえば、次からは画像を置くだけで同じ変換を再現できます。今回の海中や地上など出来の良かったパラメータをあらかじめ保存しておくと後々よいかもしれません。
