Stable Diffusionでリアル系の画像を生成させるとき、「ちょっと鮮明さが足りないなぁ」とか「写真っぽく見えないじゃん」とか、「解剖学的におかしい」みたいなことはありませんか？
こんな時は、モデルやパラメータを変えたり、プロンプトを追加したり、ネガティブプロンプトに禁止キーワードを書き連ねたりして何とか解決していると思います。
しかし実は、VAE、EasyNegative、NegativeHandといった機能を使うことで、簡単かつ改善できます。
今回は、これら3つについて、その導入方法と使い方について紹介します。
概要
VAEについて
VAEとは、Variational Autoencoderの略で、日本語だと「変分自己符号化器」と訳されますが、画像生成モデルの一種です。難しいことは抜きにして大雑把に説明すると、「元画像からノイズなどの不純物を除いた画像を生成するモデル」と考えればよいかと思います。
VAEの効果は、霧がかかったような、あるいは輪郭が少しぼやけたような画像を鮮明化してくれます。
ただし、モデルによっては効果が得られなかったり、専用のVAEを導入する必要があるなど、100%効果が期待できるわけではありません。
EasyNegative、NegativeHandについて
EasyNegativeやNegativeHandは、総称してEmbeddingsと呼ばれ、ネガティブプロンプトでよく使われるキーワードに対応する画像スタイルを追加学習させたファイルです。
Embeddigsの効果は、いままでネガティブプロンプトに記述していた「画質」や「解剖学的な不具合」を抑制するための禁止キーワードが不要になります。
ただし、改善は出来ますが100%抑制できるわけではないので、必要に応じてプロンプト（又はネガティブプロンプト）への追記は必要です。
いずれの場合も Stable Diffusion をインストールしただけでは使えず、別途ファイルをダウンロードしてStable Diffusion に認識（対応するフォルダにコピー）させる必要があります。
VAEの導入方法と使い方
VAEの導入方法
本家の Stable AI 社が公開している汎用のVAE vae-ft-mse-840000-ema-pruned が、Hugging Faceから入手できます。
下記URLでサイトに移動し、赤枠の「LFS」の部分、または右横の下矢印「↓」のどちらかをクリックすると、ダウンロードが始まります。
ダウンロードが完了したら、vae-ft-mse-840000-ema-pruned.ckpt を 以下のフォルダにコピーします。
次に、Stable Diffusion Web UI の画面から「Settings」タブを選択し、左端メニューから「User interface」を選択、「[info] Quicksettings list」のドロップダウンリストの空白部分をクリックします。
すると文字入力ができるようになるため、SDと入力してください。ドロップダウンリストが表示され、sd_vae という文字が見つかると思いますので、これを選択（クリック）します。
「[info] Quicksettings list」の欄に「sd_vae」が表示されたことを確認したら、画面上部にある「Apply settings」をクリックし、続けて「Reload UI」をクリックします。
以上の操作により「Stable Diffusion check point」の右横に「SD VAE」のドロップダウンリストが表示さるようになります。
VAEの使い方
「SD VAE」のドロップダウンリストから、vae-ft-mse-840000-ema-pruned.ckpt を選択し、通常通りGenarateボタンで画像を生成するだけです。
プロンプトに何も記述していない状態で画像を生成した場合、VAEを使わない時と、使った時の違いは以下の様になりました。
EasyNegativeの導入方法と使い方
EasyNegativeの導入方法
EasyNegative も Hugging Face から入手できます。
以下のURLからダウンロードページに移動し、ファイルをダウンロードして下さい。「LFS」「↓」どちらをクリックしてもダウンロードされます。
ダウンロードが完了したら、EasyNegativeV2.safetensors を下記のフォルダにコピーします。
以上で導入は完了です。
EasyNegativeの使い方
Stable Diffusion Web UI のネガティブプロンプトに EasyNegativeV2 と入力すれば完了です。あとは通常通り、Generateボタンにより画像を生成します。
もう１つの方法として、Genarate ボタンの下にある「花札」アイコンをクリックし、「Textual Inversion」タブを選択すると、Embeddings の一覧がアイコンで表示されます。
EasyNegativeV2を探してクリックすると、ネガティブプロンプト欄に EasyNegativeV2 が入力されます。
ネガティブプロンプト未入力の場合と、EasyNegativeV2を入力した場合の画像を比較してみました。
確かに綺麗な画像にはなりましたが、元の画像の特徴はあまり引き継がれず、全く別人の画像になってしまいました。
Negative Handの導入方法と使い方
Negative Handの導入方法
Negative Hand は CIVITAI から入手できます。
下記のURLでダウンロードページに移動し、「Download 」ボタンをクリックして下さい。
ダウンロードが完了したら、 negative_hand-neg.pt を下記のフォルダにコピーします。
以上で導入は完了です。
Negative Handの使い方
こちらも EasyNegative と同様に、ネガティブプロンプト欄に negative_hand-neg と入力して下さい。後は通常通りGenerateボタンで画像を生成します。
ネガティブプロンプト未入力の場合と、negative_hand-neg を入力した場合では、やはり随分画像が変わりました。
こちらも EasyNegative と同じように、元の画像があまり引き継がれていません。
生成された画像の比較
ネガティブプロンプト未入力、EasyNegativeV2、negative_hand-neg の3画像について比較してみました。
元の画像が引き継がれているのではなく、全く別の画像が生成されていることが分かります。
EasyNegativeV2、negative_hand-negを連続して書くとどうなるも試してみました。
EasyNegativeV2、negative_hand-neの順番を入れ替えると、なんと画像が変わりました。
まとめ
今回は、Stable Diffusionで生成される画像の品質を上げる方法として、VAE、EasyNegative、NegativeHandの３つについて、導入方法と使い方について紹介しました。
いずれも Stable Diffusion をインストールしただけでは利用できないので、別途ファイルをダウンロードし、所定のフォルダにコピーすることが必要です。
VAEを使うと、モヤが掛かったような画像を鮮明化してくれます。また、EasyNegativeとNegativeHandは、ネガティブプロンプトの入力を省くことができ、綺麗な画像が得られやすくなります。
今回の記事を参考にして、より高画質な画像の生成をお楽しみください。