text2imgによる画像生成について、textの方もAI任せにしてーと思っていたのでGPT2にプロンプトを自動生成させるのをやってみます。
以下をぱくっただけです。
github.com
説明
私が個人的にStable diffusion系モデルをファインチューニングするときに使うキャプションをそのまま学習用データとして利用します。キャラクタータグ以外はWD14-taggerによる推論結果を利用しています。順序は予測値でソートしています。
キャプション例：
astolfo, fate, memories at trifas, striped shirt, bow, hair bow, official alternate costume, looking at viewer, otoko no ko, solo, pleated skirt, midriff, hair ribbon, one eye closed, pantyhose, fang, skirt, braid, v, open mouth, collarbone, jacket, blush, black bow, shirt, necklace, black ribbon, sitting, crop top, jewelry, striped, black pantyhose, navel, smile, ribbon
特長として、memories at trifasといった、衣装を特徴づけるタグを残していることです（Waifu diffusionではおそらく消している）。求める自動生成として、例えば"astolfo,memories at trifas"と入力すれば、アポクリファ私服に合う"pantyhose"や"purple jacket"等を並べてくれることです。こうすれば特定の衣装のプロンプトを好きなように作成できそうですね。逆に"armor"や"sailor collar"といった関係ないタグを出してくるようでは、使い物にならなそうです。
10 epochやりました。
生成例
ここからはnsfwな単語がでてきます＾＾
よく考えたらアストルフォのタグ付けなんてほとんどの人なじみ無いから見ても分からないかもしれない。
- 特に指定なし
入力：astolfo,fate,solo,
出力：
astolfo,fate,solo, fate, sailor paladin, heart, bow, white shirt, cellphone, official alternate costume, looking at viewer, otoko no ko, solo, pink skirt, white thighhighs, pleated skirt, midriff, cowboy shot, hair ribbon, thighhighs, red skirt, sailor collar, fang,
astolfo,fate,solo, fate, pink eyes, cape, hair ribbon, crossdressing, looking at viewer, otoko no ko, solo, smile, braid, ribbonastolfo, fate, bow, yaoi, hair bow, looking at viewer, otoko no ko, multiple boys, erection, cum in ass, multiple
astolfo,fate,solo, fate, purple hair, bow, red skirt, red buruma, hair bow, looking at viewer, otoko no ko, solo, buruma, fang, skirt, braid, open mouth, fur collar, hood, blush, black bow, necklace, looking back, jewelry, navel, necktie,
一つ目は制服衣装でしょうかね？そんなに悪くないです。2つ目は途中で新しくastolfoから始まってしまいましたね。しかもよくない単語が続いてますね。3つ目はよく分かりません。ブルマなのかスカートなのか・・・
通常衣装
入力：astolfo,fate,solo,armor,gauntlets,
出力：
astolfo,fate,solo,armor,gauntlets,savel,s, greyscale, sweat, yaoi, bow, fur-trimmed cloak, looking at another, capelet, white thighhighs, multiple boys, gauntlets, chain, gauntlets, brown hair, short hair, thighhighs, fur-tr
astolfo,fate,solo,armor,gauntlets,red,hearts,sora,santa alter, fujimura taiga, merlin, aether, fate, chibi, swimsuit rider, fate/extra ccc, swimsuit lancer, male, fate/extra ccc, caster, outdoors, swimsuit lancer
astolfo,fate,solo,armor,gauntlets, underwear, sweat, yaoi, bow, hair bow, black panties, otoko no ko, gauntlets, midriff, hair ribbon, black thighhighs, thighhighs, long sleeves, fang, skirt, braid, open mouth, panties, blush, black bow
armorやgauntletsで通常衣装っぽいプロンプトが出てくると期待したんですが、うーんだめだこりゃ。
制服
入力：astolfo,fate,sailor paladin,
出力：
astolfo,fate,sailor paladin, bow, tail, official alternate costume, looking at viewer, otoko no ko, solo, pleated skirt, midriff, hair ribbon, thighhighs, red skirt, sailor collar, fang, skirt, braid, v, open mouth, serafuku, blush, black bow,
astolfo,fate,sailor paladin, underwear, bow, white shirt, hair bow, official alternate costume, looking at viewer, otoko no ko, solo, pleated skirt, midriff, hair ribbon, cheerleader, sailor collar, fang, skirt, braid, open mouth, panties, serafuku, blush, long
astolfo,fate,sailor paladin, underwear, thighhighs under boots, heart, bow, yaoi, official alternate costume, looking at viewer, otoko no ko, multiple boys, erection, multiple penises, pleated skirt, clothes lift, hair ribbon, penises touching, thighhighs, penis, red skirt, sailor
1つ目は問題なさそうです。ちゃんと制服を表すタグが生成されています。2つ目はチアリーダーが気になるけどおおむね問題なさそう。3つ目は、ちんちんちんちんちんって感じですねｗｗ
アポクリファ私服
入力：astolfo,memories at trifas,
出力：
astolfo,memories at trifas, fate, sparkling frills, flower, swimsuit, bow, hat, denim shorts, hair bow, official alternate costume, looking at viewer, otoko no ko, solo, bikini, hair bow, sunlight, off-shoulder bikini, toenails, beach, bracelet, fang, braid, open
astolfo,memories at trifas, fate, memories at trifas, purple footwear, striped shirt, miniskirt, bow, black skirt, hair bow, official alternate costume, looking at viewer, otoko no ko, solo, purple shirt, purple jacket, pleated skirt, midriff, pink sailor collar, sneakers, long sleeves,
astolfo,memories at trifas, open mouth, hair ribbon, closed eyes, nude, one eye closed, fang, looking at viewer, otoko no ko, smile, multiple boys, braid, ribbonastolfo, fate, bow, hair bow, looking at viewer, otoko no ko, solo, gauntlets, black thighhigh
1つ目はなぜか水着概念礼装が混じってしまいました。2つ目はよさそうとおもったら唐突にpink sailor collarが出てきてしまいました。3つ目はうーん？
セイバー衣装一臨
入力：astolfo,saber,first ascension,
出力：
astolfo,saber,first ascension, fate, bed sheet, underwear, bow, hair bow, black panties, looking at viewer, otoko no ko, solo, bed, animal ears, hair ribbon, black thighhighs, thighhighs, lying, fang, white panties, braid, upskirt, from above, thighs, panties
astolfo,saber,first ascension, arms up, heart, bow, bowtie, hair bow, looking at viewer, otoko no ko, multiple boys, black shirt, black gloves, thighhighs, long sleeves, fang, elbow gloves, open mouth, 2boys, blush, black bow, shirt, faulds, black ribbon,
astolfo,saber,first ascension, fate, sailor paladin, underwear, miniskirt, bow, black skirt, striped panties, hair bow, official alternate costume, looking at viewer, otoko no ko, red hair, symbol-shaped pupils, pleated skirt, midriff, cowboy shot, clothes lift, hair ribbon, thighhighs
うーんちょっと微妙ですね。1つ目でanimal earsがでたり2つ目でblack bowが出たりとまあまあセイバー衣装っぽさはありますが。
セイバー衣装最終再臨
入力：astolfo,saber,third ascension,
出力：
astolfo,saber,third ascension, bed sheet, saber, first ascension, tongue, bow, bowtie, hair bow, looking at viewer, otoko no ko, solo, hair ribbon, black gloves, hair ribbon, long sleeves, black bowtie, tongue out, pantyhose, black dress, black bowtie, skirt,
astolfo,saber,third ascension, greyscale, twintails, bow, hair bow, looking at viewer, otoko no ko, solo, smile, v, forehead, multiple boys, animal ears, hair ribbon, fang, braid, sketch, gloves, ribbonastolfo, fate, bow, hair bow, looking at viewer
astolfo,saber,third ascension, arms up, fate, bow, bowtie, hair bow, looking at viewer, otoko no ko, solo, hair ribbon, black gloves, long sleeves, one eye closed, black bowtie, fang, black dress, wing collar, dress, blush, black bow, black ribbon, low twintails
dressといった最終再臨特有のタグが出てきますが、結構後ろになってしまいますね。これは学習データのせいかもしれません。
面白事例
入力：astolfo,saber,memories at trifas,
出力：astolfo,saber,memories at trifas, artoria pendragon, fate, swimsuit rider, first ascension, swimsuit saber, injury, swimsuit, bow, tentacles, hairband, looking at viewer, otoko no ko, bikini, yellow eyes, 1girl, hair ribbon, cleavage, thighhighs, fang
入力ミスったおかげで発見したのですが、saberとmemories at trifasは通常並ぶことがないタグです。しかしアルトリアのキャラクタータグにもsaberがあるので、AIがsaberとmemories at trifas両方があるということは、このsaberはアルトリアのことなんだ！と類推しているようです。すごーい。
課題
nsfwは分ける必要がありそうです。また今回初めてやったことなので設定とかよく分かりません。検証用データも作ってないですしね。
