韓国電子通信研究院（Electronics and Telecommunications Research Institute, ETRI）の研究チームは、顔画像を直感的に編集（マスク、スケッチ、カラー入力）するだけで高品質な合成顔画像を生成する機械学習を用いた手法「SC-FEGAN」を発表しました。

論文：SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

著者：Youngjoo Jo, Jongyoul Park

所属：ETRI

本論文は、画像に対して、自由形式の入力（マスク、スケッチ、カラー）から、自然な合成画像を生成するニューラルネットワークを用いた画像編集システムを提案します。

出力結果は、上記GIFのように、サングラスから目に変更したり、前髪のスケッチで髪の毛のボリュームを加えたり、鼻へのスケッチで変形したり、目への色入力で紫ベースのアイラインを生成したりできます。本提案は、U-netベースのGeneratorと、SN-PatchGANベースのDiscriminatorを使用して生成するネットワークアーキテクチャです。

データセットに、トレーニング用29,000画像、テスト用1,000画像の2セットのCelebA-HQデータセットを使用します。スケッチとカラーデータセットを取得する前に、画像を512×512ピクセルにサイズ変更します。

出力結果は、一部分を編集できるだけでなく、顔画像のパーツが一部分しかなくても、残りの部分のスケッチがあればそれなりに修復することも可能です。さらに、元となる顔画像がなくても、スケッチとカラーだけでもそれっぽい顔画像を生成します。

GitHubページはこちら。

上段が元画像、中段が編集したもの、下段が出力結果



左が元画像、真ん中が編集したもの、右が出力結果

左が元画像、真ん中が編集したもの、右が出力結果



左が元画像、真ん中が編集したもの、右が出力結果

元の顔画像が一部しかなく、スケッチと色で補完した出力結果