Codeformer
codeformer の作者の丸いアバター: 暗い円形の背景に描かれた小さなイラストポートレート sczhou / codeformer

Codeformer 失われた顔を復元 古いスキャン画像やAIポートレートで

Codeformerは、色あせたプリント、圧縮された自撮り写真、生成画像において、目や肌の質感、髪を取り戻しつつ、その人物を識別可能なまま保ちます。

写真を復元
準備完了 公開 オープンソース L40S ライセンス ソース 論文

入力

日差しの強い浜辺で微笑む金髪女性の、暗い色のビキニトップ姿を収めた、柔らかく低精細なAI生成ポートレート。背景の海はぼやけ、正方形の構図
* ファイル

復元したいポートレート

数値
(最小 0、最大 1)

値が低いほど整った見た目になり、高いほど元の顔に忠実になります。

デフォルト: 0.5

ブール値

Real-ESRGAN を使用して周囲もクリーンアップします

デフォルト: true

boolean

高解像度の生成画像向けに、復元された顔をさらにシャープにします

デフォルト: true

integer

完成した画像に適用される倍率

デフォルト: 2

{
  "image": ".../010.jpg",
  "codeformer_fidelity": 0.1,
  "background_enhance": true,
  "face_upsample": true,
  "upscale": 2
}

Node.js スクリプトから Codeformer を呼び出す:

const out = await client.run(model, { input });

Python から Codeformer を呼び出す:

out = client.run(model, input=payload)

同じペイロードを通常の HTTP で送信する:

curl -X POST "$API_URL/predictions" -d @input.json

Cog でローカルに推論する:

cog predict -i [email protected] -i upscale=2

自分の GPU でコンテナをホストする:

docker run --gpus=all -p 5000:5000 $IMAGE

自分の写真で Codeformer を実行する

ポートレートをアップロードして、結果を並べて比較できます。先にアイデアを見たいですか? 以下から サンプル をご覧ください。

ポートレートをアップロード

パートナーワークスペースを開きます
(新しいステップで)。

出力

Codeformerで復元された、浜辺で微笑む金髪女性のポートレート。目、歯、髪の毛がくっきりし、海は柔らかくぼけている 復元前の、浜辺で微笑む金髪女性のぼやけた元ポートレート 変更前 変更後
{
  "status": "succeeded",
  "logs": "detect 1 faces",
  "output": ".../output.png"
}

サンプル設定

忠実度 0.1 · 2× アップスケール

1 つの顔を検出

このサンプルはモデルの以前のビルドによるものです、 sczhou/codeformer:7de2ea26.

顔の細部がくっきりした、浜辺で微笑む金髪女性のフルサイズ復元ポートレート
青い背景の前で卒業証書を手にした、赤と金色のアカデミックガウンと黒い帽子姿の微笑む卒業生2人 石造りのホール内でオフショルダーの白いドレスを着た黒髪女性の古典映画時代風ポートレート、復元された細部 緑の葉の間で華やかな金の扇子を持つ若いブルネット女性のクローズアップ、復元後はくっきりした目 白いシャツを着た微笑む若いアジア人女性がフレーム外の誰かを見つめる映画のワンシーン、暖色系 砂浜で紺色のビキニトップを着た微笑む金髪女性、くっきり復元された顔 黄色い花のヘッドバンドと鮮やかな花柄ショールを身につけた若い女性が、暗い熱帯のジャングルに立つ、ムードのあるシネマティックな光

ハードウェアとランタイム

Codeformer はオープンソースなので、クラウドで呼び出すだけでなく、 Docker を使って自分でホストできます。処理時間は画像サイズ、検出される顔の数、選択するアップスケール倍率によって異なります。

クラウドでは、この Codeformer ビルドは Nvidia L40S GPU ハードウェア上で実行されます。単体のポートレートは通常すぐに完了しますが、背景強化を伴う集合写真はより時間がかかります。

Readme

Codeformerプロジェクトのロゴ:白地にCODEFORMERのワードマーク、その上に黒い中括弧と赤いピクセルドット

Codeformer 論文: 学習済みコードブックによるブラインド顔復元 (NeurIPS 2022) 論文 | プロジェクトページ | 動画

訪問者カウンターバッジ

このデモは研究およびテストを目的としています。Codeformer のコードは、自分のマシン上またはホストされたノートブック内でも実行できます。


☕️ Codeformer は、古い写真や生成されたポートレート向けの堅牢な顔復元ツールです。🚀 Codeformer を stable-diffusion の出力と組み合わせると、よりクリーンで自然な顔になります!

Codeformer が役に立ったと思ったら、プロジェクトの ソースリポジトリで ⭐ を付けてください。大変感謝します!

リポジトリのスター数バッジ

📋 ライセンス — Codeformer プロジェクトは次のライセンスの下で公開されています: S-Lab License 1.0。再配布および非商業利用はその条件を遵守する必要があり、ホストされた API バージョンは商業目的で使用できません。

📝 引用 — このモデルがあなたの研究に役立つ場合は、以下のように引用してください:

@inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

モデル公開日 2022年9月

今すぐ始める
今すぐ始める