Codeformer
Avatar redondo do autor do codeformer: pequeno retrato ilustrado em um fundo circular escuro sczhou / codeformer

Codeformer restaura rostos perdidos em digitalizações antigas e retratos de IA

O Codeformer recupera olhos, textura da pele e cabelo em impressões desbotadas, selfies comprimidas e imagens geradas, mantendo a pessoa reconhecível.

Pronto Público Código aberto L40S Licença Código-fonte Artigo

Entrada

Retrato suave e com poucos detalhes, gerado por IA, de uma mulher loira sorridente de top de biquíni escuro em uma praia ensolarada, mar desfocado atrás dela, enquadramento quadrado
* arquivo

Retrato que você deseja restaurar

número
(mín. 0, máx. 1)

Valores mais baixos favorecem um visual mais polido; valores mais altos permanecem mais fiéis ao rosto original.

Padrão: 0.5

booleano

Também limpa o entorno usando Real-ESRGAN

Padrão: true

booleano

Aguce ainda mais os rostos restaurados para imagens geradas em alta resolução

Padrão: true

inteiro

Fator de escala aplicado à imagem final

Padrão: 2

{
  "image": ".../010.jpg",
  "codeformer_fidelity": 0.1,
  "background_enhance": true,
  "face_upsample": true,
  "upscale": 2
}

Chame o Codeformer a partir de um script Node.js:

const out = await client.run(model, { input });

Chame o Codeformer a partir do Python:

out = client.run(model, input=payload)

Envie o mesmo payload por HTTP simples:

curl -X POST "$API_URL/predictions" -d @input.json

Faça previsões localmente com o Cog:

cog predict -i [email protected] -i upscale=2

Sirva o contêiner na sua própria GPU:

docker run --gpus=all -p 5000:5000 $IMAGE

Execute o Codeformer na sua própria foto

Envie um retrato e compare o resultado lado a lado. Quer ideias primeiro? Navegue pelas amostras abaixo.

Envie um retrato

Abre o espaço de trabalho do parceiro
em uma nova etapa.

Saída

Retrato restaurado pelo Codeformer de uma mulher loira sorridente na praia, com olhos, dentes e fios de cabelo nítidos, mar em foco suave Retrato de praia desfocado original de uma mulher loira sorridente antes da restauração Antes Depois
{
  "status": "succeeded",
  "logs": "detect 1 faces",
  "output": ".../output.png"
}

Configurações da amostra

Fidelidade 0.1 · ampliação 2×

detectar 1 rosto

Esta amostra veio de uma versão anterior do modelo, sczhou/codeformer:7de2ea26.

Retrato de praia restaurado em tamanho real de uma mulher loira sorridente com detalhes faciais nítidos

Exemplos

Mais amostras
Dois formandos sorridentes em becas acadêmicas vermelhas e douradas e capelos pretos segurando um diploma diante de um fundo azul Retrato clássico da era do cinema de uma mulher de cabelos escuros em um vestido branco tomara que caia dentro de um salão de pedra, detalhes restaurados Close-up de uma jovem morena entre folhas verdes segurando um leque dourado ornamentado, olhos nítidos após a restauração Fotograma de filme de uma jovem asiática sorridente de camisa branca olhando para alguém fora do enquadramento, tons quentes Mulher loira sorridente de top de biquíni azul-marinho em uma praia de areia, rosto restaurado nítido Jovem mulher com tiara de flores amarelas e xale floral vibrante em pé em uma selva tropical escura, iluminação cinematográfica atmosférica

Hardware e tempo de execução

O Codeformer é de código aberto, então além de chamá-lo na nuvem, você pode hospedá-lo por conta própria com Docker. O tempo de processamento depende do tamanho da imagem, de quantos rostos são detectados e do fator de ampliação que você escolher.

Na nuvem, esta versão do Codeformer roda em hardware de GPU Nvidia L40S. Retratos individuais costumam ser rápidos; fotos de grupo com aprimoramento de fundo demoram mais.

Readme

Logotipo do projeto Codeformer: chave preta e pontos de pixel vermelhos acima do wordmark CODEFORMER em fundo branco

Artigo do Codeformer: restauração cega de rostos via um codebook aprendido (NeurIPS 2022) Artigo | Página do projeto | Vídeo

Selo de contador de visitantes

Esta demonstração destina-se a pesquisa e testes. Você também pode executar o código do Codeformer em sua própria máquina ou dentro de um notebook hospedado.


☕️ O Codeformer é um restaurador de rostos robusto para fotografias antigas e retratos gerados. 🚀 Combine o Codeformer com a saída do stable-diffusion para rostos mais limpos e naturais!

Achou o Codeformer útil? Dê uma ⭐ ao projeto no seu repositório de código-fonte. Muito obrigado!

Selo de contagem de estrelas do repositório

📋 Licença — O projeto Codeformer é distribuído sob a S-Lab License 1.0. A redistribuição e o uso não comercial devem respeitar seus termos, e a versão hospedada da API não pode ser usada para fins comerciais.

📝 Citação — Se o modelo contribuir para sua pesquisa, faça referência a ele da seguinte forma:

@inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}

Modelo publicado setembro de 2022

Começar agora
Começar agora