ByteDance Video Upscaler vs. Topaz e Real-ESRGAN

Escolha a ByteDance quando precisar de upscale e interpolação por API hospedada, o Topaz para restauração local e interativa e o Real-ESRGAN para pipelines autogerenciados. No fim, o estado do material original e as exigências de entrega importam mais do que simplesmente dizer “4K”.

A resposta curta: escolha pelo material de origem, não pela resolução final

O ByteDance Video Upscaler é uma opção conveniente via API para transformar vídeos gerados por IA, conteúdos de usuários, séries curtas ou filmes antigos em arquivos de entrega em 1080p, 2K ou 4K. O Topaz Video faz mais sentido quando o editor precisa de prévias locais e controle manual sobre os modelos. Já o Real-ESRGAN é a alternativa de baixo custo e fácil de automatizar, mas o processamento quadro a quadro exige trabalho extra para evitar cintilação e preservar o áudio.

O que o ByteDance Video Upscaler realmente oferece

A página do Replicate identifica o modelo como o upscaler de vídeo vCube, da ByteDance. A documentação descreve entradas em 480p, 720p e 1080p com saída em 2K ou 4K, além de aprimoramento e interpolação em uma única etapa. Não se trata de um gerador de vídeo a partir de imagens estáticas: ele processa um arquivo de vídeo existente.

Os controles mais importantes são o preset de cena, o nível de processamento, a resolução final e a taxa de quadros. O Replicate lista as cenas aigc, short_series, ugc, old_film e common; a página também descreve os níveis standard e pro, este último disponível apenas para usuários autorizados. O README do Replicate informa que um clipe de 5 segundos normalmente leva de 3 a 5 minutos, portanto não espere uma ferramenta de prévia em tempo real.

O fal oferece mais controles que o Replicate, incluindo níveis, fidelidade, profundidade de bits, presets e alvos de até 8K no schema, mas sua tabela de preços visível cobre apenas 1080p, 2K e 4K.

Controles que mudam a conta

O fal informa preços padrão a 30 fps de $0.0072 por segundo em 1080p, $0.0144 em 2K e $0.0288 em 4K. A página diz que 60 fps dobra o custo, enquanto o Pro custa 10 vezes o preço normal. Assim, uma renderização padrão de 30 segundos em 4K/30 fica em cerca de $0.864, antes de eventuais cobranças específicas da conta.

Esses são preços do fal, não uma tabela universal da ByteDance; o BytePlus VOD usa preços separados por minuto, definidos por nível, resolução e faixa de taxa de quadros.

Como comparar o mesmo clipe antigo sem se enganar

Uma comparação útil precisa usar uma única fonte e um único alvo de entrega. Separe um trecho de 5 a 10 segundos do vídeo antigo que contenha um rosto, uma textura fina, legendas ou placas, uma borda em movimento e uma área escura uniforme. Mantenha constantes a fonte, o recorte, a resolução de saída, a taxa de quadros, o codec e a etapa de remux do áudio.

Trate os resultados como um benchmark apenas quando origem, configurações, tempo de execução, custo e uma avaliação lado a lado às cegas estiverem registrados. As páginas dos fornecedores descrevem recursos e preços, não um vencedor universal em qualidade.

A tabela acima serve para orientar a escolha, não para garantir qualidade: teste o material antes de iniciar uma renderização completa. Os problemas que podem surgir importam mais que o logotipo. Legendas minúsculas podem virar traços artificialmente nítidos; rostos podem ficar encerados ou detalhados demais; a granulação do filme pode se transformar em ruído que “crawla”; e uma fonte em 24 fps renderizada a 60 fps pode parecer mais suave sem conter movimento capturado novo. Uma fonte suave, muito comprimida, entrelaçada ou mal exposta pode ficar pior em 4K, porque halos e detalhes alucinados se tornam mais fáceis de enxergar.

Fluxo via API: enviar, consultar, baixar e processar em lote

A API do fal é assíncrona. Mantenha a chave no servidor, envie uma URL pública ou um arquivo carregado, consulte a fila e baixe o MP4 retornado. Um worker Python mínimo pode ser parecido com este:

import os
import fal_client

VIDEO = "https://example.com/archive/clip.mp4"

result = fal_client.subscribe(
    "fal-ai/bytedance-upscaler/upscale/video",
    arguments={
        "video_url": VIDEO,
        "target_resolution": "4k",
        "target_fps": 30,
        "enhancement_preset": "old_film",
        "enhancement_tier": "standard",
        "fidelity": "high",
    },
    with_logs=True,
)
print(result["video"]["url"])

Em lotes de produção, troque subscribe pelo envio para a fila combinado com um webhook ou consulta de status. Adicione novas tentativas para falhas temporárias, registre o ID da requisição no provedor e limite a concorrência para que uma pasta cheia de clipes curtos não gere uma cobrança fora de controle. Comece processando um recorte de 5 a 10 segundos; só depois envie a fonte completa.

O fluxo com os quadros do Real-ESRGAN é mais manual: extraia os quadros com o FFmpeg, execute o script oficial de inferência para vídeo ou um modelo de imagens, remonte os quadros numerados na taxa de quadros original e faça o remux do áudio original. Preserve a numeração dos quadros e use intermediários sem perdas ou de alta qualidade; caso contrário, a comparação estará testando tanto o codec intermediário quanto o upscaler.

Quando o upscale piora o vídeo

Interrompa o processo ou reduza o alvo quando qualquer um destes problemas aparecer em um teste curto:

1. O texto muda de formato. O modelo está reconstruindo uma hipótese, não recuperando caracteres legíveis.
2. Os rostos variam entre os quadros. Escolha um nível mais conservador ou um fluxo local com controles melhores.
3. As bordas criam halos. O sharpening forte está contornando o contraste, não restaurando detalhes.
4. A granulação fica instável. O ruído virou textura temporal; talvez seja necessário aplicar redução de ruído antes do aumento de resolução.
5. O movimento parece artificial. A interpolação alterou o ritmo ou criou objetos mesclados.
6. A fonte está entrelaçada ou mal exposta. Faça o desentrelaçamento ou corrija a fonte antes.
7. O destino da entrega é apenas 1080p. Uma renderização em 4K aumenta o custo e pode revelar artefatos que desapareceriam ao reduzir a imagem.

O preset old_film da ByteDance é um bom teste para material de arquivo, mas as páginas públicas do modelo não prometem remoção de riscos, correção de cintilação, preservação de áudio ou um codec específico. Trate esses pontos como questões do fluxo de trabalho, não como recursos garantidos.

FAQ: decisões práticas antes de renderizar

O ByteDance consegue aumentar o vídeo para 4K?

Sim. O Replicate documenta alvos em 2K e 4K, enquanto o fal expõe 4K e valores adicionais no schema. Os limites exatos, o preço e o nível disponível dependem do host.

Devo converter 24 fps para 60 fps?

Apenas quando a entrega exigir isso ou depois de revisar os artefatos da interpolação. Uma taxa de quadros maior não recria um movimento que nunca foi capturado.

O ByteDance é mais barato que o Topaz?

Para alguns segundos via API, o ByteDance hospedado pode sair barato; o fal informa $0.864 por 30 segundos em 4K/30 no modo standard. A documentação oficial de preços do Topaz Video lista o Video por $299 ao ano pagos antecipadamente ou $33 por mês em um compromisso anual. O ponto de equilíbrio depende da sua GPU, do volume e da necessidade de renderização na nuvem: compare o custo anual da licença mais o tempo de hardware com a quantidade de segundos hospedados esperada.

O Real-ESRGAN é gratuito para vídeo?

O projeto oficial oferece código open source e modelos pré-treinados, mas capacidade computacional, armazenamento e tempo de engenharia não são gratuitos. O processamento quadro a quadro também exige um pipeline testado para áudio e consistência temporal.

O upscaler preserva o áudio?

Não presuma que sim. A saída do modelo/API é um arquivo de vídeo, mas a documentação pública analisada não oferece uma garantia universal de preservação do áudio. Mantenha o áudio original e faça o remux quando necessário.

O que devo usar para rostos?

Comece com um recorte curto e compare o ByteDance Pro, o Topaz e uma configuração conservadora do Real-ESRGAN. Rejeite qualquer resultado que altere a identidade ou produza uma pele plástica, mesmo que exiba mais poros visíveis.

A decisão que eu colocaria em produção

A sequência mais segura é: extrair um recorte curto, renderizar todos os candidatos na taxa de quadros real da entrega, inspecionar rostos, textos e movimentos em 100% e só então processar o arquivo completo. Para fluxos locais relacionados, consulte o guia de configuração do Real-ESRGAN e a restauração facial com GFPGAN e CodeFormer.