ByteDance Video Upscaler face à Topaz et Real-ESRGAN

Choisissez ByteDance pour un upscaling et une interpolation via API hébergée, Topaz pour une restauration locale interactive et Real-ESRGAN pour des pipelines auto-hébergés. La dégradation de la source et les contraintes de livraison comptent davantage qu’une simple mention « 4K ».

En bref : choisissez selon la source, pas selon la résolution finale

ByteDance Video Upscaler est une solution API pratique lorsqu’il faut produire un fichier en 1080p, 2K ou 4K à partir de contenus générés par IA, de vidéos UGC, de séries courtes ou de films anciens. Topaz Video convient mieux quand le monteur a besoin de prévisualisations locales et d’un contrôle manuel du modèle. Real-ESRGAN constitue une base économique et scriptable, mais le traitement image par image demande du travail supplémentaire pour éviter le scintillement et conserver l’audio.

Ce que ByteDance Video Upscaler propose réellement

La page Replicate présente le modèle comme l’upscaler vidéo vCube de ByteDance. Elle documente des sources en 480p, 720p et 1080p pouvant être converties en 2K ou 4K, avec amélioration et interpolation en un seul passage. Il ne s’agit pas d’un générateur image-vers-vidéo : le modèle traite un fichier vidéo existant.

Les réglages importants sont le préréglage de scène, le niveau de traitement, la résolution cible et la fréquence d’images cible. Replicate liste les scènes aigc, short_series, ugc, old_film et common. Sa page décrit également le niveau standard et un niveau pro accessible uniquement sur liste blanche. Le README de Replicate indique qu’un clip de 5 secondes demande généralement 3 à 5 minutes : ce n’est donc pas un outil de prévisualisation en temps réel.

fal expose davantage de réglages que Replicate, notamment les niveaux, la fidélité, la profondeur de couleur, les préréglages et des cibles de schéma allant jusqu’à 8K. En revanche, sa grille tarifaire visible ne couvre que le 1080p, la 2K et la 4K.

Les réglages qui font varier la facture

fal indique, en standard à 30 images par seconde, des tarifs de $0.0072 par seconde pour le 1080p, $0.0144 pour la 2K et $0.0288 pour la 4K. Sa page précise que le 60 i/s double le coût, tandis que le niveau Pro est 10 fois plus cher que le tarif normal. Un rendu 4K/30 standard de 30 secondes revient donc à environ $0.864, avant d’éventuels frais spécifiques au compte.

Ces montants correspondent aux tarifs de fal, et non à une tarification universelle de ByteDance. BytePlus VOD applique une tarification distincte à la minute, selon le niveau, la résolution et la tranche de fréquence d’images.

Comparer le même extrait ancien sans fausser le test

Une comparaison utile repose sur une seule source et une seule cible de livraison. Prenez un extrait de 5 à 10 secondes contenant un visage, une texture fine, des sous-titres ou une enseigne, un contour en mouvement et une zone sombre uniforme. Gardez constants la source, le recadrage, la résolution de sortie, la fréquence d’images, le codec et l’étape de remuxage audio.

Ne considérez les résultats comme un véritable benchmark que si la source, les réglages, la durée, le coût et l’évaluation comparative en aveugle sont consignés. Les pages des fournisseurs établissent des capacités et des tarifs, pas un vainqueur universel en matière de qualité.

Le tableau ci-dessus sert à orienter le choix, pas à garantir la qualité : testez la source avant de lancer un rendu complet. Les modes d’échec sont plus importants que le logo. De minuscules sous-titres peuvent devenir des traits accentués ; les visages peuvent prendre un aspect cireux ou perdre leur naturel ; le grain argentique peut se transformer en bruit rampant ; et une source en 24 i/s convertie en 60 i/s peut sembler plus fluide sans contenir le moindre mouvement réellement capturé. Une source floue, fortement compressée, entrelacée ou mal exposée peut même paraître plus mauvaise en 4K, car les sonneries et les détails hallucinés deviennent plus visibles.

Workflow API : envoyer, surveiller, télécharger et traiter par lots

L’API fal fonctionne de manière asynchrone. Conservez la clé sur un serveur, envoyez une URL publique ou un fichier importé, surveillez la file d’attente, puis téléchargez le MP4 retourné. Un worker Python minimal peut ressembler à ceci :

import os
import fal_client

VIDEO = "https://example.com/archive/clip.mp4"

result = fal_client.subscribe(
    "fal-ai/bytedance-upscaler/upscale/video",
    arguments={
        "video_url": VIDEO,
        "target_resolution": "4k",
        "target_fps": 30,
        "enhancement_preset": "old_film",
        "enhancement_tier": "standard",
        "fidelity": "high",
    },
    with_logs=True,
)
print(result["video"]["url"])

Pour les traitements par lots en production, remplacez subscribe par une soumission dans la file d’attente, complétée par un webhook ou une vérification périodique du statut. Ajoutez des tentatives en cas d’erreur temporaire, enregistrez l’identifiant de la requête fournisseur et plafonnez la concurrence afin qu’un dossier de petits clips ne génère pas une facture incontrôlée. Traitez d’abord un extrait de 5 à 10 secondes ; ne soumettez la source complète qu’ensuite.

Avec Real-ESRGAN, le workflow image par image est plus manuel : extrayez les images avec FFmpeg, lancez le script officiel d’inférence vidéo ou un modèle image, réassemblez les images numérotées à la fréquence d’images d’origine, puis remuxez l’audio original. Conservez la numérotation des images et utilisez des fichiers intermédiaires sans perte ou de haute qualité ; sinon, la comparaison évaluera autant votre codec intermédiaire que l’upscaler.

Quand l’upscaling dégrade la vidéo

Arrêtez le traitement ou réduisez la cible si l’un des problèmes suivants apparaît sur un test court :

1. Le texte change de forme. Le modèle produit une interprétation, il ne récupère pas des caractères parfaitement lisibles.
2. Les visages varient d’une image à l’autre. Choisissez un niveau plus conservateur ou un workflow local offrant davantage de contrôle.
3. Les contours présentent des halos. Un renforcement trop marqué souligne les contrastes au lieu de restaurer les détails.
4. Le grain se met à ramper. Le bruit est devenu une texture temporelle ; la restauration peut nécessiter un débruitage avant l’agrandissement.
5. Le mouvement semble artificiel. L’interpolation a modifié le rythme ou créé des objets mélangés.
6. La source est entrelacée ou mal exposée. Désentrelacez ou corrigez d’abord la source.
7. La livraison finale est limitée au 1080p. Un rendu 4K augmente le coût et peut révéler des artefacts qui disparaîtront après réduction.

Le préréglage old_film de ByteDance constitue un bon point de départ pour tester des archives, mais les pages publiques du modèle ne garantissent ni la suppression des rayures, ni la correction du scintillement, ni la conservation de l’audio, ni l’utilisation d’un codec précis. Ce sont des questions de workflow, pas des fonctions garanties.

FAQ : les décisions à prendre avant le rendu

ByteDance peut-il agrandir une vidéo en 4K ?

Oui. Replicate documente des cibles 2K et 4K, tandis que fal expose la 4K ainsi que d’autres valeurs de schéma. Les limites exactes, le prix et le niveau disponible dépendent de l’hébergeur.

Faut-il convertir une vidéo de 24 i/s en 60 i/s ?

Uniquement si la livraison l’impose ou après avoir vérifié les artefacts d’interpolation. Une fréquence d’images plus élevée ne recrée pas un mouvement qui n’a jamais été capturé.

ByteDance est-il moins cher que Topaz ?

Pour quelques secondes via API, ByteDance hébergé peut être économique : fal facture $0.864 pour 30 secondes en 4K/30 standard. La documentation tarifaire officielle de Topaz Video indique $299 par an prépayés ou $33 par mois avec un engagement annuel. Le seuil de rentabilité dépend de votre GPU, de votre volume et de votre besoin éventuel de rendu cloud : comparez le coût annuel de la licence et du temps machine au nombre de secondes hébergées prévu.

Real-ESRGAN est-il gratuit pour la vidéo ?

Le projet officiel fournit du code open source et des modèles préentraînés, mais votre puissance de calcul, votre stockage et votre temps d’ingénierie ne sont pas gratuits. Le traitement image par image nécessite également un pipeline testé pour l’audio et la cohérence temporelle.

L’upscaler conserve-t-il l’audio ?

Ne le supposez pas. La sortie du modèle ou de l’API est un fichier vidéo, mais la documentation publique consultée ne fournit pas de garantie universelle de conservation audio. Gardez l’audio original et remuxez-le si nécessaire.

Quel outil utiliser pour les visages ?

Commencez par un court extrait et comparez ByteDance Pro, Topaz et un réglage conservateur de Real-ESRGAN. Écartez tout résultat qui modifie l’identité ou donne une peau plastique, même si les pores paraissent plus visibles.

Le choix que je déploierais

La séquence de production la plus sûre est la suivante : extraire un court extrait, rendre tous les candidats à la fréquence d’images réelle de livraison, examiner les visages, le texte et les mouvements à 100 %, puis traiter l’archive complète. Pour approfondir les workflows locaux associés, consultez le guide d’installation de Real-ESRGAN ainsi que la restauration des visages avec GFPGAN et CodeFormer.