ByteDance Video Upscaler vs. Topaz und Real-ESRGAN

ByteDance eignet sich für gehostetes Upscaling und Interpolation per API, Topaz für die interaktive lokale Restaurierung und Real-ESRGAN für selbst betriebene Pipelines. Entscheidend sind jedoch Zustand des Ausgangsmaterials und Anforderungen an die Auslieferung – nicht das 4K-Label.

Die Kurzfassung: Ausgangsmaterial statt Zielauflösung entscheidet

Der ByteDance Video Upscaler ist der bequeme API-Weg, wenn aus AI-generierten Clips, UGC, Kurzserien oder altem Filmmaterial eine Ausgabedatei in 1080p, 2K oder 4K werden soll. Topaz Video passt besser, wenn Cutter lokale Vorschauen und manuelle Kontrolle über die Modelle brauchen. Real-ESRGAN ist die günstige, skriptfähige Basis für eigene Pipelines. Bei der Verarbeitung einzelner Frames muss man allerdings zusätzliche Arbeit investieren, damit kein Flimmern entsteht und der Ton erhalten bleibt.

Welche Optionen der ByteDance Video Upscaler tatsächlich bietet

Auf der Replicate-Seite wird das Modell als ByteDances vCube Video Upscaler bezeichnet. Dokumentiert sind Eingaben in 480p, 720p und 1080p mit Ausgabe in 2K oder 4K. Verbesserung und Interpolation können dabei in einem Durchlauf erfolgen. Es handelt sich nicht um einen Still-to-Video-Generator, sondern um die Verarbeitung einer vorhandenen Videodatei.

Die wichtigsten Einstellungen sind Szenen-Preset, Verarbeitungsstufe, Zielauflösung und Zielframerate. Replicate führt die Szenen aigc, short_series, ugc, old_film und common auf. Außerdem beschreibt die Seite die Stufe standard sowie eine nur per Allowlist zugängliche pro-Stufe. Laut Replicate-README dauert ein 5-Sekunden-Clip typischerweise 3–5 Minuten. Für Echtzeitvorschauen ist das also nicht gedacht.

fal bietet mehr Optionen als Replicate, darunter Stufen, Fidelity, Farbtiefe, Presets und Zielschemawerte bis 8K. Die öffentlich sichtbare Preisliste deckt allerdings nur 1080p, 2K und 4K ab.

Welche Einstellungen die Rechnung verändern

fal nennt für die Standardverarbeitung mit 30 fps Preise von $0.0072 pro Sekunde für 1080p, $0.0144 für 2K und $0.0288 für 4K. Laut Anbieter verdoppeln 60 fps die Kosten, während Pro das Zehnfache des normalen Preises kostet. Ein 30-sekündiges Rendering in 4K/30 kommt damit im Standardmodus auf etwa $0.864 – noch ohne kontospezifische Gebühren.

Das sind Preise von fal und keine allgemein gültigen ByteDance-Tarife. BytePlus VOD verwendet eine separate minutenbasierte Preisstruktur, die sich nach Stufe, Auflösung und Frameratenbereich richtet.

Altes Material fair vergleichen, ohne sich selbst zu täuschen

Ein brauchbarer Vergleich braucht dieselbe Quelle und dasselbe Ausgabeziel. Nimm einen 5–10 Sekunden langen Ausschnitt aus dem alten Video, der ein Gesicht, feine Texturen, Untertitel oder Beschriftungen, eine bewegte Kante und eine dunkle, gleichmäßige Fläche enthält. Quelle, Ausschnitt, Ausgabeauflösung, Framerate, Codec und Schritt zum erneuten Einbinden des Tons müssen identisch bleiben.

Als Benchmark taugen die Ergebnisse nur, wenn Quelle, Einstellungen, Laufzeit, Kosten und eine verblindete Gegenüberstellung dokumentiert werden. Anbieterseiten belegen Funktionen und Preise, küren aber keinen universellen Qualitätsgewinner.

Die Tabelle ist deshalb eine Orientierung für die Wahl der Pipeline und keine Qualitätsgarantie. Teste das Material, bevor du einen vollständigen Durchlauf startest. Die typischen Fehler sind wichtiger als das Logo: Winzige Untertitel können zu geschärften Strichen werden, Gesichter wirken wachsartig oder überzeichnet, Filmkorn verwandelt sich in kriechendes Rauschen. Ein 24-fps-Video kann bei der Ausgabe mit 60 fps zwar flüssiger aussehen, enthält dadurch aber keine neu aufgenommenen Bewegungen. Weiches, stark komprimiertes, interlaced vorliegendes oder schlecht belichtetes Material kann in 4K sogar schlechter wirken, weil Ringing und halluzinierte Details stärker auffallen.

API-Workflow: Auftrag senden, Status prüfen, herunterladen und stapeln

Die fal-API arbeitet asynchron. Der Schlüssel bleibt auf dem Server, anschließend sendest du eine öffentliche URL oder eine hochgeladene Datei, prüfst die Queue und lädst die zurückgegebene MP4 herunter. Ein minimaler Python-Worker kann so aussehen:

import os
import fal_client

VIDEO = "https://example.com/archive/clip.mp4"

result = fal_client.subscribe(
    "fal-ai/bytedance-upscaler/upscale/video",
    arguments={
        "video_url": VIDEO,
        "target_resolution": "4k",
        "target_fps": 30,
        "enhancement_preset": "old_film",
        "enhancement_tier": "standard",
        "fidelity": "high",
    },
    with_logs=True,
)
print(result["video"]["url"])

Für produktive Batch-Verarbeitung ersetzt du subscribe durch das Einreihen in die Queue plus Webhook oder Statusabfrage. Baue Wiederholungen für vorübergehende Fehler ein, protokolliere die Request-ID des Anbieters und begrenze die Parallelität. So erzeugt ein Ordner voller kurzer Clips keine unkontrollierte Rechnung. Verarbeite zuerst einen 5–10 Sekunden langen Ausschnitt und sende erst danach die vollständige Quelle ab.

Der Frame-Workflow von Real-ESRGAN ist manueller: Frames mit FFmpeg extrahieren, das offizielle Video-Inferenzskript oder ein Bildmodell ausführen, die nummerierten Frames mit der ursprünglichen Framerate wieder zusammensetzen und den Originalton erneut einbinden. Frame-Nummerierung beibehalten und verlustfreie oder hochwertige Zwischenformate verwenden – sonst testet der Vergleich genauso stark deinen Zwischen-Codec wie den Upscaler.

Wann Upscaling das Material verschlechtert

Brich den Durchlauf ab oder reduziere das Ziel, wenn in einem kurzen Test einer dieser Fälle auftritt:

1. Text verändert seine Form. Das Modell rekonstruiert eine Vermutung, statt lesbare Zeichen wiederherzustellen.
2. Gesichter verändern sich von Frame zu Frame. Wähle eine konservativere Stufe oder einen lokalen Workflow mit besserer Kontrolle.
3. Kanten zeigen Ringing. Starkes Schärfen zeichnet Kontraste nach, statt Details wiederherzustellen.
4. Das Korn kriecht. Aus Rauschen ist zeitliche Textur geworden; vor der Vergrößerung kann eine Entrauschung nötig sein.
5. Bewegungen wirken unnatürlich. Die Interpolation hat das Timing verändert oder überblendete Objekte erzeugt.
6. Die Quelle ist interlaced oder schlecht belichtet. Erst deinterlacen oder die Quelle korrigieren.
7. Das Ausgabeziel ist nur 1080p. Ein 4K-Rendering verursacht zusätzliche Kosten und kann Artefakte sichtbar machen, die beim Herunterskalieren ohnehin verschwinden.

ByteDances old_film-Preset ist für Archivmaterial einen Test wert. Die öffentlichen Modellseiten versprechen jedoch weder die Entfernung von Kratzern noch Flicker-Korrektur, Audioerhalt oder einen bestimmten Codec. Das sind Fragen des Workflows und keine garantierten Funktionen.

FAQ: Praktische Entscheidungen vor dem Rendering

Kann ByteDance Videos auf 4K hochskalieren?

Ja. Replicate dokumentiert Ziele in 2K und 4K, während fal 4K und zusätzliche Schemwerte anbietet. Die genauen Grenzen, Preise und verfügbaren Stufen hängen vom jeweiligen Host ab.

Soll ich 24 fps in 60 fps umwandeln?

Nur wenn die Auslieferung das verlangt oder du die Interpolationsartefakte geprüft hast. Eine höhere Framerate erzeugt keine Bewegungen, die nie aufgenommen wurden.

Ist ByteDance günstiger als Topaz?

Bei wenigen API-Sekunden kann gehostetes ByteDance günstig sein; fal nennt für 30 Sekunden in 4K/30 im Standardmodus $0.864. Die offizielle Preisdokumentation von Topaz Video nennt $299 pro Jahr bei Vorauszahlung oder $33 pro Monat bei jährlicher Vertragsbindung. Der Break-even hängt von GPU, Volumen und der Frage ab, ob du Cloud-Rendering brauchst: Vergleiche die jährlichen Lizenzkosten plus Hardwarezeit mit den erwarteten gehosteten Sekunden.

Ist Real-ESRGAN für Videos kostenlos?

Das offizielle Projekt stellt Open-Source-Code und vortrainierte Modelle bereit. Rechenleistung, Speicher und Entwicklungszeit sind trotzdem nicht kostenlos. Die Verarbeitung einzelner Frames braucht außerdem eine getestete Pipeline für Audio und zeitliche Konsistenz.

Bleibt der Ton beim Upscaling erhalten?

Davon solltest du nicht automatisch ausgehen. Das Modell beziehungsweise die API liefert eine Videodatei, doch die geprüfte öffentliche Dokumentation gibt keine allgemeine Garantie für den Erhalt des Tons. Bewahre die Originalspur auf und binde sie bei Bedarf erneut ein.

Was sollte ich für Gesichter verwenden?

Starte mit einem kurzen Ausschnitt und vergleiche ByteDance Pro, Topaz und eine konservative Real-ESRGAN-Einstellung. Verwirf jedes Ergebnis, das die Identität verändert oder künstliche Plastikhaut erzeugt – auch dann, wenn dadurch mehr Poren sichtbar sind.

Meine Empfehlung für den produktiven Einsatz

Die sicherste Reihenfolge sieht so aus: kurzen Ausschnitt extrahieren, alle Kandidaten mit der tatsächlichen Ausgabeframerate rendern, Gesichter, Text und Bewegungen bei 100 Prozent prüfen und erst danach das Archiv verarbeiten. Für verwandte lokale Workflows findest du hier den Real-ESRGAN-Einrichtungsleitfaden sowie Informationen zu Gesichtsrestaurierung mit GFPGAN und CodeFormer.