AIREITER

Guía de la API de comprensión de vídeo agéntica de Gemini

Última actualización: 2026-09-02 08:03:49

Una conferencia de dos horas y un clip de producto de 20 segundos no deberían analizarse de la misma forma. El nuevo modo de comprensión de vídeo agéntica de Gemini es un mejor punto de partida para vídeos largos o preguntas centradas en momentos concretos, pero el ahorro «de hasta» que anuncia Google son resultados de benchmarks, no una rebaja garantizada del 66 % en todas las facturas de la API.

Página de lanzamiento de la comprensión de vídeo agéntica de Google

Elige el modo de procesamiento según la tarea, no según la duración del vídeo

La comprensión de vídeo agéntica de Gemini encaja especialmente bien cuando hay que encontrar o volver a revisar momentos concretos. El procesamiento estático sigue siendo la opción más sencilla cuando un clip corto debe responder rápido o cuando necesitas una cobertura uniforme en cada intervalo muestreado.

Tu tareaEmpieza conMotivo
Encontrar un anuncio dentro de una conferencia, una presentación o un archivoAgénticoGemini puede buscar en la línea temporal y recuperar evidencias relevantes, en lugar de tratar todas las partes por igual.
Localizar un cambio de estado de una fracción de segundo o un corte de ediciónAgénticoEl modelo puede volver a muestrear una ventana relevante con mayor resolución temporal.
Contar acciones rápidas u objetos distintos a lo largo del tiempoAgénticoEl análisis dinámico está pensado para movimientos que un muestreo fijo puede pasar por alto.
Analizar un clip corto cuando lo más importante es el tiempo de respuestaEstáticoEl procesamiento a una frecuencia fija sigue un recorrido más sencillo y predecible.
Comprobar una cobertura uniforme de fotogramas en un intervalo conocidoEstáticoUn muestreo predecible puede ser más fácil de auditar que una recuperación selectiva.

Google destaca cuatro casos de uso en el lanzamiento: recuperación de momentos de menos de un segundo, búsquedas de tipo «aguja en un pajar» en vídeos largos, detección de anomalías y recuento de acciones u objetos. El anuncio oficial describe ejemplos que van desde tutoriales de 10 minutos hasta conferencias de 90 minutos y grabaciones de varias horas.

No existe un límite de duración publicado: un vídeo de cinco minutos con un evento oculto puede justificar el procesamiento agéntico, mientras que una grabación larga y uniforme quizá no.

Una función, dos formatos de solicitud en la API

«Agéntico» no es un campo JSON universal. El ejemplo de lanzamiento de Google utiliza la API de Interactions y coloca processing: "agentic" dentro de la entrada de vídeo; la ruta de GenerateContent expone el procesamiento multimedia en la parte de medios.

Interactions API: configura el procesamiento en la entrada de vídeo

La publicación de lanzamiento de Google muestra este patrón en Python para un vídeo de YouTube:

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-3.7-flash",
    input=[
        {
            "type": "video",
            "uri": "https://youtu.be/7Z5Vy9JBANs",
            "processing": "agentic"
        },
        {
            "type": "text",
            "text": "What are the 3 most important announcements in this keynote?",
        },
    ],
)

print(interaction.output_text)

Coloca este ajuste en el objeto de vídeo, no en un campo superior sin relación.

GenerateContent: configura el procesamiento multimedia en la parte de medios

La documentación sobre comprensión de vídeo de Gemini explica por separado el formato de GenerateContent. En este tipo de solicitud, la entrada multimedia utiliza media_processing: "AGENTIC"; en JavaScript se emplea la propiedad equivalente en camelCase, mediaProcessing.

Un esquema mínimo en Python sería el siguiente:

from google import genai
from google.genai import types

client = genai.Client()
video_uri = "YOUR_VIDEO_FILE_URI"

response = client.models.generate_content(
    model="gemini-3.7-flash",
    contents=[
        types.Part.from_uri(
            file_uri=video_uri,
            mime_type="video/mp4",
            media_processing="AGENTIC",
        ),
        "Find the first product announcement and return its timestamp.",
    ],
)

print(response.text)

Si trabajas con un vídeo local, sustituye YOUR_VIDEO_FILE_URI por la URI devuelta por el flujo de subida de archivos de Gemini y espera a que el archivo esté listo antes de enviar la parte multimedia. Consulta la guía oficial actual sobre comprensión de vídeo para confirmar los detalles del SDK correspondientes a la versión instalada de tu cliente.

Ruta de la APIConfiguración mostrada en la documentaciónDónde se coloca
Interactions APIprocessing: "agentic"El objeto de entrada de vídeo
GenerateContent APImedia_processing: "AGENTIC"La parte de entrada multimedia
GenerateContent en JavaScriptmediaProcessingLa parte de entrada multimedia

No intercambies los fragmentos al migrar de client.interactions.create a generateContent.

Qué hace realmente la comprensión de vídeo agéntica

El procesamiento estático analiza el vídeo a una frecuencia de fotogramas fija. Google indica que el valor predeterminado es de 1 fotograma por segundo, aunque la API permite ajustar esa frecuencia, y entrega los fotogramas muestreados al modelo para que los analice.

El flujo agéntico permite que Gemini busque y recorra la línea temporal, elija una velocidad adecuada y utilice fotogramas visuales, audio o transcripciones, en lugar de cargar toda la grabación de manera uniforme:

  1. Solicita el segmento o la modalidad relevante para la pregunta.
  2. Examina los fotogramas, el audio o la transcripción devueltos.
  3. Vuelve a revisar un intervalo más estrecho cuando se necesita mayor precisión temporal.

El muestreo estático ofrece a los desarrolladores una regla de cobertura sencilla. El procesamiento agéntico deja en manos del modelo una mayor responsabilidad a la hora de decidir dónde mirar, así que los sistemas en producción deberían validar las marcas de tiempo y los recuentos con vídeos representativos.

La cifra de ahorro no equivale a un descuento del 66 %

Google comunica los siguientes resultados en benchmarks estándar de análisis de vídeo, con las mejoras más destacadas en vídeos largos:

MétricaMáximo comunicado por GoogleLo que no promete
Consumo de tokensHasta un 88 % menosTu carga de trabajo no tiene por qué utilizar un 88 % menos de tokens.
Coste del análisisHasta un 66 % menosNo es una reducción fija del precio del 66 %.
PrecisiónHasta un 7 % másNo todos los vídeos, prompts y modelos mejorarán un 7 %.

Según el anuncio de lanzamiento de Google, la comprensión de vídeo agéntica utiliza los precios estándar de tokens de la API de Gemini y no tiene ninguna tarifa adicional por la función. El coste real sigue dependiendo del modelo, del contenido recuperado, de la solicitud y de la respuesta. Para consultar el contexto general de precios de tokens y modelos, visita la guía de precios de la API de Gemini 3.7 Flash.

Si vas a formular preguntas repetidas sobre la misma grabación, almacena en caché el contexto del vídeo cuando el flujo de la API lo permita. Las notas prácticas de Google Cloud sobre análisis de vídeo señalan la caché de contexto como una palanca clave para reducir costes en análisis repetidos.

Disponibilidad y límites del despliegue

La comprensión de vídeo agéntica es una capacidad de procesamiento disponible en tres modelos de la familia Flash, no un modelo de vídeo anunciado por separado. Google afirma que se lanzó el 1 de septiembre de 2026 para los siguientes modelos y superficies:

ElementoDisponibilidad indicada por Google
Modelos compatiblesGemini 3.7 Flash, Gemini 3.6 Flash y Gemini 3.5 Flash-Lite
Superficies actuales para desarrolladoresGemini API en Google AI Studio y Gemini Enterprise Agent Platform
Fuentes de entradaArchivos de vídeo subidos y vídeos de YouTube
PreciosPrecios estándar de tokens de la API de Gemini; no hay una tarifa adicional por la función agéntica
Aplicación Gemini para consumidoresDespliegue previsto en los modelos Flash y Flash-Lite, sin una fecha exacta indicada
YouTube Ask YouTubePrevisto para los próximos meses, sin una fecha exacta indicada

Los despliegues previstos para consumidores y YouTube no demuestran que la función esté disponible actualmente para todas las cuentas.

Cuatro pruebas antes de convertirlo en el modo predeterminado

El anuncio de lanzamiento describe las capacidades, pero no explica cómo se comportará el modo con tus vídeos concretos. Prepara un conjunto de evaluación pequeño antes de sustituir un flujo estático que ya tengas en funcionamiento.

  1. Recuperación de marcas de tiempo: Incluye clips con cambios de escena, apariciones breves y un evento cuyo inicio y final exactos sean importantes. Compara las marcas de tiempo devueltas con una referencia revisada por una persona.
  2. Recuento de acciones rápidas: Utiliza vídeos con movimientos repetidos u objetos que atraviesen el encuadre. Comprueba el total y si la respuesta explica el intervalo utilizado para contar.
  3. Fundamentación en audio y transcripción: Formula preguntas en las que las palabras pronunciadas y la acción visible sean diferentes. Verifica que la respuesta no sustituya silenciosamente una modalidad por la otra.
  4. Comportamiento operativo: Ejecuta los mismos archivos en ambos modos y registra los tokens de entrada y salida, la latencia total, los reintentos, las respuestas vacías, los eventos omitidos y el resultado del modo estático como alternativa. Conserva esta alternativa si la recuperación selectiva no encuentra evidencias o añade una demora inaceptable.

No establezcas una regla rígida del tipo «usar agéntico por encima de X minutos» basándote en la publicación de lanzamiento. El material publicado respalda una selección basada en la tarea, no un umbral de duración universal.

Preguntas frecuentes sobre la API de comprensión de vídeo agéntica de Gemini

¿La comprensión de vídeo agéntica es un nuevo modelo de Gemini?

No. Google la presenta como una capacidad de comprensión de vídeo disponible en Gemini 3.7 Flash, Gemini 3.6 Flash y Gemini 3.5 Flash-Lite.

¿Puedo utilizar un vídeo subido en lugar de una URL de YouTube?

Sí. Google incluye los archivos de vídeo subidos y los vídeos de YouTube entre las entradas compatibles de la API. Si utilizas un archivo local, súbelo primero y pasa la URI devuelta en la parte multimedia cuando el procesamiento esté listo.

¿El procesamiento de vídeo agéntico tiene un coste adicional?

Google afirma que no hay ninguna tarifa adicional por la función. Se aplican los precios normales de tokens de la API de Gemini y la factura final depende del contenido recuperado y del resto de la solicitud.

Ejecuta un conjunto representativo en ambos modos y conserva el procesamiento agéntico como opción predeterminada solo allí donde la calidad de las evidencias y el coste de tokens medidos encajen con los objetivos de la aplicación.