Crea tus animaciones y composiciones visuales de forma fácil, rápida y sencilla con Kaiber. Tu prompt generará lo que te imagines. Tercera entrega de la serie de IAs generativas
Introducción
En esta nueva entrega de la serie, veremos qué es, cómo funciona y cómo utilizar esta herramienta de generación de vídeo a partir de descripciones en lenguaje natural, entre otras funciones.
Índice
¿Qué es?
Una plataforma de animación que utiliza inteligencia artificial para crear animaciones y videos a partir de otras imágenes o descripciones de texto en lenguaje natural, de la misma forma que hemos visto tanto en la primera como en la segunda entrega de la serie de IAs generativas pero enfocada en la creación artística.
Es una herramienta que te permitirá trabajar con el audio, como en la imagen. Permite a músicos y artistas mejorar sus vídeos generando animaciones musicales sincronizando los efectos visuales con el ritmo y la energía de la música.
También es un herramienta para generar animaciones según el prompt que introduzcas, como he mencionado antes.
Otra de las características de Kaiber es transformar la apariencia de los videos que introduces.
Por último, una de las características que ofrece es la de storyboarding, permite crear narrativas con facilidad a través de prompts.
Además, puedes elegir y personalizar los elementos de animación, ajustar el estilo y la apariencia de las animaciones con tan solo un par de clicks y crear una experiencia visual única a partir de un simple texto u otras imágenes.
Más adelante veremos cómo utilizar estos tres productos por separado y combinados.
¿Cómo funciona?
No hay mucha información disponible acerca del funcionamiento interno del modelo que potencia Kaiber. En el área de preguntas frecuentes, lo único que mencionan es esto: Es una plataforma creativa que utiliza la inteligencia artificial (IA) para generar vídeos e imágenes a partir de las entradas de los usuarios. Puedes introducir texto, lo que se conoce como «Prompts», para generar activos únicos desde cero. O puedes subir tus propias imágenes, música, vídeos y otros contenidos para incorporarlos a tus creaciones.
Sin embargo, en este artículo mencionan que es una red neuronal capaz de crear animaciones visualmente atractivas en cuestión de minutos. Pero no menciona nada acerca de cómo se ha entrenado, la arquitectura usada, el número de parámetros etc.
¿Cómo usarlo?
Puedes usarlo desde este enlace. Hay que mencionar que es una herramienta de pago, con versión de prueba de gratuita. Para acceder a cualquier producto de la web deberás crearte una cuenta o iniciar sesión si ya la tienes. En caso de que la necesites crear, lo podrás hacer a través de un formulario como este:
También deberemos aceptar el inicio del periodo de prueba gratuito o pagar una suscripción mensual, puedes consultar los planes aquí:
Con la prueba gratuita podremos usar la herramienta 7 días con 60 créditos.
Una vez hecho esto, veremos un panel con el que poder empezar a usarlo:
Créditos
El sistema de pago lo han planteado como créditos que se canjean por tiempo de uso. Ya que ofrecen distintas modalidades, cada una tendrá un coste en créditos específicos. En resumen ofrecen:
- 1 crédito por cada segundo usando text-to-video. Esto es la parte de introducir una descripción de texto en lenguaje natural y generar vídeo a partir de ello.
- 5 créditos por cada segundo usando Transform. La herramienta que parte de una imagen o vídeo y a través del prompt la modificas.
- En el caso de hacer upscaling (ampliar para mejorar la calidad del vídeo). Para 1080p consume 1 crédito por cada 10 segundos y para 4K el coste sería de 1 crédito por cada 5 segundos de uso.
Cada plan de pago ofrece una serie de créditos determinados.
Audioreactivity
En esta sección vamos a ver cómo usar la parte de generar animaciones musicales sincronizando los efectos visuales con el ritmo y la energía de la música.
Según el sitio oficial, Audioreactivity es una forma de arte que consiste en mezclar imágenes y música de manera que las imágenes respondan y resuenen con el audio. Añade una capa adicional de compromiso a los vídeos musicales al crear una conexión sincronizada entre los sentidos auditivo y visual.
También mencionan los beneficios que aporta esta herramienta al estado del arte de los editores de vídeo:
- Experiencia inmersiva: Los efectos visuales reactivos enriquecen la experiencia del público al sumergirlos en el mundo de la música.
- Actuaciones dinámicas: Al combinar los elementos visuales con la música, los artistas pueden producir espectáculos que agregan una dimensión adicional de emoción e involucramiento durante las presentaciones en vivo o la reproducción de vídeos.
- Atractivo visual mejorado: Los efectos visuales sincronizados generan una poderosa sinergia con la música, elevando el atractivo general de la experiencia.
Para usarlo dentro de Kaiber, debemos ir al panel de inicio, añadir el audio que queramos y continuar al prompt. Yo he usado uno de un sitio web de sonidos gratuitos.
De ahí pasaremos a la pantalla en la que debemos indicar, la descripción en lenguaje natural de la animación que queremos generar sincronizada con el audio:
Vemos que en la parte morada se incluye el sujeto de la acción, y en la parte verde se incluye el estilo o la estética que queramos. También observamos en la parte derecha una serie de opciones en formato burbuja, que nos ayudan a escribir un prompt más preciso.
En la parte superior derecha, vemos ejemplos de personas o sujetos a generar en morado. En cambio en la parte inferior, en verde, vemos ejemplos de estéticas que podemos aplicar a nuestro prompt para mejorar el rendimiento del modelo y la calidad de los resultados.
Una vez definidos los parámetros, continuamos con el siguiente paso que son los ajustes del vídeo, en la parte inferior derecha en Video settings.
En esta pantalla vamos a poder modificar la relación de aspecto, el movimiento de cámara, la evolución y la reactividad del audio al vídeo. La evolución se refiere a cómo el modelo va a modificar la entrada artificialmente, esto es especialmente útil cuando se da una imagen desde un inicio, que veremos más adelante.
En la parte inferior en morado, nos indica el grado de reactividad que queremos, en este caso he indicado un nivel alto de reactividad. Es importante tener en cuenta que por cada generación se nos va a cobrar una serie de créditos determinados. En el recuadro en rojo se muestra cuánto nos va a costar generar la animación, en este caso el coste será igual a la duración del audio que hemos introducido, que a la vez será la duración del vídeo generado. Una vez conforme con los ajustes, pasamos a la pre-visualización de frames a través del botón de la parte inferior derecha.
En el siguiente paso veremos esta pantalla de selección de keyframe. En este momento, el modelo ha generado 4 pre-visualizaciones en base al prompt indicado en la parte derecha. Aquí podemos seleccionar el estilo que queramos para nuestro vídeo final, de esta forma controlamos la generación.
En este momento solo nos queda esperar a que el modelo genere la animación:
Y este es el resultado, la calidad se ve un poco afectada al subirla a esta plataforma:
Este sería otro ejemplo:
Este es el resultado del prompt de arriba:
Animation
Ahora vamos a ver cómo generar animaciones únicamente con un prompt. Según comentan en el sitio web, dan una serie de consejos para mejorar las descripciones que se introducen en Kaiber, ya que estas juegan un papel vital en el rendimiento del mismo. Afirman que para empezar lo más efectivo es una idea simple y general, para materializar lo que queremos en un vídeo.
Con esta visión simplista de lo que queremos, haremos que el modelo se centre en los aspectos generales del vídeo que quieres generar, así el modelo aprenderá de forma iterativa y más precisa. Ya que podrás ir añadiendo detalles para que el modelo lo aprenda y entienda lo que quieres decir.
Vamos allá, igual que antes, puedes empezar desde el panel de inicio, en este caso simplemente tendrás que pulsar en el botón verde:
A partir de aquí el proceso es muy parecido al anterior:
Este es el resultado final:
Otro ejemplo:
Transform
En esta última parte de la herramienta, veremos cómo partir de una imagen o vídeo y transformarla en base al prompt que le introduzcamos.
Partiendo de una imagen
Y este es el resultado final:
Partiendo de un vídeo
En este caso vamos a seguir el mismo proceso que antes pero partiendo de un vídeo como input. Yo he usado un video de una pareja tocando el piano, obtenido de esta web de videos gratuitos.
Los pasos a seguir son los mismos, con la diferencia de empezar con un vídeo:
Y aquí está el resultado, el video original y el generado:
Storyboard
El objetivo principal de esta herramienta es ayudar a generar composiciones visuales y narrativas de forma fácil y sencilla de la mano de la inteligencia artificial. Cada vídeo debe generarse con la idea de pertenecer a una escena, esto es que cada video que se genere se haga con la perspectiva de realizar una composición visual.
Para poder hacer cada escena, Kaiber tiene la opción de añadir y ordenar los vídeos a generar:
Gracias a esta opción podemos contar historias de principio a fin completamente generadas por inteligencia artificial. Podremos proporcionar bloques en forma de escenas para componer la narrativa visual que queramos, es importante señalar que tendremos un máximo de 5 escenas por storyboard.
Ahora es tu turno y como siempre gracias a estos modelos generativos, dejar que tu imaginación sea la que ponga el límite a lo que quieras transmitir.
Derechos de uso
En el sitio web, distinguen entre los tipos de cuenta que tienen disponibles: gratuito y de pago. En el caso de contar con el plan gratuito o estar en el periodo de prueba, todos los artefactos generados con Kaiber tendrán licencia Commons Noncommercial 4.0 Attribution International License, lo que implica que puedes usar las creaciones en todos los ámbitos no comerciales.
En cambio, si cuentas con uno de los planes de pago que ofrece la plataforma, tendrás la completa autoría de las generaciones. Afirman que tiene plenos derechos comerciales sobre ellos. Es decir, tienes completa libertad para utilizar los vídeos con fines comerciales sin ninguna limitación.
Puedes leer más acerca de los derechos de uso de Kaiber aquí.
Próximas paradas
El tren de las IAs generativas continúa después de haber parado en estas estaciones :
- Tu cara donde te imagines: Fine-tuning de Stable Diffusion ¡Gratis! (I)
- Adobe Firefly: La nueva era de Adobe con IA (II)
- Kaiber: animaciones a golpe de prompt (III)
- Texto a vídeo con Gen-2 de Runway (IV)
Referencias
- https://kaiber.ai/product
- Exploring Innovative Lesser-Known Neural Networks: Kaiber, Runaway, and Copy AI
- Free sound effects
- Jaime Altozano – ¿Qué significa realmente «Inteligencia Artificial»? Subespacios, pareidolias y creatividad
- What are best practices for AI video prompting?
- What are the different features and tools available in Kaiber?
