He recopilado más de 80 herramientas para editar vídeos con IA

Ayer os pregunté qué herramientas utilizabais para editar vídeos con IA.

Entre vuestras recomendaciones y lo que he estado investigando después, he acabado recopilando más de 80 herramientas, librerías y repositorios.

Y hay bastante más de lo que esperaba.

La gracia es que muchas se pueden combinar con Claude Code para editar grabaciones, crear animaciones, generar escenas, poner voces o automatizar prácticamente todo el proceso.

He intentado ordenarlas según para qué sirven. Os dejo también los enlaces al final 👇

1️⃣ Editar vídeos que ya tienes grabados

Aquí hay varias formas de hacerlo.

Si prefieres un editor tradicional:

🔸 Premiere: editor profesional con funciones de IA, edición desde transcripciones y asistente por chat en beta.
🔸 DaVinci Resolve: edición, color, efectos y audio. Tiene una versión gratuita bastante completa.
🔸 CapCut: edición rápida para redes, subtítulos, plantillas y efectos.
🔸 Descript: edición desde la transcripción, muy útil para vídeos hablando a cámara.

Pero también puedes editar vídeos directamente mediante código, utilizando agentes:

🔸 HyperFrames: framework basado en HTML para montar vídeos, añadir efectos, subtítulos y animaciones. Incluye templates y skills para agentes.
🔸 Remotion: permite crear y editar vídeos utilizando React. Muy interesante para combinar grabaciones con elementos animados.
🔸 FFmpeg: cortes, transiciones, zooms, corrección de color, audio, subtítulos y renderizado.
🔸 MoviePy: alternativa en Python para automatizar operaciones de edición.

Y existen herramientas que automatizan directamente una parte del montaje:

🔸 Gling: elimina silencios, muletillas y tomas fallidas.
🔸 Eddie AI: permite pedir montajes por chat y exportarlos a una timeline editable.
🔸 Kapwing: edición de vídeo mediante instrucciones y transcripciones.

2️⃣ Transcripciones, cortes y subtítulos

Esta parte me parece especialmente interesante porque permite editar el vídeo a partir de lo que se está diciendo.

🔸 Whisper / whisper.cpp: transcripción de audio y vídeo, también en local.
🔸 WhisperX: transcripción con timestamps por palabra y detección de hablantes.
🔸 FFmpeg: detección de silencios y cortes automáticos mediante scripts.
🔸 Auto-Editor: elimina silencios y automatiza cortes.
🔸 Captions: subtítulos animados y edición automática para vídeos cortos.
🔸 Submagic: subtítulos, efectos y elementos visuales para shorts.

Por ejemplo, puedes utilizar WhisperX para obtener la transcripción, pedirle a Claude que decida qué partes eliminar y ejecutar los cortes con FFmpeg.

3️⃣ Animaciones, motion graphics e infografías

Aquí es donde más herramientas interesantes he encontrado.

🔸 HyperFrames: animaciones, títulos, gráficos, overlays y composiciones utilizando HTML/CSS.
🔸 Remotion: motion graphics y animaciones programadas con React.
🔸 GSAP: animaciones y control preciso de timelines.
🔸 Motion Canvas: animaciones explicativas programadas con TypeScript.
🔸 Manim: especialmente interesante para animaciones matemáticas y educativas.
🔸 Lottie y Rive: animaciones vectoriales reutilizables.
🔸 Three.js y React Three Fiber: escenas y elementos 3D.
🔸 Blender: modelado, animación y renderizado 3D.
🔸 After Effects: motion graphics profesionales, con distintas posibilidades de automatización.

Para gráficos animados, presentaciones de productos o vídeos explicativos, empezaría echándole un ojo a HyperFrames y Remotion.

4️⃣ Generar vídeos desde cero o modificar escenas

Aquí cambia bastante la cosa. Ya no necesitas necesariamente una grabación.

🔸 Kling: generación de vídeo a partir de texto o imágenes.
🔸 Seedance: generación de escenas con movimiento y audio.
🔸 Veo / Google Flow: generación de vídeo con herramientas de dirección de escenas.
🔸 Runway: generación de vídeo y modificación de material existente.
🔸 Higgsfield: plataforma que reúne modelos y herramientas para crear y transformar vídeo.
🔸 Adobe Firefly: generación de vídeo integrada en el ecosistema Adobe.
🔸 ComfyUI: workflows de generación personalizables, incluidos modelos que puedes ejecutar localmente.

Estas herramientas generan o transforman los vídeos. Después puedes utilizar HyperFrames, Remotion, Premiere o FFmpeg para montar todas las escenas.

5️⃣ Voces, música y sonido

El audio es otra parte que se puede automatizar bastante.

🔸 ElevenLabs: generación y transformación de voces.
🔸 Kokoro: alternativa abierta para generar voz.
🔸 Chimera: combina generación de voz de ElevenLabs con vídeo de Seedance.
🔸 Sync: sincronización labial de vídeo con audio.
🔸 Adobe Podcast: mejora y limpieza de grabaciones de voz.
🔸 Auphonic: procesamiento y normalización automática de audio.
🔸 Instant Soundtracks: generación de música y efectos de sonido para acompañar vídeos.

También puedes utilizar FFmpeg para mezclar pistas, normalizar volumen o bajar automáticamente la música cuando alguien habla.

6️⃣ Recursos visuales e inspiración

Algo que me habéis recomendado bastante es darle al agente referencias visuales y componentes que pueda reutilizar.

Algunos recursos interesantes:
🔸 Prompt Motion: referencias e inspiración para animaciones.
🔸 60fps.design: ejemplos de motion design e interacciones.
🔸 Recraft: generación de imágenes y gráficos vectoriales.
🔸 Phosphor Icons: iconos que puedes integrar en animaciones.
🔸 Backgrounds Supply: fondos para composiciones.
🔸 Refero Styles: referencias de estilos visuales.
🔸 Figma MCP: permite incorporar diseños y referencias de Figma al flujo de trabajo.

También puedes darle a Claude referencias de animaciones que te gusten y pedirle que las recree con HyperFrames, Remotion o GSAP.

7️⃣ Convertir vídeos largos en shorts y automatizar publicaciones

Por último, hay herramientas más específicas para reutilizar contenido y producir vídeos en volumen.

🔸 OpusClip: convierte vídeos largos en clips cortos.
🔸 Riverside: grabación de podcasts y entrevistas, con herramientas para extraer clips.
🔸 Creatomate: genera muchas versiones de vídeos a partir de plantillas y datos.
🔸 Canva Bulk Create: creación de piezas visuales en lote.
🔸 Postiz: programación y publicación de contenido en redes.

Esto último puede ser interesante para automatizar vídeos de productos, clips de podcasts o formatos que repites todas las semanas.

8️⃣ ¿Y qué IA utilizo para coordinarlo todo?

Parece que Opus 5.5 es el rey (alguno también ha recomendado Sonnet 5.5). Pero parece que los modelos de OpenAI no están a la altura.

La idea es que el agente pueda leer transcripciones, decidir cortes, generar código de animaciones, ejecutar FFmpeg, renderizar y revisar el resultado.

Y aquí hay varios repositorios con skills y flujos de edición ya preparados:
🔸 HyperFrames Skills
🔸 Remotion Agent Skills
🔸 ffmpeg-skill
🔸 video-use
🔸 Herk Edit Kit
🔸 Fragua

Creo que esta es la parte que más merece la pena investigar: hasta qué punto podemos construir un flujo de edición reutilizable y controlarlo todo mediante instrucciones.

Todavía no he probado todas estas herramientas, así que no me atrevería a decir cuáles funcionan mejor.

Pero entre vuestras recomendaciones y todos los repositorios que he ido encontrando, hay material para experimentar durante una buena temporada.

Si utilizáis alguna combinación que os esté dando buenos resultados, compartidla. Me interesa especialmente lo que estéis consiguiendo con Claude Code, HyperFrames, Remotion y FFmpeg.

Edición:
capcut.com/
descript.com/
blackmagicdesign.com/products/davincires…
adobe.com/products/premiere.html

Clips:
opus.pro/
riverside.com/

Agentes:
palmier.io/
github.com/ggml-org/whisper.cpp
github.com/m-bain/whisperX
github.com/kajisho5/ffmpeg-skill
auto-editor.com/

Animación:
hyperframes.heygen.com/
remotion.dev/
adobe.com/products/aftereffects.html

Generación y transformación:
kling.ai/
seed.bytedance.com/en/
flow.google/
higgsfield.ai/
firefly.adobe.com/
runwayml.com/

Audio:
elevenlabs.io/
podcast.adobe.com/en/enhancespeech
auphonic.com/