Cómo creamos estos efectos de sonido

De la indicación al MP3

Cada sonido empieza como una entrada del catálogo: un nombre, una categoría, una duración objetivo, la forma que debe seguir su volumen y una indicación (prompt). La indicación es una descripción breve en inglés del propio sonido: el espacio en el que se oye, cómo empieza y cómo termina, y qué debe quedar fuera. Las indicaciones se redactaron por lotes a partir de una guía de estilo escrita, y una indicación negativa fija deja fuera la música, la melodía, el canto y la voz hablada.

Stable Audio 3 Small SFX generó de cuatro a seis tomas de cada indicación, cada una con una semilla fija, así que cualquier toma se puede reproducir exactamente. Todas las tomas se generan con cuatro segundos de duración, porque con peticiones más cortas el modelo saturaba el audio (clipping). Los sonidos que deben ser un solo evento, como un golpe en la puerta o un ping, se recortan después hasta su primer golpe.

Luego cada toma pasó por nueve comprobaciones automáticas: silencio, saturación, componente continua (DC offset), duración (en los sonidos cortos de un solo evento), forma del volumen, una cola cortada mientras todavía resonaba, ruido de fondo, energía concentrada casi por completo por debajo de 60 Hz cuando existe una toma más clara del mismo sonido, y casi duplicados de otra toma del mismo sonido. Entre las tomas que pasaron, un script (ingest.mjs con la opción --auto) se quedó con la de mayor puntuación shapeMatch, es decir, la que mejor ajusta su envolvente de volumen a la forma que pedimos. La elección la hace el script, no el oído.

A la toma elegida se le quitaron los silencios, se le pusieron fundidos cortos para que no haga clic, se ajustó a un pico de −1 dBFS y se codificó como MP3 estéreo a 320 kbps. El MP3 es el único formato que publicamos, por eso mantenemos una tasa de bits alta.

Las cifras

Entraron 6294 indicaciones en el modelo y salieron 29 364 tomas, a razón de un segundo de generación por toma, más o menos, en un MacBook Pro con chip M4. 4569 de esas indicaciones dieron al menos una toma que pasó todas las comprobaciones, y cada una aportó un sonido a este sitio: 4569 sonidos y 229 minutos de audio en total.

Por qué faltan algunos sonidos

Cuando ninguna toma de una indicación pasa las comprobaciones, ese sonido no se publica. No rellenamos el hueco con un sonido provisional, con un sustituto sintetizado ni con un archivo de otra biblioteca: cada botón de reproducir de este sitio reproduce el mismo archivo que descargarías. Las indicaciones que fallaron son candidatas a reescribirse y a otra ronda de generación, y por eso algunos sonidos populares, como los redobles de tambor y las explosiones, faltan o son escasos por ahora.

Quién hizo esto

Casper, ingeniero front-end y profesor en Taiwán, crea y mantiene esta biblioteca. Hizo la generación en su propio portátil, administra este sitio y decide qué se publica. También escribe un blog en chino en casper.tw. Puedes saber más sobre Casper en su página personal (en chino).

El modelo y la licencia

Los sonidos se generaron con Stable Audio 3 Small SFX, un modelo de efectos de sonido de Stability AI, ejecutado en local en ese mismo portátil. Lo usamos bajo la Stability AI Community License, y por eso cada página lleva el aviso Powered by Stability AI. La página de licencia explica cómo puedes usar los sonidos.

Cómo se escriben los textos de estas páginas

Los textos en inglés de estas páginas los redacta una IA a partir de los datos del catálogo, como los nombres de los sonidos, las etiquetas, las duraciones y las indicaciones, y Casper revisa cada página antes de abrirla a los buscadores. Los textos y los nombres de los sonidos en español los redactó una IA a partir del borrador en inglés y de esos mismos datos, y los revisó un segundo agente de IA; ninguna persona hispanohablante los ha revisado todavía. Los recuentos, las duraciones y los tamaños de archivo que ves en las páginas se calculan a partir de los datos, no se escriben a mano.