効果音の作り方

プロンプトからMP3まで

それぞれの音は、カタログの1項目から始まります。名前、カテゴリ、目標の長さ、音量がたどるべき形、そしてプロンプトです。プロンプトは音そのものを短く説明した英語の一文で、聞こえる空間、始まり方と終わり方、入れてはいけないものを書いています。プロンプトは文章のスタイルガイドをもとにまとめて下書きし、音楽、メロディー、歌声、話し声が入らないよう、共通のネガティブプロンプトを常にかけています。

Stable Audio 3 Small SFX で、プロンプトごとに4〜6本のテイクを生成しました。テイクごとにシードを固定しているので、どのテイクも再現できます。生成する長さはすべて4秒です。短く指定するとモデルの出力が音割れ（クリッピング）してしまうためです。ノックや「ピン」と鳴る音のように1回だけ鳴るはずの音は、あとから最初の1打だけに切り詰めています。

各テイクは9種類の自動チェックを通ります。無音、音割れ（クリッピング）、DCオフセット、長さ（短い単発音の場合）、音量の形、鳴り終わる前に切れた余韻、背景ノイズ、同じ音にもっとクリアなテイクがあるのにエネルギーのほとんどが60Hz未満にあるもの、そして同じ音の別テイクとほぼ同じもの。チェックを通ったテイクの中から、スクリプト（ingest.mjs の --auto オプション）が shapeMatch スコアのいちばん高いもの、つまり音量の包絡線が指定した形にいちばん近いものを残しました。選んでいるのはスクリプトで、人の耳ではありません。

残したテイクは前後の無音を削り、クリックノイズが出ないよう短いフェードをかけ、ピークを−1 dBFSにそろえてから、320kbpsのステレオMP3に変換しています。公開する形式はMP3だけなので、ビットレートは高めにしています。

数字で見る

モデルに入れたプロンプトは6,294件、出てきたテイクは29,364本です。M4チップのMacBook Proで、1テイクあたり約1秒で生成しました。そのうち4,569件のプロンプトで、すべてのチェックを通るテイクが少なくとも1本得られ、それぞれが1つの音としてこのサイトに載っています。合計4,569種、229分の音です。

ない音がある理由

あるプロンプトのテイクが1本もチェックを通らなかった場合、その音は公開しません。仮の音や、シンセで作った代わりの音、ほかのライブラリのファイルで穴埋めすることもしません。このサイトの再生ボタンはすべて、ダウンロードするのと同じファイルを再生します。通らなかったプロンプトは、書き直して生成し直す候補になっています。ドラムロールや爆発音のような人気の音がまだない、または少ないのはそのためです。

作っている人

このライブラリを作って運営しているのは、台湾のフロントエンドエンジニアで講師の Casper（卡斯伯）です。生成は自分のノートパソコンで行い、サイトの運営と、どの音を公開するかの判断も Casper がしています。casper.tw では中国語のブログも書いています。Casper について、くわしくはプロフィールページ（中国語）をご覧ください。

モデルとライセンス

音の生成には、Stability AI の効果音モデル Stable Audio 3 Small SFX を、同じノートパソコン上で動かして使いました。Stability AI Community License のもとで利用しているため、すべてのページに Powered by Stability AI の表示があります。音の使い方は利用規約のページで説明しています。

このページの文章について

日本語の文章と各効果音の日本語名は、カタログのデータ（音の名前、タグ、長さ、プロンプト）と英語版の文章をもとにAIが下書きし、別のAIが内容を見直したものです。英語版の文章もAIが下書きし、Casper が確認しています。ページに出ている数、長さ、ファイルサイズは、手で入力したものではなく、データから計算しています。