こんにちは。綾部です。

先日のAIを使った自動画像生成ツールの投稿に続いて、今回は音楽の自動生成ツールについてのトピックです。

近年、ディープラーニングの進歩により創作物へのAI適用は加速しており、文書から画像を生成するDALL-EやMidjourneyなどのツールがSNSでも話題になっていることを前回投稿しました。

また、創作物への応用範囲は画像生成のみならず、演奏、音楽などにも適用されています。

何か動画を紹介をしたいときに、その内容に合わせたBGMや音楽が流せたら便利ですよね。

そこで今回は、画像や映像に合わせて最適な音楽を生成するツールについて紹介します。

動画の色彩、画像の変化に合わせた音楽を生成！～PhotoMusic Infinite～

動画を読み込ませるだけで動画に合わせた音楽を生成するツールとしてPhotoMusic Infiniteというソフトウェアがあります。

出典：動画からリアルタイムに音楽を生成する「PhotoMusic Infinite」〜ロボット、ドローン、メタバースなどでの応用も〜（2021年12月22日時点）

生成技術は独自のものを用いており、曲調と呼ばれる「スタイル」を選ぶと、いろんなジャンルをベースにした音楽を自動生成してくれます。

これまでは、動画に合わせた音楽を自分で拾って聴いて取捨選択して探すような手間がありました。

一方で、PhotoMusic Infiniteを用いれば、素人であっても動画を読み込ませるだけで音楽を付けれるようので、とってもお手軽ですよね。

動画のシーンに合わせて効果音を生成！～Soundify～

動画のシーンに合わせた効果音を付与する音楽生成を研究したSoundifyというプロジェクトがあります。

読み込んだ動画から適切な効果音をサンプルライブラリーから探し出して付与することに成功しているそうです。

こちらの動画は、撮影時の音声が一切入っていないのですが、本プロジェクトにて映像にマッチする効果音を付与したものとのことです。

出典：AI×音楽分野の最新技術動向が満載のレポート「音楽生成AIの現状と可能性」が無料公開（2022年3月16日時点）

あたかも実際の現場で拾った音声の様ですよね。

今回ご紹介した2つの事例のような音楽生成技術などによって、音楽に関して素人という方々でも本格的な動画作成ができるようになる日がそこまで来ているかもしれませんね。