Audiocraft bergantung pada apa yang disebut Meta “EnCodec Neural Audio Codec”, yang memproses audio dalam format tokenized yang sama dengan chatbot AI reguler Anda seperti ChatGPT atau Bard. Dari sampel yang dibagikan oleh Meta sejauh ini, tampaknya Anda dapat menentukan jenis nada yang Anda inginkan dan sumber suaranya — yang dapat berupa alat musik atau objek lain mulai dari burung hingga bus — untuk menghasilkan klip suara menggunakan a immediate teks.
Berikut contoh immediate teks: “Nada bersahaja, sadar lingkungan, mengandung ukulele, harmonis, berangin, santai, instrumentasi organik, alur lembut.” Ini menghasilkan klip 30 detik, yang sebenarnya tidak terdengar buruk, seperti yang dapat Anda dengarkan di sini di posting weblog Meta. Senyaman kedengarannya, Anda tidak akan memiliki banyak kendali terperinci untuk membuat klip suara Anda seperti yang Anda miliki dengan instrumen nyata di tangan Anda atau synth profesional.
MusicGen, yang menurut Meta “disesuaikan secara khusus untuk pembuatan musik”, dilatih menggunakan sekitar 400.000 rekaman dan metadata senilai 20.000 jam musik. Namun sekali lagi, keragaman information pelatihan menjadi masalah dan Meta juga menyadarinya. Dataset pelatihan sebagian besar adalah musik gaya Barat dengan information audio-teks yang sesuai yang dimasukkan dalam bahasa Inggris. Sederhananya, Anda akan lebih beruntung menghasilkan lagu yang terinspirasi musik nation daripada melodi rakyat Persia. Salah satu tujuan utama di balik mendorong proyek ke dunia open-source adalah untuk mengerjakan aspek keragaman, tampaknya.