Дослідники представили програму LyricJam - передову обчислювальну систему, яка може генерувати тексти для живої інструментальної музики. Вона допоможе авторам писати тексти, які добре поєднуються з музикою, яку створюють композитори.
Новий штучний інтелект може придумувати слова до пісні прямо в той момент, поки вона грає. Отримані тексти несуть навіть більший сенс, ніж у більшості сучасних виконавців
За останні кілька десятиліть вчені розробили обчислювальні інструменти, які можуть генерувати певні типи даних, такі як зображення, слова або аудіозаписи. Ці системи можуть мати безліч застосувань, особливо у творчих галузях, пов'язаних зі створенням нових творів мистецтва.
Вчені Університету Ватерлоо вже кілька років проводять дослідження, присвячені генерації ліричної музики. Зовсім недавно інженери також почали досліджувати можливість генерації текстів для звукових доріжок інструментальної музики. У своєму новому дослідженні вчені представили систему LyricJam, яка може генерувати тексти, що підходять під конкретну музику.
Система вчених перетворює необроблені аудіофайли на спектрограми, а потім за допомогою моделей глибокого навчання генерує тексти пісень, що відповідають музиці, яку вони обробляли в режимі реального часування. Архітектура моделі складається з двох варіаційних автоенкодерів, один з яких призначений для аналізу звукових паттерів в мелодії, а інший - для аналізу згенерованого тексту.
Після цього вчені розробили дві нові програми, які дозволяють поєднувати результати роботи двох енкодерів, підганяючи таким чином слова під музику. Зрештою, ці механізми дозволяють програмі з машинним навчанням дізнатися, які типи текстів добре поєднуються з конкретною мелодією.
Головна особливість, яка відрізняє LyricJam від інших систем генерації текстів, розроблених у минулому, полягає в тому, що вона може створювати відповідні тексти в реальному часі - прямо в той момент, поки виконавець грає мелодію наживо. «Погратися» з новим штучним інтелектом або використовувати його для своєї роботи можна через сайт проекту.
Препринт статті опубліковано на сайті arXiv.org.