Предположим, что при монтаже видео мы получаем фрагмент материала из фильма или сериала. Если мы воспроизведем его непосредственно в отредактированном видео, мы можем столкнуться с проблемами авторских прав. В большинстве случаев нам необходимо разделить человеческий голос и фоновую музыку, а затем. заменить фоновую музыку во второй раз. Для создания AI-библиотека искусственного интеллекта Spleeter может помочь нам завершить процесс разделения вокала и фоновой музыки для большинства материалов.

Источник модели Spleeter взят с крупнейшего музыкального веб-сайта Deezer. Нижний уровень основан на системе глубокого обучения Tensorflow. Он может идентифицировать фоновый музыкальный материал в материале с помощью модели, тем самым определяя, какая фоновая музыка является фоновой, а какая — внешним вокалом.

Установка сплитера

Выполните команду pip в терминале:

pip3 install spleeter --user

После успешной установки введите команду для проверки пути установки Spleeter:

pip show spleeter

Программа возвращает:

PS C:\Users\liuyue\www\videosite> pip show spleeter                                        WARNING: Ignoring invalid distribution -umpy (c:\python39\lib\site-packages)               Name: spleeter                                                                             Version: 2.3.2
Summary: The Deezer source separation library with pretrained models based on tensorflow.
Home-page: https://github.com/deezer/spleeter
Author: Deezer Research
Author-email: spleeter@deezer.com
License: MIT
Location: c:\users\liuyue\appdata\roaming\python\python39\site-packages                    Requires: ffmpeg-python, httpx, librosa, llvmlite, norbert, numpy, pandas, protobuf, tensorflow, typer

 Означает, что установка прошла успешно.

Если вы не хотите создавать среду глубокого обучения локально,Его также можно установить через образ Docker. О Докере,Пожалуйста, переместите：Дюйм простоя — это дюйм крови, сто тысяч контейнеров и сто тысяч солдат | Создайте высокодоступный веб-кластер Gunicorn+Flask на базе Kubernetes (k8s) под системой Win10/Mac. , мы не будем здесь вдаваться в подробности.

Запустите команду Docker:

docker pull deezer/spleeter:3.8-5stems

Эта программа плюс предварительно обученная модель требуют примерно 1,73 ГБ места на жестком диске.

Сплитер разделяет вокал и фоновую музыку.

Spleeter поддерживает разделение человеческих голосов и фоновой музыки как из видео, так и из аудиофайлов. Spleeter поставляется с тремя предварительно обученными моделями:

    1、человеческий голос&разделение аккомпанемента Модель 2 стебли, отдельные две звуковые дорожки

2. Барабанная, басовая и другая модель разделения звука (4 основы, разделенные на 4 дорожки)

3. Барабан, бас, фортепиано и другая модель разделения звука (5 стеблей, разделенных на 5 дорожек)

Последние две модели относительно сложны. Они могут разделять звуки вокала, ударных, баса и фортепиано на несколько дорожек. Обычно они подходят для использования профессионалами музыкальной индустрии.

В большинстве случаев нам нужно использовать только первые стемы модели 2, которые разделяют звук на две дорожки: звуки вокала и фоновой музыки:

spleeter separate -o /output/ -p spleeter:2stems /test.mp3

Здесь -o представляет выходной каталог, -p представляет выбранную модель разделения и, наконец, материал, который нужно разделить.

Первый запуск будет медленным, поскольку spleeter загрузит предварительно обученную модель размером около 1,73 г. После завершения запуска в выходном каталоге будет создан отдельный файл звуковой дорожки:

accompaniment.wav
vocals.wav

Accompaniment.wav представляет человеческий голос, а voices.wav — фоновую музыку.

Если он установлен на базе Docker, нужно запустить соответствующую команду Docker:

docker run -v $(pwd)/output:/output deezer/spleeter:3.8-5stems separate test.mp3 -o /output

Заключение

Spleeter можно рассматривать как лучшее местное решение для функции бесплатного разделения вокала и фоновой музыки. Помимо вторичного создания разделения вокала и фоновой музыки для материалов фильмов и телевизионных драм, если видеоблог записывается во внешней среде, окружающий звук. будет очень шумно. Если вам придется записывать на месте, вы можете использовать Spleeter, чтобы отделить человеческий голос от окружающего звука, избавив от необходимости дважды записывать закадровый голос.