Всем привет, мы снова встретились, я ваш друг Цюаньчжаньцзюнь.

Предисловие: Благодаря постоянному обновлению пропускной способности и Wi-Fi,Популярность мобильных телефонов,прямая трансляция Технологии продолжают прорываться, различные пороги снижаются, и все прямо Наступила эра трансляции. прямой трансляция также проникла во все сферы жизни.,Например, онлайн-обучение.,Есть также финансовые отрасли и т. д.,Постепенно это стало стандартной функцией во всех сферах жизни.

Yunfan Acceleration занимается предоставлением корпоративных услуг в области потокового мультимедиа с момента своего основания.,специально дляпрямая трансляция,Уже запущен для разных сценариевпрямая Облачное решение для трансляции может сэкономить больше затрат на исследования и разработки для клиентов, обеспечивая при этом удобство для пользователей. Будь то трансформация традиционного предприятия или начинающего предприятия, Yunfan Acceleration поможет в этом. трансляцияизменять предлагает целевые решения. В настоящее время Yunfan Acceleration установила отношения сотрудничества с более чем 50 ведущими клиентами отрасли в области потокового мультимедиа и предоставления услуг.

По мнению репортера, часть решения для прямой трансляции Lianmai технически разложена. Фактически, для Lianmai есть несколько ключевых моментов: достаточно ли низкая задержка, чтобы обеспечить взаимодействие в реальном времени, и совместимо ли оно с. все мобильные телефоны Терминал, охватывающий все параметры пользователя и протокола.

Что такое Лианмай?

Чтобы понять архитектуру реализации мобильной потоковой передачи, необходимо определить участвующие роли. Сначала представим клиента (как показано на рисунке 1). В соответствии с различиями в ролях пользователей в прямой трансляции они определяются как. : ведущий, ведущий прямого эфира (фанаты) и аудитория.

Якорь,Относится к ведущему, который в данный момент ведет прямую трансляцию.,Эквивалент хоста,Вы можете активно приглашать пользователей присоединиться к микрофону или одобрить запрос текущей аудитории на подключение к микрофону.,Вы также можете отключить непрерывную пшеницу определенного человека.；ЯкорьконецвидеоОбычно отображается в полноэкранном режиме。

Фанаты (поклонники) — это зрители, которые участвуют в текущей трансляции. Они могут подать заявку ведущему на трансляцию или принять приглашение ведущего присоединиться к трансляции аудио и видео. Если они не хотят присоединяться к трансляции, вещатели. может активно отключаться. Видео Lianmai обычно отображаются только в определенной области с правой стороны. Размер видео небольшой, чтобы не влиять на отображение видео хоста.

Аудитория — это аудитория мобильной прямой трансляции.

Ниже представлена ​​структура облачной платформы мобильной прямой трансляции. В целях упрощения модели не рассматриваются хранилище данных и различные типы серверных кластеров, как показано на рисунке. 2:

Кластер серверов используется для управления сеансами соединения между якорями и якорями, якорями и подключенными пользователями, а также для реализации планирования и вычислительных возможностей облака аудио и видео. В частности, он будет включать в себя серверы сигнализации, кластеры серверов потокового мультимедиа и т. д.

Сеть CDN получает медиаданные, отправленные ведущими и вещательными компаниями, обеспечивает возможности буферизации, хранения и пересылки, а также распределяет живой контент среди зрителей.

Его характеристики представлены ниже. По сравнению с односторонней прямой трансляцией ведущего технические трудности реализации Lianmai намного выше, а именно:

Микширование звука: ведущий смешивает свой голос с голосом подключенного динамика.

При микшировании видео ведущий объединяет свое изображение с изображением вещателя.

Шумоподавление, удаление шума и воя в условиях прямой трансляции.

Эхоподавление устраняет эхо на ближнем конце от динамиков и микрофонов.

Взаимодействие с малой задержкой и джиттером задержки от 500 до 800 мс, обеспечивающим аудио- и видеовзаимодействие в реальном времени между якорем и стримером.

Интерактивная сцена между ведущим и фанатами

Структура участия в мобильном прямом эфире включает в себя четыре роли, а именно ведущего, вещателя, аудитории и сервера. Анализ ролей в сцене взаимодействия с мобильной прямой трансляцией, включая два типа ролей:

Ведущие общаются с фанатами

Ведущий может взаимодействовать с одним или несколькими фанатами, а другие фанаты могут наблюдать за процессом взаимодействия. Функция Lianmai Interactive может мгновенно повысить уровень участия и счастья обычных пользователей платформы прямых трансляций, а также повысить интерес пользователей.

Якорь общается с другими якорями

Ведущие общаются с другими ведущими, а ведущим необходимо взаимодействовать с другими ведущими, чтобы повысить свою популярность, увеличить количество поклонников друг друга, а также привлечь поклонников и обеспечить экономическую взаимовыгодную выгоду между ведущими.

Теоретически,Все эти 4 роли могут отвечать за микширование аудио-видео.,То есть реализовать функцию синтеза Lianmai.,Это гарантирует, что каждый зритель увидит звук после подключения микрофона и услышит его. Рассмотрим с точки зрения затрат,При смешанной потоковой передаче на стороне сервера и на стороне зрителя наблюдается большая задержка.,Стоимость относительно высокая,Нет преимуществ。мы только обсуждаем Смешанная потоковая передача на стороне якоряи Смешанная потоковая передача на стороне Два варианта использования.

Решение для интерактивной трансляции между ведущими и болельщиками

Решение для взаимодействия в прямом эфире между ведущими и фанатами:

Смешанная потоковая передача на стороне якоря

Идея реализации требует Якорьотделить свои собственныевидео Фанаты Дейты и Лианмаявидео Синтез данных,Затем отправьте синтезированный видеопоток, собственные аудиоданные ведущего и аудиоданные фанатов Lianmai в сеть CDN.,И распространяется среди всех зрителей через CDN. Таким образом, бремя мобильного телефона якоря еще тяжелее.,О производительности мобильного телефонаисеть Требования к производительности также выше обычных.прямая Это выше при трансляции. Ведущие общаются с фанатами,Смешанная потоковая передача на стороне Основной процесс изготовления якоря показан на рисунке 3:

·

После того как ведущий и фанаты устанавливают сеанс прямой трансляции, они передают исходные аудио- и видеопотоки в сеть CDN. Ведущий и вещательная компания получают медиаданные друг друга из сети CDN.

После того, как якорь извлекает аудио- и видеоданные вещательной компании из сети CDN, якорь выполняет соответствующую потоковую работу на якорной стороне. С одной стороны, он используется для отображения собственного видео и воспроизведения звука, а с другой стороны, он отправляется в сеть CDN для просмотра и потоковой передачи. Поклонники Lianmai получают видео и аудио хоста для устранения эха. шумоподавление и другие работы для отображения видео и воспроизведения звука.

Ведущий синтезирует свои собственные видеоданные и видеоданные поклонников Lianmai, чтобы заменить видеоматериалы исходного потока ведущего, и передает собственные аудиоданные ведущего и аудиоданные поклонников Lianmai в сеть CDN, чтобы аудитория могла получить поток. . Смотреть. Работа по микшированию, выполняемая ведущим, включает в себя: синтез изображения, эхоподавление, шумоподавление и микширование.

После того как зрители извлекают 1-канальные видеоданные и 2-канальные аудиоданные, смешанные якорем, они смотрят синтезированную картинку. Вид смешанного потока: большое окно A, маленькое окно B, как показано ниже:

Ведущие общаются с фанатами,Смешанная потоковая передача на стороне якоря Преимущества и недостатки плана：

Недостатки: на якорном конце оказывается большая нагрузка. Якорный конец требует микширования видео и вычислительной нагрузки. Требования к производительности мобильного телефона и сети также выше, чем у обычных прямых трансляций, поэтому он не подходит для подключения нескольких человек. к микрофону.

Преимущества: устранение узкого места в пропускной способности восходящей линии связи, передача одного видеопотока, отсутствие узкого места в полосе пропускания восходящей линии связи, низкая стоимость, это снижает затраты в двух аспектах: вычислительные ресурсы и пропускная способность сети;

Смешанная потоковая передача на стороне аудитории

Идея реализации требует Зрители вытягивались отдельно Якорь、Звук человека, который соединяет пшеницувидеоданные,Затем выполните микширование со стороны аудитории. Ведущие общаются с фанатами,Смешанная потоковая передача на стороне Основной процесс работы части показан на рисунке 4:

После того как ведущий и фанаты устанавливают сеанс прямой трансляции, они передают исходные аудио- и видеопотоки в сеть CDN.

Ведущие и вещатели получают медиаданные друг друга из сети CDN, выполняют эхоподавление, шумоподавление и т. д. на своей стороне для собственного отображения видео и воспроизведения звука, а также отправляют свои собственные аудио- и видеоданные в сеть CDN для аудитории. end Извлекайте потоки и выполняйте оперативное микширование.

Зритель извлекает 2 канала видеоданных и 2 канала аудиоданных и выполняет соответствующую потоковую работу. Его работа по микшированию включает в себя: синтез изображения, эхоподавление, шумоподавление и микширование.

После смешанной потоковой передачи со стороны аудитории вы можете увидеть экран Смешанный поток: отображаются большое окно и маленькое окно B.

Ведущие общаются с фанатами,Смешанная потоковая передача на стороне Преимущества и недостатки решения ОСТ:

Недостатки: на аудиторию оказывается большое давление, и аудитории приходится использовать несколько потоков для микширования, а пропускная способность нисходящей линии связи со стороны аудитории находится под большим давлением. На декодирование и аудиторию оказывается большое давление; необходимо декодировать несколько потоков, а накладные расходы относительно высоки;

Преимущества: простота и легкость реализации, быстрая настройка, поддержка подключения нескольких человек;

Решение взаимодействия Lianmai между якорями и якорями

Смешанная потоковая передача на стороне аудитории

Эта идея реализации требует, чтобы аудитория извлекала аудио- и видеоданные всех якорей Lianmai отдельно, а затем выполняла потоковую работу на стороне аудитории. Основной поток смешивания потоков между якорями и якорями и стороной аудитории показан на рисунке 5:

После того как хост устанавливает сеанс микрофона с хостом, хост отправляет исходные аудио- и видеопотоки в сеть CDN.

Якоря получают медиаданные друг друга из сети CDN, выполняют эхоподавление, шумоподавление и т. д. на своей стороне для собственного отображения видео и воспроизведения звука, а также отправляют свои собственные аудио- и видеоданные в сеть CDN для потоковой передачи аудитории. и выполнять работу по оперативному микшированию.

После того как зритель извлекает 2 канала видеоданных и 2 канала аудиоданных, выполняется соответствующая работа по микшированию. Его работа по микшированию включает в себя: синтез изображения, эхоподавление, шумоподавление и микширование.

Смешанная потоковая передача на стороне аудиторииназад,Посмотрите композицию. Если якорь А и якорь Б находятся перед микрофоном,C1 – аудитория ведущего А.,C2 — аудитория ведущего B.,Даже после пшеницы,C1Просмотрено смешанное потоковое видео：Aбольшое окно、B маленькое окно, изображение смешанного потока, просматриваемое C2: B большое окно、Небольшое окно.

Якорьи Якорь Лианмай,Смешанная потоковая передача на стороне Преимущества и недостатки решения ОСТ:

Недостатки: Аудитория испытывает большое давление для смешанной потоковой передачи. Пропускная способность нисходящей линии связи находится под большим давлением. Аудитория должна испытывать большое давление. декодировать несколько потоков, и накладные расходы относительно высоки.

Преимущества: простота и легкость реализации, быстрая настройка, поддержка подключения нескольких человек к микрофону.

Yunfan расширяет преимущества интерактивных решений для прямых трансляций

Решение потоковой передачи на стороне привязки основано на собственном разработанном частном протоколе UDP, который решает проблему узкого места в полосе пропускания, вызванную потоковой передачей на стороне привязки.

Yunfan ускоряет Смешанную на основе частного протокола UDP потоковая передача на стороне интерактивная программа якорялианмай, помимо Смешанной потоковая передача на стороне якоря Лианмай Преимущества решения в плане экономии средств,Благодаря технологическим инновациям, обширным испытаниям и практике,Содержит более выгодные технические характеристики:

Решено потоковая передача на стороне Узкое место в восходящей полосе пропускания якоря, основной поток Смешанная потоковая передача на стороне Решение якоря реализовано через 2 потока RTMP. Перед подключением к микрофону якорь передает 1 канал аудио в сеть CDN. После подключения к микрофону якорь передает 2 канала видео и 2 канала аудиопотоков (собственные аудио-видео данные, аудио-видео данные человека); подключение к микрофону) к сети CDN, в Смешанной потоковая передача на стороне Кроме того, потребляемая пропускная способность сети восходящей линии связи увеличилась вдвое по сравнению с тем, что было до подключения.

Ускоренное решение Yunfan реализуется посредством одностороннего потока на основе частного протокола UDP. Отличие от основных решений заключается в следующем:

Весь Lianmai Interactive основан на собственном протоколе UDP в Смешанной; потоковая передача на стороне якоряназад,Заменить исходный материал трансляции ведущего на синтезированный.,Всегда нажимайте1дорогавидеотечь вCDNсеть,Даже после пшеницы,Увеличивается только полоса пропускания восходящего потока, потребляемая при передаче звука на подключенный динамик.

В соответствии с условиями сети моей страны, если пропускная способность сети нисходящей линии связи составляет 100 Мбит/с, соответствующая пропускная способность сети восходящей линии связи обычно составляет 1 Мбит/с, а лучшие из них будут 4 Мбит/с. По опыту Yunfan Acceleration, средний битрейт аудио- и видеопотоков для видео высокой четкости с разрешением 360P на мобильных терминалах составляет 864 кбит/с, из них на средний битрейт видео приходится 800 кбит/с.

мейнстрим Якорьконец Лианмай План Даже после пшеницы Толкну двадорогапоток：1дорога Якорьзвуквидеопоток、1дорога Лианмай ВОЗвидеопоток,Таким образом, скорость передачи данных основного решения для подключения микрофона для двусторонней аудиосвязи составляет около 1,73 Мбит/с.,И Юньфан ускорил Смешанную потоковая передача на стороне Решение «Якоря» всегда передает 1 канал видеопотока и добавляет звук человека, подключающегося к микрофону, после его подключения. Общая скорость передачи данных составляет 0,93. Мбит/с, решено мейнстрим Смешанная потоковая передача на стороне Проблема узкого места в пропускной способности восходящей линии связи в данном решении.

Надежная передача UDP: передача всех якорей в восходящем направлении больше не опирается на протокол RTMP на основе TCP, а использует высокопроизводительный частный протокол на основе UDP, независимо разработанный Yunfan Acceleration. Гарантия QoS на транспортном уровне является более интеллектуальной и эффективной. .

Адаптивная скорость передачи данных, адаптивная частота кадров. Используйте адаптивный алгоритм скорости передачи данных аудио и видео, основанный на состоянии сети, чтобы адаптивно уменьшать или увеличивать скорость передачи данных аудио и видео и частоту кадров в соответствии с потерей пакетов и задержкой в ​​текущей сети с помощью этого метода. уменьшить перегрузку сети и улучшить качество связи;

Может поддерживать больше якорных взаимодействий: в настоящее время поддерживается видео для двух человек и может быть расширено до взаимодействия нескольких хостов, взаимодействия нескольких человек с микрофоном и чистого аудиовзаимодействия нескольких человек с микрофоном;

Поддержка переключения размера окна: поддержка переключения потока пользовательского размера на стороне привязки и независимый выбор переключения окна размера видео.

Оптимизация технических деталей на протяжении всего процесса

Технология Lianmai включает в себя четыре основных технических момента: сеть, видео, аудио и адаптация. Мы полностью оптимизировали эти четыре аспекта.

Оптимизация сети

Протокол сетевой передачи: решение поддерживает TCP/собственный частный протокол UDP/собственный протокол UDP + протокол RTMP. Мы рекомендуем использовать решение UDP или UDP+RTMP.

Выбор TCP является хорошим решением, когда условия сети можно контролировать, но когда крупномасштабные кросс-сети и терминальные сети нестабильны, возникают лаги, задержки и высокая частота отключений.

Собственный протокол UDP: весь транспортный уровень UDP использует алгоритм прямого исправления ошибок FEC для интеллектуальной защиты, обеспечивая максимальную эффективность аудио- и видеовызовов в реальном времени. Согласно нашим фактическим тестам, после использования стратегии гарантированного качества обслуживания аудио- и видеовызовы могут противостоять потере 20% пакетов и джиттеру сети 800 мс.

Оптимизация разрешения HTTP DNS: этот компьютер кэширует результаты разрешения доменного имени, используемого для прямой трансляции и воспроизведения, и предварительно разрешает доменное имя. Нет необходимости проходить процесс DNS каждый раз, когда прямая трансляция отправляется и воспроизводится. Здесь можно сэкономить десятки и сотни миллисекунд задержки открытия.

Интеллектуальная гарантия качества обслуживания: потоковый терминал будет управлять отправкой и кодированием пакетов аудио- и видеоданных на основе текущих условий восходящей сети и будет выбирать соответствующие стратегии для управления передачей аудио и видео на основе условий сети. Например, когда сеть плохая, сторона потоковой передачи будет отдавать приоритет отправке аудиоданных, чтобы пользователи могли слышать звук, и отправлять данные ключевого кадра в течение определенного интервала, чтобы гарантировать, что пользователи смогут увидеть некоторые изменения изображения через определенное время. интервал.

Обратная связь о состоянии сети: состояние сети на стороне потоковой передачи будет отслеживаться в режиме реального времени и сообщаться для обратной связи.

Адаптивная скорость передачи данных, адаптивная частота кадров. Используйте адаптивный алгоритм скорости передачи данных аудио и видео, основанный на состоянии сети, чтобы адаптивно уменьшать или увеличивать скорость передачи данных аудио и видео и частоту кадров в соответствии с потерей пакетов и задержкой в ​​текущей сети с помощью этого метода. уменьшить перегрузку сети и улучшить качество связи;

Оптимизация слабой сетевой передачи: на основе настроенных заголовков пакетов UDP реализуется прогнозирование передачи, пакеты активно теряются, а пакеты разумно пополняются. Система определяет, следует ли пополнять пакеты, в зависимости от условий сети и типов пакетов, и выполняет оптимальное пополнение пакетов. Собственный механизм перегрузки UDP будет динамически увеличивать или уменьшать скорость передачи данных на основе обратной связи сетевых пакетов в реальном времени, гарантируя, что поток не застрянет даже в условиях слабой сети. Если качество обслуживания на стороне потоковой передачи является ненормальным, система может обнаружить это в реальном времени и выполнить адаптивную скорость передачи данных и частоту кадров или вручную отрегулировать скорость передачи данных и частоту кадров на стороне потоковой передачи.

Оптимизация видео

Кодирование H.264 на основе многоуровневого распределения во временной области: благодаря тщательному тестированию и оптимизации оно лучше адаптируется к дрожанию сети.

Чрезвычайно быстрый запуск: поддерживает экран запуска на уровне миллисекунд, не нужно ждать, чтобы посмотреть прямую трансляцию. Перед декодированием аудио и видео устанавливается тип декодера, чтобы сэкономить время на определение типа файла; он поддерживает стартовый экран на уровне миллисекунд, поэтому нет необходимости ждать, чтобы посмотреть прямую трансляцию, даже если сеть не в порядке; , он может обеспечить пользователям удобство просмотра прямой трансляции.

Оптимизация звука

Облачная модель и адаптация сети: перед запуском и воспроизведением терминал получит конфигурацию модели, условия сети и информацию об IP текущей модели, сообщаемую через протокол, а также будет постоянно выполнять итерацию и улучшать библиотеку адаптации кодека модели.

Адаптация модели аппаратного кодека. Благодаря постоянному совершенствованию облачных моделей облако будет возвращать наиболее подходящую конфигурацию стратегии кодека;

Развертывание серверов и интеллектуальное планирование

Глобальное развертывание узла

· Несколько компьютерных залов BGP и компьютерных залов третьего уровня в Китае со 100% покрытием в важных городах страны; · Зарубежные узлы компьютерного зала; · Транснациональный агент по выделенным оптоволоконным линиям.

Интеллектуальное распределение узлов

· Анализировать территорию пользователя, оператора и интернет-провайдера и проводить интеллектуальное распределение; · Загрузка сервисных узлов в режиме реального времени; · Мониторинг состояния сети сервисных узлов в режиме реального времени;

Доступность и стабильность сервиса

· Высокая доступность услуг: развертывание архитектуры высокой доступности на 99 %; · Высокопроизводительная и стабильная физическая машина; · Автоматическое восстановление и переключение политики после простоя.

Самостоятельно разработанная система прямой трансляции CDN и поддержка сторонней сети CDN.

Решение ускоренного интерактивного подключения микрофона Yunfan не только идеально адаптировано к собственной системе прямой трансляции CDN, но также поддерживает доступ к сторонним сетям CDN.

Резюме: Со второй половины 2016 года прямо Индустрия трансляции претерпела большие изменения: Lianmai Interactive стала прямой трансляция Отраслевой стандарт. Как сервисная компания в области потокового мультимедиа, Yunfan Acceleration всегда придерживалась концепции предоставления более высокой ценности для клиентов, передачи неизмеримой ценности пользователям, снижения нагрузки на предприятия и предоставления универсальных услуг для всех слоев общества. . трансляционное решение.

Издатель: Лидер стека программистов полного стека, укажите источник для перепечатки: https://javaforall.cn/162855.html Исходная ссылка: https://javaforall.cn