Технический бэкграунд

Запустите облегченную службу RTSP на Android, позволяющую терминалу Android предоставлять внешнюю службу для потоковой передачи RTSP, например веб-камеру. Это очень подходит для сценариев, в которых параллельная работа в интрасети невелика и вы не хотите развертывать отдельную службу потоковой передачи. Терминал Android. Для реализации такой службы потокового мультимедиа решено, что это может быть только облегченная служба. Эта функциональность может быть достигнута путем интеграции сторонних библиотек или написания собственного кода RTSP-сервера.

Сегодня мы представляем два решения: одно — GStreamer, а другое — SmartRtspServer из Daniu Live SDK.

Сравнение планов

GStreamer

1. Возможности GStreamer

Использование GStreamer для запуска служб RTSP на платформе Android включает в себя несколько ключевых шагов, включая настройку среды GStreamer, написание конвейера GStreamer и его интеграцию в приложение Android.

• Модульный：GStreamerиз Модульный Дизайн позволяет разработчикам выбирать и комбинировать различныеизэлемент,Создавайте конвейеры обработки мультимедиа, отвечающие конкретным потребностям.
• Расширяемый：GStreamerПоддержка пользовательских элементов,Разработчики могут по мере необходимости писать новые элементы для расширения функциональности GStreamer.
• высокая производительность：GStreamerПоддерживает многопоточность и асинхронную обработку.,Способность эффективно обрабатывать большие объемы данных на многоядерных процессорах.
• Кросс-платформенный：GStreamerМожет работать на нескольких операционных системах,Включая Linux, Windows и macOS и т. д.
• Поддерживает несколько медиаформатов：GStreamerШирокая поддержкаиз Аудио и видео форматы,Включает общие кодеки и форматы контейнеров.

2. Пример кода конвейера GStreamer

Конвейер GStreamer определяет поток обработки медиаданных. Для обслуживания RTSP вам необходимо создать конвейер, который может захватывать мультимедиа (например, видео с камеры), кодировать его и отправлять через сервер RTSP, функции GStreamer.

Базовый пример кода конвейера сервера RTSP выглядит следующим образом:

GstElement *pipeline, *src, *enc, *sink;  
  
/* ИнициализироватьGStreamer */  
gst_init(NULL, NULL);  
  
/* Создать конвейер */  
pipeline = gst_parse_launch("videotestsrc ! videoconvert ! x264enc ! rtph264pay name=pay0 pt=96", NULL);  
  
/* Установите адрес и порт RTSP-сервера */  
g_object_set(G_OBJECT(pay0), "server-port", 8554, NULL);  
  
/* Запустить конвейер */  
gst_element_set_state(pipeline, GST_STATE_PLAYING);  
  
/* ...(Другой код, такой как обработка ошибок, очистка и т. д.)... */

3. Интеграция в приложения Android.

Теперь, когда у вас есть код для вашего конвейера GStreamer, вам необходимо интегрировать его в свое приложение для Android:

• существоватьAndroidизActivityилиServiceпозвонитьJNIфункционировать, чтобы ИнициализироватьGStreamerи настраиваем трубопровод。
• Управляет разрешениями и инициализацией камеры Android.
• использоватьappsrcэлемент（если применимо）отAndroidКамера захватывает видеокадры,и отправить его в конвейер GStreamer.
• Управление жизненным циклом GStreamer,убеждатьсясуществоватьAndroidприложениеизсобытия жизненного цикла（нравитьсяonPause、onResume、onDestroy）Остановитесь и начните правильно вGStreamer。

SmartRtspServer

Ниже приведен SmartRtspServer из Daniu Live SDK. В отличие от GStreamer, SmartRtspServer имеет более полные функции, более высокую стабильность и коммерциализацию. Логика реализации следующая:

• Настроить камеру：первый,МожетиспользоватьAndroidизCamera2 API или библиотека CameraX для захвата видеокадров. Учитывая хороший опыт и текущие версии на рынке, которые уже 5.0 или более поздние, обычно рекомендуется использовать захват Camera2;
• кодирование видео：будет захвачениз Видеокадры закодированы для передачи по сети.из Формат,Например, H.264 или H.265.,В плане звука,Собраны данные микрофона,Может быть закодирован в AAC или PCMA;
• Внедрить RTSP-сервер：Самостоятельная разработка для достижения легкого весаRTSPсервисная логика,Поддержка настройки параметров RTSP-сервера,Например, номер порта, имя потока и т. д. в то же время,Настройте сервер на получение видео и аудио потоков с микрофона камеры.,И инкапсулировать его как поток RTSP;
• Запустить сервер：запускатьRTSPсервер,Заставьте его начать прослушивать и отвечать на запросы клиентов RTSP.,Опубликовать RTSP-поток,Обеспечить внешние возможности потоковой передачи RTSP;
• Просмотр количества сеансов RTSP: облегченная служба RTSP, требующая возможности просмотра количества сеансов RTSP.

Функциональный дизайн

• [Формат видео] H.264/H.265 (жестко закодирован в Android H.265);
• [Аудиоформат] G.711 A-law, AAC;
• Протокол: RTSP;
• [Регулировка громкости] Терминал сбора данных на платформе Android поддерживает регулировку громкости в режиме реального времени;
• [Жесткое кодирование H.264] Поддержка жесткого кодирования H.264 для определенных моделей;
• [Жесткое кодирование H.265] Поддержка жесткого кодирования H.265 для определенных моделей;
• [Аудио и видео] Поддержка чистого звука/чистого видео/аудио и видео;
• [Камера] Поддерживает переключение передней и задней камер в реальном времени во время процесса сбора;
• Поддерживает частоту кадров, интервал ключевых кадров (GOP) и настройки скорости передачи данных;
• [Водяной знак в реальном времени] поддерживает динамические текстовые водяные знаки и водяные знаки PNG;
• [Снимок в реальном времени] Поддержка моментального снимка в реальном времени;
• [Шумоподавление] поддерживает обработку шумоподавления, автоматическое усиление и обнаружение VAD, вызванного звуками окружающей среды, помехами мобильного телефона и т. д.;
• [Стыковка видеоданных перед внешним кодированием] поддерживает стыковку данных YUV;
• [Стыковка аудиоданных перед внешним кодированием] поддерживает стыковку PCM;
• [Стыковка внешних кодированных видеоданных] Поддерживает стыковку внешних данных H.264 и H.265;
• [Стыковка аудиоданных после внешнего кодирования] Стыковка внешних данных AAC;
• [Расширенная функция записи] Поддерживает использование в сочетании с SDK записи для обеспечения функций, связанных с записью.​
• Поддержка настройки порта RTSP;
• Поддержка настроек имени пользователя и пароля для аутентификации RTSP;
• Поддерживает получение текущего количества сеансов подключения службы RTSP;
• Поддерживает Android 5.1 и выше.

Дизайн интерфейса

Пример звонка

В качестве примера возьмем коллекцию камер SmartRtspServer. Сначала инициализируйте RTSP-сервер:

/*
 * MainActivity.java
 * Author: daniusdk.com
 * WeChat：xinsheng120
 */
@Override
protected void onCreate(Bundle savedInstanceState) {
	super.onCreate(savedInstanceState);
	setContentView(R.layout.activity_main);
	
	...

	context_ = this.getApplicationContext();
	
	libPublisher = new SmartPublisherJniV2();

	libPublisher.InitRtspServer(context_);      //В сочетании с UnInitRtspServer, даже если запущено несколько служб RTSP, InitRtspServer необходимо вызвать только один раз. Обязательно вызывайте его перед OpenRtspServer.
}

Запуск и остановка службы RTSP:

//Запуск/остановка службы RTSP
class ButtonRtspServiceListener implements View.OnClickListener {
	public void onClick(View v) {
		if (isRTSPServiceRunning) {
			stopRtspService();

			btnRtspService.setText("Запустить службу RTSP");
			btnRtspPublisher.setEnabled(false);

			isRTSPServiceRunning = false;
			return;
		}

		Log.i(TAG, "onClick start rtsp service..");

		rtsp_handle_ = libPublisher.OpenRtspServer(0);

		if (rtsp_handle_ == 0) {
			Log.e(TAG, «Создать rtsp экземпляр сервера не выполнен! Пожалуйста, проверьте достоверность SDK");
		} else {
			int port = 8554;
			if (libPublisher.SetRtspServerPort(rtsp_handle_, port) != 0) {
				libPublisher.CloseRtspServer(rtsp_handle_);
				rtsp_handle_ = 0;
				Log.e(TAG, «Создать rtsp Порт сервера не выполнен! Пожалуйста, проверьте, не дублируется ли порт или порт находится вне диапазона!");
			}

			if (libPublisher.StartRtspServer(rtsp_handle_, 0) == 0) {
				Log.i(TAG, "Запустить rtsp-сервер успех!");
			} else {
				libPublisher.CloseRtspServer(rtsp_handle_);
				rtsp_handle_ = 0;
				Log.e(TAG, "Запустить rtsp-сервер не удался! Пожалуйста, проверьте, занят ли установленный порт!");
			}

			btnRtspService.setText("Остановить службу RTSP");
			btnRtspPublisher.setEnabled(true);

			isRTSPServiceRunning = true;
		}
	}
}

stopRtspService() реализован следующим образом:

//Остановка службы RTSP
private void stopRtspService() {
	if(!isRTSPServiceRunning)
	{
		return;
	}
	if (libPublisher != null && rtsp_handle_ != 0) {
		libPublisher.StopRtspServer(rtsp_handle_);
		libPublisher.CloseRtspServer(rtsp_handle_);
		rtsp_handle_ = 0;
	}
}

Опубликовать и остановить потоковую передачу RTSP:

//Публикация/Остановка потока RTSP
class ButtonRtspPublisherListener implements View.OnClickListener {
	public void onClick(View v) {
		if (stream_publisher_.is_rtsp_publishing()) {
			stopRtspPublisher();

			btnRtspPublisher.setText("Опубликовать поток RTSP");
			btnGetRtspSessionNumbers.setEnabled(false);
			btnRtspService.setEnabled(true);
			return;
		}

		Log.i(TAG, "onClick start rtsp publisher..");

		InitAndSetConfig();

		String rtsp_stream_name = "stream1";
		stream_publisher_.SetRtspStreamName(rtsp_stream_name);
		stream_publisher_.ClearRtspStreamServer();

		stream_publisher_.AddRtspStreamServer(rtsp_handle_);

		if (!stream_publisher_.StartRtspStream()) {
			stream_publisher_.try_release();
			Log.e(TAG, «Ошибка публикации интерфейса потока rtsp!»);
			return;
		}

		startAudioRecorder();
		startLayerPostThread();

		btnRtspPublisher.setText("Остановить поток RTSP");
		btnGetRtspSessionNumbers.setEnabled(true);
		btnRtspService.setEnabled(false);
	}
}

stopRtspPublisher() реализован следующим образом:

//останавливаться Опубликовать RTSP-поток
private void stopRtspPublisher() {
	stream_publisher_.StopRtspStream();
	stream_publisher_.try_release();

	if (!stream_publisher_.is_publishing())
		stopAudioRecorder();
}

Подвести итог

Платформа Android реализует облегченные службы RTSP в среде интрасети и совместно использует данные камеры или микрофона. Если ее собственный технологический стек завершен, его можно реализовать на основе GStreamer. Кстати, он также обладает возможностями, связанными с потоковым мультимедиа. Это коммерческий продукт, он будет иметь высокое качество и функциональные характеристики. Вы можете использовать готовый SmartRtspServer, который имеет низкую сложность интеграции, более стабилен и надежен. Выше приведено сравнение между ними. Заинтересованные разработчики могут связаться со мной индивидуально для обсуждения.