Автор: Девятнадцать

Монтажер: Ли Баочжу, Саньян

Сверхразрешение может преодолеть или компенсировать такие проблемы, как размытость изображения и низкое качество изображения, вызванные ограничениями системы получения изображений и самой среды получения, улучшить разрешение изображения и обеспечить важную поддержку для последующей обработки изображения, такой как извлечение признаков и информации. признание.

2010 Год 12 луна,Су Гуанда, профессор кафедры электронной инженерии Университета Цинхуа, получил необычный телефонный звонок.,Сотрудник Джунгарского отдела криминальной полиции Автономного района Внутренняя Монголия держит размытое изображение лица подозреваемого в совершении преступления.,Попросите помощи у Су Гуанды.

«Это изображение было получено придорожной камерой наблюдения. Пиксели очень низкие и совершенно неузнаваемые невооруженным глазом», — Су Гуанда вспоминает, что он использовал технологию сверхвысокого разрешения, чтобы поместить это размытое изображение в разработанное ими программное обеспечение. , а полиция Чунгира быстро идентифицировала подозреваемого на основе реконструированного изображения в высоком разрешении и раскрыла дело об убийстве.

На самом деле этот случай не уникален. Когда полиция раскрывает дело, она может получить соответствующие изображения подозреваемого с помощью камер наблюдения, чтобы ускорить раскрытие дела. Однако фотографии, сделанные камерами наблюдения, часто страдают от размытости деталей после увеличения, что значительно снижает эффективность полиции в получении ключевых доказательств.

С развитием технологий сверхвысокого разрешения эти проблемы изменились и постепенно решаются.

Эта статья начнется с концепции, представит основные алгоритмы сверхвысокого разрешения, их преимущества и недостатки, а также продемонстрирует их применение в различных сценариях, таких как общественная безопасность, медицинская диагностика, спутниковое дистанционное зондирование и цифровые развлечения. Кроме того, на официальном веб-сайте HyperAI Super Neural опубликовано большое количество общедоступных руководств и общедоступных наборов данных, связанных со сверхвысоким разрешением. Добро пожаловать, чтобы начать и испытать его!

Что такое суперразрешение?

супер разрешение (Super-Resolution, SR),Проще говоря,это конвертировать низкое разрешение (low resolution, LR) изображений алгоритмически масштабируются до высокого разрешения (high resolution, HR)。По сравнению с изображениями с низким разрешением,Изображения с высоким разрешением имеют большую плотность пикселей и более богатую детализацию текстур.,Имеют более высокую надежность.

Источник: официальный сайт СУПИР.

Эта технология может преодолеть или компенсировать такие проблемы, как размытость изображения и низкое качество изображения, вызванные ограничениями системы получения изображений или самой среды получения, а также обеспечивает важную поддержку для последующей обработки изображений, такой как извлечение признаков и распознавание информации.

Классификация алгоритмов сверхвысокого разрешения

На данный момент супер методы определения в основном делятся на три категории: методы, основанные на интерполяции、Подход, основанный на реконструкциииподход, основанный на обучении。

* методы, основанные на интерполяции

Метод интерполяции увеличивает размер изображения путем вставки новых пикселей вокруг исходных пикселей изображения и присваивает значения этим пикселям, тем самым восстанавливая содержимое изображения и улучшая разрешение изображения. *Пиксели: самые основные элементы единицы измерения, составляющие изображение, то есть точки. Каждый пиксель имеет свое значение цвета. Чем больше пикселей на единицу площади, тем четче изображение.

* Подход, основанный на реконструкции

Алгоритмы сверхвысокого разрешения, основанные на реконструкции, обычно используют несколько изображений с низким разрешением, снятых в одной и той же сцене в качестве входных данных, а затем анализируют отношения этих изображений в частотной или пространственной области и вводят предварительную информацию, чтобы направлять и направлять ограничения процесса реконструкции. а затем реконструировать одно изображение с высоким разрешением. *Частотная область: относится к характеристикам сигнала в частотной области. *Воздушное пространство: относится к распространению сигналов в космосе. *Предварительная информация: информация такого рода доступна «до эксперимента» и обычно может рассматриваться как знание предметной области.

* подход, основанный на обучении

На основе обучения изсупер разрешениеметод,Обычно это делается с использованием большого количества обучающих данных.,Изучив взаимосвязь между изображениями с низким разрешением и изображениями с высоким разрешением.,Прогнозирование потери высокочастотной детальной информации в изображениях с низким разрешением.,тем самым генерируя изображения сверхвысокого разрешения.

Методы, основанные на поверхностном обучении, в основном включают машинное обучение, многообразное обучение, выборочное обучение и разреженное кодирование и т. д., которые можно использовать, когда объем данных невелик.

Методы, основанные на глубоком обучении, можно разделить на методы SR, основанные на сверточных нейронных сетях, методы SR, основанные на остаточных сетях (ResNet), и методы SR, основанные на генеративно-состязательных сетях (GAN).

На основе глубокого обучения изсупер Алгоритм реконструкции разрешения, структура сети Источник: faxin.com

Преимущества и недостатки трех вышеуказанных методов заключаются в следующем:

Источник: Супернейрон HyperAI.

В настоящее время глубокое обучение стало мейнстримом в области сверхразрешения.

2014 Год,Dong впервые применил глубокое обучение к изображениям. разрешение Восстановление территорий,Предложил сетевую модель SRCNN (сверточная нейронная сеть сверхразрешения),Этот результат основан на「Image Super-Resolution Using Deep Convolutional «Сети» вышла в свет в arXiv начальство.С того времени,супер Решение. Область реконструкции вызвала волну глубокого обучения.

Бумажный адрес:

https://arxiv.org/pdf/1501.00092

Структура сети SRCNN

SRCNN Одним из первых, кто применил методы глубокого обучения к изображениям. разрешениеиз Модель, только что использовался 3 Используя только один сверточный слой, мы достигли результатов, намного превосходящих результаты традиционных методов. PSNR ценить.

В частности, вводится изображение с низким разрешением, для увеличения изображения до целевого размера используется бикубическая интерполяция, а затем используется трехслойная сверточная нейронная сеть для согласования нелинейности между изображением с низким разрешением и изображением с высоким разрешением. . картографирование и, наконец, вывести реконструированное изображение с высоким разрешением.

*Значение PSNR: пиковое соотношение сигнал/шум. Чем больше значение, тем лучше качество выходного изображения HR.

SRCNN Благодаря своим преимуществам простоты и эффективности, он стал образцом супер Важная веха в области разрешения.С того временипосле,Из ранней сверточной нейронной сети (CNN) с технологией сверхвысокого разрешения.,До недавнего времени он основывался на генеративно-состязательной технологии.,На основе глубокого обучения изсупер Технология разрешения быстро развивалась.

Глубокое обучение + сверхвысокое разрешение: разнообразные приложения от общественной безопасности до цифровых развлечений

Спрос стимулирует развитие технологий,Итерация технологии помогает реализации приложений. сейчас,супер Решения Технологии в общественной безопасности、медицинский диагноз、Широко используются спутниковое дистанционное зондирование, развлекательные средства массовой информации и другие области.

*Область общественной безопасности

На видео общественного наблюдения влияют такие факторы, как погода и расстояние.,Изображения часто размыты и имеют низкое разрешение. Применение технологии сверхвысокого разрешения может помочь полиции извлекать ключевую информацию, такую ​​как четкие лица и номерные знаки.,Способствовать выявлению случаев.

Заявление на печать колледжа полиции провинции Цзилинь ESRGAN и BSRGAN сети, анализировал портреты и природные пейзажи в разных средах и исследовал супер Целесообразность применения технологии разрешения в судах общественной безопасности.

Этот результат основан на「Изображение супер Он был опубликован в «Журнале Академии вооруженной полиции» под названием «Применение технологий реконструкции в работе полиции».

Бумажный адрес:

https://www.faxin.cn/lib/Flwx/FlqkContent.aspx?gid=F805122&libid=040106

Во-первых, исследователи ESRGAN и BSRGAN Модель воспроизводится, обучается и тестируется для получения наилучших параметров Модели. Затем используйте обученную из Модель для выполнения супер-обработок собранных изображений низкого качества, таких как портреты и природные сцены. разрешение перестроить, получить ESRGAN и BSRGAN результаты реконструкции.

Сравнение реконструкции портретных изображений низкого качества

Исследователи будут ESRGAN и BSRGAN из Сравните реконструированное изображение с исходным изображением.。Результаты показывают,Значительно улучшаются визуальное качество и точность реконструированных портретов в фронтальных, наклонных и сложных сценах.

Сравнение некачественной реконструкции изображения природных сцен

В отличие от природных сцен, БСРГАН Эффект реконструкции лучше, чем ESRGAN,Может эффективно удалять неизвестный и сложный шум из исходных изображений низкого качества.,Может создавать четкие края и мелкие детали.

* Медицинская диагностика.

Из-за ограничений оборудования для визуализации и сложной клинической среды.,Изображения, полученные в медицинской сфере, часто страдают от недостаточного разрешения.,Это напрямую влияет на точность диагностики и принятия врачами решений о лечении заболеваний.

Улучшить структуру SRGAN

Народная больница Сычуани Пэн Бо и другие использовали натуральные Изображение супер разрешениереконструкцияизгенерировать против сети (SRGAN) В качестве базового методапутем сокращения 2 входные каналы, удалить 1 Остаточный блок используется для изменения структуры сети, улучшения функции потерь в сети, добавления нового набора данных нечеткой обработки и восстановления усиленного сигнала. 4 Медицинские ультразвуковые изображения с четкими краями и без артефактов.

Этот результат основан на「На основе порождающего противостояниясетьиз УЗИИзображение супер разрешение Реконструкция», опубликовано в Journal of Terahertz Science and Electronic Information Technology начальство.

Бумажный адрес:

http://www.iaeej.com/xxydzgc/article/abstract/202305015

Сравнение результатов реконструкции Case1 с областью интересов

Сравнение результатов реконструкции Case2 с областью интересов

Исследователи будутулучшатьиз SRGAN с другими 3 алгоритмы для сравнения。Результаты показывают, что улучшение SRGAN Результат реконструкции в целом более гладкий, а края текстуры более четкие.

*Поле спутникового дистанционного зондирования.

Вскоре,Спутниковые изображения дистанционного зондирования широко используются в мониторинге окружающей среды, разведке ресурсов, предупреждении о стихийных бедствиях и в военной сфере. Однако,Атмосферные изменения、шум передачи、Такие факторы, как размытость изображения при движении и недостаточная дискретизация оптических датчиков, серьезно ограничивают четкость спутниковых изображений дистанционного зондирования. супер Технология разрешения может улучшить качество и удобство использования спутникового дистанционного зондирования за счет обработки и обновления изображений с низким разрешением.

Изображение дистанционного зондирования на основе целевой помощи местной группы супер Алгоритм восстановления разрешения

Ян Боти и другие из Харбинского технологического института представили подробную информацию о характеристиках целевых областей локальных кластеров изображений дистанционного зондирования в выборку и реконструкцию полных изображений дистанционного зондирования, извлекли характеристики изображений разных масштабов с помощью многоуровневых нейронных сетей и использовали остаточные обучение Эти особенности объединяются и реконструируются.Долженметод Вы можете использовать локальныйизображениеиз Информация о пикселях,Значительно улучшить детализацию изображений глобального дистанционного зондирования.,Оптимизируйте разрешающую способность целевой области кластера.

Этот результат основан на «объединении локальных изображений высокой четкости и целевых областей кластера дистанционного зондирования». разрешение Реконструкция», опубликовано в Журнал Нанкинского университета аэронавтики и астронавтикиначальство.

Бумажный адрес:

https://jnuaa.nuaa.edu.cn/njhkht/article/html/202306002

Визуальное сравнение с базовыми методами

Сравнительная таблица, представленная в исследовании, показывает, что этот метод значительно превосходит другие существующие методы по эффекту визуализации.Подходит для городовисцена на открытом воздухе,Лучше покажите эффект.

* Сфера цифровых развлечений

Анимация состоит из нескольких неподвижных изображений, соединенных вместе.,Разрешение неподвижного изображения повлияет на окончательную четкость анимации. Однако,Существующий нарисованный вручную или цифровой рисунок не может гарантировать высокое разрешение первого проекта.,Это весьма недружелюбно к визуальному восприятию пользователя. Применяя технологию сверхвысокого разрешения,Преобразуйте эти изображения с низким разрешением в изображения с более высоким разрешением.,Может показать больше деталей и текстур.,Это может сделать анимационные работы и изображения более яркими и реалистичными.

Station B запустила модель восстановления качества анимации под названием Real-CUGAN (генеративно-состязательные сети в стиле Real Cascaded-U-Net).

Сначала исследователи использовали эту модель для разрезания кадров анимации на блоки, а затем использовали модель оценки качества изображения для оценки и фильтрации блоков-кандидатов, в результате чего получили высококачественный обучающий набор блоков анимационных изображений с миллионом уровней.

Затем с помощью многоступенчатого алгоритма снижения качества блоки изображений высокой четкости подвергаются субдискретизации для получения изображений низкого качества, что позволяет модели учиться и оптимизировать процесс реконструкции от изображений низкого качества к изображениям высокого качества. После завершения обучения модель может обрабатывать реальные двумерные изображения низкого качества в изображения высокой четкости.

Сравнительная таблица различных алгоритмов выглядит следующим образом:

Наборы данных и учебные пособия с открытым исходным кодом сверхвысокого разрешения

в настоящий момент,Гипер ИИ супернейронныйиз Официальный сайт В сети много супер разрешениересурс,Включает общедоступное Учебное пособие и наборы данных.

*Общественное обучение

1.APISR аниме картинкисупер усилитель разрешения

APISR — это проект с открытым исходным кодом, используемый для улучшения разрешения анимационных изображений и видео.,Восстанавливаемые и улучшенные низкокачественные аниме-изображения и видео с низким разрешением.,Решение различных проблем с ухудшением изображения.（Нечеткий、шум、артефакты сжатия и т. д.).

Рабочий адрес онлайн:

https://hyper.ai/tutorials/31383

2. Учебное пособие по восстановлению изображений SUPIR-AI

SUPIR может масштабировать изображения с низким разрешением до высокого разрешения.,Сохраняя детализацию и реализм изображения,Управляйте различными сложными ситуациями деградации.

Рабочий адрес онлайн:

https://hyper.ai/tutorials/30940

3.Используйте скрытую диффузию Изображение супер разрешение

В этом уроке показано, как использовать diffusers Библиотека для использования скрытых диффузных изображений супер разрешение Модель。

Рабочий адрес онлайн:

https://hyper.ai/tutorials/26207

4. Используйте эффективные субпиксели CNN Реализовать образсупер разрешение

Это руководство находится по адресу BSDS 500 Набор данных реализован с использованием эффективных субпикселей. Модель разрешение。

Рабочий адрес онлайн:

https://hyper.ai/tutorials/25044

* Набор общедоступных данных

1.MSU супер разрешениеданныенабор

Эта коллекция данных содержит видео внутри и снаружи, а также анимацию.,Все видео имеют более низкие значения SI/TI и простую текстуру. Разработан для минимизации возможных артефактов сжатия.,Детали восстановления.

Используйте напрямую:

https://hyper.ai/datasets/20401

2.MSU Видео супер разрешениеданныенабор

Долженданныенабориспользуется для Видео супер В задачу разрешения входит самое сложное содержимое задачи детального ремонта: лица, тексты, QR-коды, номерные знаки, неотображаемые узоры и текстуры, мелкие детали. Видео включает в себя различные типы движений, а также различные типы ослабления: бикубическая интерполяция. , размытие по Гауссу и понижение разрешения.

Используйте напрямую:

https://hyper.ai/datasets/17212

3.DRealSR супер разрешениеизображениеданныенабор

Эпизод с данными посвящен реальному процессу деградации изображения. разрешениеизображениеданныенабор,Устранение ограничений, связанных с ухудшением традиционного аналогового изображения. сбор данных охватывает сцены внутри и снаружи помещений,Например, рекламные плакаты、растение、Офисы и здания и т. д.

Используйте напрямую:

https://hyper.ai/datasets/20446

4.TextZoom супер разрешениеданныенабор

Набор данных состоит из пар изображений низкого разрешения (LR) и высокого разрешения (HR). Эти изображения были сделаны в дикой природе камерами с разным фокусным расстоянием. Каждая пара изображений имеет строку с учетом регистра (включая знаки пунктуации), метку, тип ограничивающей рамки и исходное фокусное расстояние.

Используйте напрямую:

https://hyper.ai/datasets/19550

5.SR-RAW Изображение супер разрешениеданныенабор

Этот набор данных содержит данные датчиков в формате RAW, наземные изображения высокого разрешения, снятые с высоким уровнем оптического увеличения. Каждая последовательность содержит 7 (некоторые содержат 6) изображений, снятых с разным фокусным расстоянием.

Используйте напрямую:

https://hyper.ai/datasets/19743

6.Set5,Set14 Одиночное изображение низкой сложности супер разрешениеданныенабор

Это вложение неотрицательной окрестности, основанное наиз Одиночное изображение низкой сложности супер разрешениеизданныенабор,Должен训练набор被используется дляодинширина Изображение супер разрешение Рефакторинг,Реконструируйте изображения с высоким разрешением из изображений с низким разрешением, чтобы получить более подробную информацию.,Широко используется в компьютерном зрении и графике.、медицинская визуализация、Мониторинг безопасности и другие области.

Используйте напрямую:

https://hyper.ai/datasets/5382

7.DIV2K один Изображение супер разрешениеданныенабор

Этот набор данных содержит 1000 изображений с низким разрешением с различными типами деградации и может использоваться для восстановления изображений с высоким разрешением из изображений с низким разрешением.

Используйте напрямую:

https://hyper.ai/datasets/15624

8.S2-NAIP Американский набор данных дистанционного зондирования сверхвысокого разрешения.

Парные снимки НАИП и Sentinel-2. Он обеспечивает высокоточную изданную поддержку с точки зрения поверхностного мониторинга, управления ресурсами и оценки изменений окружающей среды.

Используйте напрямую:

https://hyper.ai/datasets/30427

9.Sun-Hays 80 Dataset супер разрешениеизображениеданныенабор

Набор данных использует глобальные описания сцен для выполнения соответствующих сравнений сцен и поиска в библиотеке данных изображений. Сцены предоставляют идеальные образцы текстур для ограничения выборки изображений.

Используйте напрямую:

https://hyper.ai/datasets/5391

10.Urban100 супер разрешениереконструкцияданныенабор

Этот набор данных содержит сложные городские сцены с различными частотными диапазонами детализации. Используя бикубическую интерполяцию для уменьшения масштаба реальных изображений, можно получить LR/HR изображениеверно,пройти обучениеитестданныенабор。

Используйте напрямую:

https://hyper.ai/datasets/5385

Вот и все Гипер ИИ супернейронный Официальный сайтначальствоизсупер Резюме ресурса: если вы видите высококачественные проекты, оставьте сообщение на заднем плане, чтобы порекомендовать их нам! Кроме того, мы также создали Учебное группа общения по пособиям, друзья могут присоединиться к группе, чтобы обсудить различные технические вопросы и поделиться результатами применения ~