Источник: Deep Blue AI.

Редактор: Чжэн Синьсинь@немного искусственного интеллекта, немного интеллекта

01 Обзор: От автономного интеллекта БПЛА к кластерам БПЛА

Автономный интеллект дронов развит до очень хорошего уровня. Они могут не только избегать препятствий и строить карты, но и самостоятельно выполнять многие задачи, такие как отслеживание людей и исследование неизвестной среды. Хотя один дрон сыграл большую роль, возможности одного дрона относительно ограничены и будут ограничены по количеству.

Очень естественная идея — использовать множество дронов, чтобы значительно расширить возможности дронов. Например, они смогут выполнять множество задач параллельно, удвоив свою эффективность. Но в настоящее время в реальности существуют большие проблемы. Например, есть надежда, что группу дронов можно будет денейтрализовать. Если она не будет децентрализована, то при вторжении в центральный полюс все самолеты пролетят над ним и ударятся сами.

Следовательно, если один узел выйдет из строя, рой БПЛА не сможет выполнять задачи автономно; второй — это связь роя БПЛА, потому что, если вы хотите, чтобы у роя БПЛА было много сотрудничества, вам необходимо связаться друг с другом; , и вы также хотите, чтобы Рой дронов мог избавиться от наземных объектов, что равносильно децентрализации.

Рой дронов здесь будет больше ориентирован на промышленное применение, поэтому базовой технологией является позиционирование и картографирование, поскольку благодаря этой способности самолеты могут поддерживать стабильный полет, а благодаря возможностям относительного позиционирования самолеты могут избегать друг друга. Исходя из этого, мы хотели бы иметь глобально согласованное позиционирование. Глобальная согласованность означает, что после того, как самолет облетит и вернется, карта все еще будет в том же положении, то есть на месте. дрейф. Это повлияет на выполнение последующих заданий.

Это относительно большая проблема для кластеров БПЛА, потому что после нормальной оценки на внешнем интерфейсе трехмерную карту можно вставить и просто объединить. Фактически, ядро ​​— это оценка состояния, которая позволяет избежать движущихся препятствий. Когда несколько дронов несут объект, это требует очень хорошего взаимодействия между самолетами и очень хороших и точных возможностей относительного позиционирования.

Для групп БПЛА связь является необходимым условием выполнения полетных задач. Обычно существует два режима связи. Один из наиболее типичных — маршрутизация связи. На самом деле это централизованная связь, основанная на наземных средствах. Это эквивалентно обмену информацией между всеми воздушными судами с центральным узлом или инфраструктурой.

Конечно, существует и проблема, ограничивающая производительность кластеров дронов. Другой, более естественный способ — беспроводные сети, поскольку Wi-Fi сам по себе транслируется, и каждый пакет Wi-Fi отправляется в атмосферу. После его получения устанавливаются различные обнаружения на основе SD Wi-Fi. Однако есть и определенные проблемы. нет соединительной части. Прямая связь невозможна.

Сегодняшняя тема — в основном децентрализация и распределение.,Эти две концепции очень важны для роев дронов. Децентрализация означает, что даже если один узел выйдет из строя,Пока инструкции высокого уровня предварительно загружены,Вы по-прежнему можете продолжать выполнять задания. кроме того,Раздача надеется распространить выполнение и расчет некоторых задач,Например, так обстоит дело с многомашинным обучением нейронных сетей.

02  Децентрализованное видение-инерционное-СШП относительное расположение кластеров

Поскольку в то время почти не существовало кластеров дронов, которые действительно могли бы летать в любой среде, цель была относительно простой. Была надежда, что в любой среде дроны смогут полагаться только на те средства, которые они несут, не полагаясь на внешнее оборудование. .

Вот очень полезный двухэтапный метод. Первый шаг заключается в том, чтобы кластер БПЛА реализовал свою собственную оценку состояния. Второй шаг — использовать результаты VIO, результаты оценки состояния относительного измерения UWB для объединения, а затем объединить их. с предыдущими результатами оценки состояния относительного измерения. Видение измерения объединяется для получения очень точного результата.

СШП — это сверхширокополосная связь. Фактически связь осуществляется путем отправки импульсов. Каждый раз, когда посылается импульс, другие самолеты получают его и затем отправляют обратно.

Поскольку импульсы очень легко подсчитать во временной области, относительное расстояние между самолетами можно легко рассчитать при сверхнаправленном ударе, а точность может достигать десяти или даже нескольких сантиметров. Плохо то, что нет информации об ориентации, а на точность будет влиять Wi-Fi и другие вещи. Другая проблема заключается в том, что на него влияет окклюзия, что приводит к неверным результатам.

Сначала используйте IMU, чтобы получить базовую оценку его собственного состояния, которую можно использовать в качестве основы. Поскольку можно обеспечить только приблизительное позиционирование, проводятся визуальные измерения. Существует очень большая проблема с визуальными измерениями. Характеристика группы дронов заключается в том, что все самолеты одинаковы и очень близки. Даже если все самолеты разные, они все равно будут одинаковыми после полета на большие расстояния. Скажем, относительное позиционирование является серьезной проблемой при использовании визуальных методов.

Для этой проблемы,Здесь выбрана относительно простая стратегия,Используйте сначалаUWBиVIOЧтобы обеспечить приблизительное позиционирование,Точность составляет от 10 до 20 сантиметров. Пока есть новое движение,Он будет иметь точность 20 см.,Он примерно такого же размера, как самолет. Согласно этому грубому позиционированию,Затем сопоставьте его с этим самолетом, который является этим самолетом.,Чтобы определить текущий идентификатор самолета,Затем включите визуальное измерение.

В этой статье непосредственно используется измерение глубины VIO, а простая калибровка может обеспечить точность около нескольких сантиметров, что может значительно улучшить эффект СШП.

Эту проблему также изучали многие люди. Например, Вэй Цзе и другие использовали решение для поиска всех возможных решений, но это решение будет иметь проблемы с вычислительной мощностью. Учитель Гао Фэй и другие преобразовали его в задачу математической оптимизации и использовали essdp; проблема Решить.

Метод в этой статье заключается в прямом сопоставлении, что является относительно грубым. Недостаток состоит в том, что если самолет очень плотный, легко создать некоторые особенности. Какой из них проще использовать, на самом деле зависит от конкретного сценария, потому что довольно сложно решить странную проблему визуального измерения, полностью полагаясь на алгоритм этой статьи, а не на само визуальное измерение.

Структура алгоритма показана на рисунке 1. Произойдет объединение UWB и IMU. После объединения будут выполнены VIO и отслеживание, а затем будет использован метод оптимизации. А с помощью измерений можно получить производительность в реальном времени.

Рисунок 1 Децентрализованный синтез визуально-инерциальной СШП

Факторная диаграмма показана на рисунке 2. Есть относительное расстояние, направление взгляда, и необходимым условием является то, что для ее работы она должна иметь наблюдаемость. Поскольку дальность СШП эквивалентна триангуляции. Чтобы выполнить триангуляцию для определения положения другого человека, вы должны двигаться самостоятельно, а другой участник не может двигаться.

В то время каждый самолет двигался, а мог и не двигаться, что было эквивалентно относительно сложной задаче. Но на самом деле для выполнения СШП и ВИО-движения действительно необходимо относительное движение, то есть требуется определенная инициализация, прежде чем можно будет провести грубое измерение. В то же время, чем больше относительное движение, тем лучше инициализация. точность измерения.

Рисунок 2. Факторная диаграмма

Наконец, эксперименты в помещении доказали, что он может летать по своему желанию, полагаясь на относительное расположение. Как показано на рисунке 3, вы можете видеть, что точность каждой оси составляет около 4–5 см. Однако, если визуальное измерение не включено, точность значительно ухудшится, особенно по оси Z. Это связано с тем, что ось Z имеет точность. относительно небольшое относительное движение.

Если есть визуальные измерения, как показано в правой части рисунка 3, можно достичь позиционирования в реальном времени с точностью до сантиметра. Состояние этого кластера оценивается как децентрализованное и с низкой пропускной способностью связи. Более того, расчетные результаты между каждыми двумя самолетами относительно близки друг к другу, и в то же время они масштабируемы и надежны, когда измерения или дрон временно потеряны.

Рис. 3. Результаты экспериментов

03 omni-Swarm децентрализованная всенаправленная оценка состояния роя дронов с инерционной и сверхширокополосной видимостью с глобальной согласованностью

Если самолеты не видят друг друга, то визуальное измерение не будет работать. В это время точность позиционирования будет очень низкой. Самая серьезная ситуация, когда два самолета летят рядом и параллельно, тогда их камеры будут видеть друг друга. Меньше этого значения вообще не происходит ни относительного визуального измерения, ни измерения положения вообще, и тогда точность сильно ухудшается, поэтому требуется глобальная согласованность. Для решения этих проблем существует новая работа под названием Omni-swarm.

Чтобы решить проблему, которую невозможно увидеть визуально, самый прямой путь — сделать камеру полноформатной, чтобы было всенаправленное ВИО.

Фактически, с самого начала визуального измерения были добавлены некоторые более традиционные функции визуального удара. Например, наземные характерные точки используются для быстрой инициализации и глобального позиционирования. Тогда он имеет характеристики традиционного совместного удара, централизации UWB и совмещения. Имеется система видения, поэтому используются почти все методы позиционирования, доступные кластеру дронов, поэтому он имеет децентрализованную идею, а также глобальность и высокую точность. Общая структура показана на рисунке 4.

Рисунок 4. Омни-рой

В этой работе есть несколько типичных измерений. Первое — это измерение СШП, а второе — визуальное измерение, которое используется для расчета относительного положения наземных ориентиров. Система бинокулярного зрения показана на рисунке 5. Обе камеры имеют угол обзора примерно 230°, имеется две области слева и справа, которые могут охватывать все поля зрения.

Рисунок 5. Система бинокулярного зрения.

Рабочая гибкость голографического зрения намного выше, чем у обычного зрения, и была улучшена. На этот раз мы непосредственно определили 6DOF, например, некоторые типичные характерные точки самолета, а затем проецировали некоторые характерные точки обратно, чтобы вычислить относительную позу 6DOF. Это относительно типичный метод. Существуют также сетевые методы для определения поз и UWB Fusion VIO для инициализации и последующего сопоставления визуальных измерений с другими измеренными положениями.

Позже была введена новая локализация на основе карт, как показано на рисунке 6. Используйте глобальный дескриптор для создания ключевого кадра VIO, а затем используйте виртуальную сеть mobilenetvLAD для создания более надежного панорамного описания.

Рисунок 6 Локализация на основе карт

Бэкэнд представляет собой типичную графическую оптимизацию, как показано на рисунке 7, поскольку два самолета в группе БПЛА должны находиться на достаточном относительном расстоянии, либо использовать карту для относительных измерений, либо использовать зрение для относительных измерений. Только таким образом можно. провести оценку состояния кластера. Во-вторых, представлен метод отклонения выбросов PCM, который может эффективно устранить визуальные относительные ошибки измерения.

Рис. 7. Оптимизация графа

После этого было проведено несколько экспериментов, результаты по точности приведены в таблице 1. Протестировано на трех наборах данных. Точность предлагаемого метода лучше всего проявляется в абсолютной ошибке траектории и относительной ошибке (для оценки относительного состояния).

Таблица 1. Сравнение результатов точности эксперимента

04  Распределенный совместный SLAM(Распределенный Collaborative основы SLAM) и BDPGO (оптимизация сбалансированного распределенного графа поз)

Есть надежда, что дрон будет управлять не только роботом, но и компьютером, чтобы их вычислительные мощности можно было лучше использовать и превратить в распределенную систему. Это естественная идея, поэтому сначала я расскажу о проблеме. Обычно используемый метод в типичной распределенной системе Slam называется оптимизацией графа распределенных поз, то есть каждый самолет имеет свое собственное измерение VIO, и между самолетами существуют относительные позы. Это можно превратить в более крупный график факторов.

На данный момент подавляющее большинство распределенных измерений Slam сосредоточено на использовании метода постграфика, который заключается в измерении относительного положения между самолетами с помощью лазеров, а затем создании графика положения и затем выполнении распределенных решений при решении. он может иметь два положения: одно находится между двумя плоскостями, а другое может обеспечивать относительные измерения.

В настоящее время граф положения часто решается нелинейными методами, а затем его можно записать как задачу согласованности, то есть задача разбивается на подзадачи для каждого самолета. Эта подзадача может включать состояние самолета. , например, ключевые кадры, которые может наблюдать летательный аппарат, но также могут быть ключевые кадры в плоскости K, поэтому есть надежда, что ключевые кадры плоскости K, наблюдаемые самолетом, и ключевые кадры, наблюдаемые плоскостью K, должны быть одинаковыми. быть в том же состоянии.

При исследовании с использованием нескольких самолетов фактическое расстояние, которое пролетает каждый самолет, может быть неопределенным. В начале эксперимента расчетное количество самолетов, летящих дальше, будет больше, но логично, что чем ближе должен быть самолет, тем больше вычислений потребуется. Выполняя больше расчетов, самолеты, путешествующие дальше, должны нести меньше расчетов.

Следовательно, это требует вычислительной мощности, которая также является ресурсом в кластере БПЛА и должна иметь возможность планироваться. Вот метод, позволяющий лучше сбалансировать количество ключевых кадров и распределение вычислительной мощности самого самолета. Алгоритм показан на рисунке. 8 .

Рисунок 8. Алгоритм BDPGO.

При выполнении распределенной оптимизации каждый самолет будет решать подзадачу, и между подзадачами существуют связи. Эти связи эквивалентны ребру в оптимизации графа. Чем больше ребер, тем больше информации необходимо обменивать, поскольку информация на ребрах должна быть общей, и нет необходимости делиться внутренней информацией. Тогда мы надеемся, что количество ребер очень мало, потому что чем больше ребер, тем медленнее оптимизация, поэтому все проблемные размеры подэлементов могут быть перераспределены.

Вот ДЕМО, как показано на рисунке 9. В наборе данных было получено десять самолетов, образующих очень нерегулярную траекторию. Расстояние, пройденное каждым самолетом, может быть большим или коротким. Однако при повторной сегментации цвета будут очень запутанными. (каждый цвет представляет собой (плоскость), но после перераспределения цвета станут очень равномерными. Например, некоторых точек на a станет меньше, поэтому производительность оптимизации станет лучше, а скорость увеличится.

Рисунок 9 Оптимизация графаконтраст

После динамического перераспределения вычислительной задачи будет обеспечена целостность задачи, а также может быть достигнута более высокая эффективность вычислений и меньшее использование полосы пропускания. Конечно, его недостатком является то, что он не проводит эксперименты. Другая проблема заключается в том, что необходимо собирать все данные. Информация может быть передана: если один самолет перехвачен, может быть известна информация о других самолетах.

05 D^2SLAM: Децентрализованное и распределенное совместное позиционирование и картографирование БПЛА ( CSLAM) система

При выполнении глобального позиционирования требуется глобальная согласованность; когда расстояние относительно близко, требуется обход взаимных препятствий. Это проблемы, которые необходимо решить и обеспечить возможность расчета этого метода с учетом вычислительной мощности дрона. Следовательно, проблему необходимо разделить на два процесса: один — плавная оценка состояния, а другой — высокоточная оценка относительных состояний между самолетами для обеспечения устойчивости самого полета.

Перед этим необходима базовая вещь, называемая оценкой состояния ближнего поля (D2VINS), поскольку самолетам необходимо тесно обмениваться информацией, чтобы получить относительно высокое относительное позиционирование. Информация об относительном статусе не добавляется в этот метод, поскольку при замене одного из самолетов информацию об относительном статусе необходимо пересчитывать.

Но надежда на более общий подход требует относительной координации с наземными целями. Это требует относительно плотного обмена информацией и перекрытия полей зрения, и лучше всего использовать голографическую камеру. Кроме того, этот метод требует относительно высокой пропускной способности связи, поскольку зрение само по себе является серьезной проблемой доверия, и для получения относительно хорошей значительной уверенности необходимо обмениваться большим объемом информации. Другая проблема заключается в необходимости обеспечения согласованности внутри кластера и. Глобальная согласованность. Наконец, общая структура показана на рисунке 10.

Рисунок 10 Структура D2SLAM

Интерфейс этой сети относительно унифицирован и использует специальные точки непосредственно для отслеживания. Поскольку всенаправленные камеры относительно дороги, они совместимы с бинокулярными камерами, поэтому существует гибридный интерфейс. Метод установки использует новую конфигурацию, поскольку он имеет лучшее бинокулярное поле зрения и больше пикселей, а также хорошо подходит для создания глубины.

Окончательное сгенерированное изображение представляет собой карту, свернутую в ведро. Преимущество состоит в том, что согласованность направления относительно хорошая, и при перемещении поля зрения влево и вправо не будет слишком больших отклонений. Используемый гибридный интерфейс имеет как характерные точки суперточки, так и характерные точки оптического потока LK. Это связано с тем, что кластер должен решать проблему относительно большого параллакса в самолетах и ​​может выполнять относительное позиционирование, поэтому для решения он используется смешанным способом. их соответствующие проблемы.

Кроме того, на передней панели будет 3D-окно, позволяющее проверить, отличается ли текущее поле зрения двух самолетов. Если да, то оно будет визуально совпадать.

При выполнении визуального удара вам на самом деле необходимо отправить две вещи: во-первых, вам нужно иметь полное описание самолета, а также отправить описание каждой характерной точки и способов сопоставления характерных точек. Когда два самолета находятся далеко, они обнаружат, что дескрипторы не могут использоваться при сопоставлении друг с другом, а полоса пропускания эфира очень ценна, и неразборчивая отправка информации приведет к пустой трате ресурсов.

Существует метод, называемый архитектурой распределенного цикла, который использует один самолет для трансляции всех дескрипторов во внешний мир. Если у другого самолета есть соответствующий дескриптор, он отправит дескриптор для более правильного сопоставления, получения относительной позы и использования. суперточка в то же время может сэкономить полосу пропускания. Если самолет находится очень близко, потребуется только переключатель режимов.

Для оптимизации распределения возникает проблема сегментации количества наблюдений между самолетами. Имеются ключевые кадры, внешние параметры положения камеры и параметры характерных точек. .1 наблюдал особенности точки a, машина № 2 также наблюдала эту особенность точки a. На данный момент есть надежда, что две характерные точки находятся в одном и том же положении. Эти камеры необходимо разделить на непересекающиеся наборы, и тогда характерные точки могут пересекаться. Затем необходимо поделиться информацией о характерных точках, чтобы подтвердить, находятся ли они в одном и том же положении, что требует большого объема связи.

Поэтому проблему необходимо сузить. Во многих случаях характерные точки не представляются трехмерными координатами мира XYZ, а проецируются наружу с использованием положения первого кадра ключевого кадра. обратная длине позиции для представления характерной точки. Математические свойства обратной длины улучшены. На данный момент характерные точки и положения связаны друг с другом. Группа преподавателей Гонконгского университета науки и технологий усовершенствовала это решение, но проблема с распределением все еще существует. Оно делит характерные точки камеры на множество различных наборов и разделяет положение камеры. Это позволит сэкономить много средств связи. трафик и оптимизация производительности будут лучше.

Но чтобы справиться с проблемой совместного VIO, если информация о ключевом кадре отправляется неправильно, система может выйти из строя. Таким образом, эта проблема была решена путем разделения ключевых кадров на разные наборы и оценки ключевых кадров. Если один и тот же ключевой кадр наблюдается между двумя самолетами, ожидается, что он будет согласованным.

Основные точки истинности могут быть установлены только на локальном компьютере, поэтому можно гарантировать согласованность локального компьютера. Во-вторых, IMU естественно находится на локальной машине и также может обеспечивать локальное наблюдение на локальной машине. Тогда один из используемых методов — использовать временную метку особой точки, указать, у кого есть предыдущая временная метка и кому принадлежит эта характерная точка. На самом деле существует более сложный метод выбора характерных точек, чтобы охватить большинство ключевых кадров каждого самолета. Во-вторых, характерные точки должны быть как можно более длинными и охватывать как можно больше ключевых кадров.

Существенной разницы между маргинализацией и VINS нет, но она многомашинная, как показано на рисунке 11.

Рисунок 11 Многомашинная маргинализация

Проверено на биноклях, хотя кластеры дронов больше подходят для всенаправленных камер, в основном используются бинокли. Влияние на бинокулярные глаза показано в Таблице 2, эффект очень хороший. Он может достигать точности 2 см, а поле зрения относительно более точное, но есть проблема в том, что для инициализации не используется наземная истина.

Таблица 2. Результаты теста бинокулярного зрения

Чтобы обеспечить глобальность, мы разработали регионально распределенный алгоритм с асинхронной производительностью. Поскольку самолет находится относительно далеко, связь может быть плохой, поэтому мы надеемся, что его все равно можно вычислить, даже если существует относительно большая задержка связи. Но для оценки состояния в дальней зоне производительность в реальном времени не очень важна, и больше внимания уделяется предсказуемости. Целевая оптимизация — это стандартная задача распределенной оптимизации. Есть надежда, что ее можно решить асинхронно и выполнить инициализацию ротации, чтобы обеспечить согласованность восходящего потока нескольких машин.

Наконец, подведем итог: D^2SLAM имеет относительно хорошую производительность в режиме реального времени, может поддерживать несколько камер, высокоточные измерения и глобальную согласованность, что делает его пригодным для множества различных задач.

Конечно, есть и некоторые недостатки. Прежде всего, коммуникация определенно является огромным фактором, ограничивающим дальнейший рост количества кластеров. Если вы хотите превратить его в очень большой кластер, вам нужно решить проблему связи. Например, вы можете отправлять информацию направленно или даже использовать лазеры для направленной передачи информации. Еще есть такое. Это не относительное измерение, потому что основная надежда состоит в том, что этот метод может стать базовым методом и гарантировать, что основная работа включена.

06  Future Works

Будущая работа в основном включает в себя следующие аспекты:

Первый — это крупномасштабный CSLAM, который не только означает большие расстояния, но также означает, что количество самолетов может быть больше, и существует большая потребность в совершенствовании связи, маршрутизации и методов.

Во-вторых, может ли система распределенного зрения работать с одной или несколькими стальными машинами. Например, есть один робот, оснащенный разными вычислительными узлами и разными визуальными узлами. Каждый узел может работать независимо друг от друга. Роботы с несколькими жесткими телами проводят наблюдения и далее выполняют комбинации роботов для реконструкции нескольких тел.