Глаза в небе: Системы технического зрения на основе искусственного интеллекта в беспилотниках нового поколения

Дроны получили широкое распространение в сфере развлечений (съемки телешоу/фильмов), любительской фотографии и просто в качестве забавной игрушки. Они все чаще используются в инспекции, логистике/доставке, безопасности и наблюдении, а также в других промышленных сферах благодаря своей способности получать доступ к труднодоступным местам. Однако знаете ли вы, что наиболее важным компонентом, обеспечивающим работу дрона, является его система технического зрения? Прежде чем углубиться в эту тему, давайте разберемся, что такое беспилотники, каковы сферы их применения и почему они стали так популярны. Наконец, мы обсудим, как onsemi преобразует системы технического зрения, которыми оснащаются эти невероятные летающие объекты.

Типы и применение

Дроны - это беспилотные летательные аппараты (БПЛА), также называемые беспилотными авиационными системами (БАС), и в меньшей степени дистанционно пилотируемые летательные аппараты (ДПЛА). Они могут работать без необходимости управления и перемещаться автономно с помощью различных систем.

Существует три типа беспилотников - с фиксированным крылом, однороторные/многороторные и гибридные. Каждый из них служит разным целям, и каждый тип соответствует назначению, для которого он создан.

Неподвижные крылья Они обычно используются для транспортировки более тяжелой полезной нагрузки, увеличения продолжительности полета и применяются в миссиях разведки, наблюдения и рекогносцировки (ISR), в боевых операциях, а также для наведения боеприпасов, картографирования и исследовательской деятельности, и это лишь некоторые из них.

Одно-/многороторные имеют доминирующее применение, причем в самых разных отраслях промышленности - от обычных складов до инспекций и даже в качестве транспортных средств доставки. Назначение этих типов может быть самым разнообразным, поскольку они могут применяться в самых разных случаях и требуют высоко оптимизированных электромеханических решений.

Гибридные роторы Они включают в себя лучшие качества обоих вышеперечисленных типов, а также имеют возможность вертикального взлета и посадки (VTOL), что делает их универсальными, особенно в регионах с ограниченным пространством. Большинство дронов-доставщиков используют эти возможности по очевидным причинам.

Системы движения и навигации в беспилотниках

Дроны оснащены множеством датчиков движения и навигации, включая акселерометры, гироскопы и магнитометры (в совокупности называемые инерциальным измерительным блоком, или IMU), барометры и многое другое. Они используют различные алгоритмы и техники, такие как оптический поток (с помощью датчиков глубины), одновременная локализация и картирование (SLAM) и визуальная одометрия. Хотя эти датчики хорошо выполняют свои функции, они не всегда могут обеспечить требуемую точность и аккуратность при доступной стоимости и оптимальных размерах. Проблема усугубляется при длительных полетах, что приводит к необходимости использования дорогостоящих батарей или ограничения времени полета в зависимости от циклов зарядки батареи.

Системы технического зрения в беспилотниках

Датчики изображения дополняют вышеупомянутые датчики, значительно улучшая их работу, в результате чего получается высокоточная и высокоточная машина. Они выпускаются в двух вариантах - Gimbals (часто называемые также полезной нагрузкой) и Vision Navigation Systems (VNS).

Имбулы* - Обеспечивают вид от первого лица (FPV); как правило, состоят из различных типов датчиков изображения, охватывающих широкий электромагнитный спектр (ультрафиолет в исключительных случаях, обычные CMOS-датчики изображения с длиной волны 300 нм - 1000 нм, коротковолновые инфракрасные (SWIR) датчики до 2000 нм и за пределами 2000 нм со средневолновыми (MWIR) и длинноволновыми инфракрасными (LWIR) датчиками.

Навигационные системы Vision (VNS) - Обеспечивают навигационное наведение, предотвращение столкновений с объектами; как правило, состоят из недорогих датчиков изображения низкого разрешения и вместе с данными IMU и датчиков используют методы компьютерного зрения для создания комплексного решения для автономной навигации.

Важность систем технического зрения

Дроны работают как в закрытых помещениях, так и на открытом воздухе, что видно из описанных ранее случаев использования и применения. Эти условия могут быть весьма сложными, поскольку освещение варьируется в широких пределах, а видимость ограничена пылью, туманом, дымом и кромешной тьмой. Эти системы пытаются использовать значительные алгоритмы искусственного интеллекта (ИИ) и машинного обучения (МЛ), применяемые к данным изображений, используя при этом помощь данных, предоставляемых ранее упомянутыми методами, и все это в контексте работы высоко оптимизированного транспортного средства, потребляющего мало энергии и обеспечивающего работу на больших расстояниях или в течение длительного времени полета.

Необходимо, чтобы данные, вводимые в эти алгоритмы, были высокоточными и высокодетализированными, но при этом в определенных случаях обеспечивали только то, что нужно, что позволяет эффективно их обрабатывать. Время обучения при использовании ИИ/МЛ должно быть коротким, а выводы - быстрыми, с высокой точностью и аккуратностью. Изображения должны быть высокого качества, независимо от того, в какой среде работает беспилотник, чтобы соответствовать вышеуказанным требованиям.

Датчики, которые просто снимают сцену и передают ее на обработку, не обеспечивают высококачественную работу этих машин, что в большинстве случаев сводит на нет саму цель их установки. Возможность уменьшения масштаба при сохранении полной детализации интересующих областей, широкий динамический диапазон для работы в условиях яркого и темного освещения в одном кадре, минимизация/устранение любых паразитных эффектов на изображениях, решение проблемы заполненных пылью/туманом/дымкой полей обзора и поддержка этих изображений с высоким разрешением по глубине дают огромные преимущества для превращения БПЛА в высоко оптимизированную машину.

Эти возможности минимизируют объем ресурсов - вычислительных ядер, графических процессоров, памяти на кристалле или вне его, архитектуры шин и управления питанием - необходимых для восстановления и анализа этих изображений и ускорения процесса принятия решений. Это также снижает себестоимость всей системы, особенно если учесть, что современные БПЛА легко могут содержать более 10 датчиков изображения. Кроме того, при том же наборе ресурсов можно проводить более глубокий анализ и использовать сложные алгоритмы для принятия эффективных решений, что делает БПЛА более заметным в этой переполненной людьми области.