сотрудник
сотрудник
студент
ВАК 05.17.00 Химическая технология
ВАК 05.23.00 Строительство и архитектура
ГРНТИ 20.53 Технические средства обеспечения информационных процессов
Автономный мобильный робот способен в автоматическом режиме выполнять работы по обследованию территории строительства. Ориентация робота в пространстве может быть реализована с помощью фотограмметрических методов. Эти методы позволяют преобразовать получаемые роботом изображения окружающего пространства в план местности. Такой план используется для идентификации базовых точек контуров и сегментов линий, выделенных на изображении. Для этих точек определяются их локальные координаты, которым ставятся в соответствие данные систем глобального позиционирования и картографических Internet-сервисов. Предложенные проектные решения позволяют получить точность ориентирования робота, превышающую точность каждого отдельного источника глобальных и локальных координат.
мобильный робот, система ориентирования, фотограмметрия, программное обеспечение
Введение. При строительстве объектов и обустройстве территорий бывает необходимо обследовать обширную территорию с целью замеров геодезических, технологических, экологических и других параметров на сетке точек опробования с плотностью, зависящей от производственной задачи и площади участка. Размер ячейки сети исследования изменяется от десятков сантиметров до нескольких метров. Такую рутинную и трудоемкую работу обхода территории может выполнить мобильный робот [1, 2, 3]. В ходе создания таких роботов был накоплен опыт применения аппаратных и программных проектных решений, позволяющих в некоторых случаях повысить точность позиционирования робота и определения координат объектов окружающего пространства при одновременном снижении вычислительной нагрузки процессора робота.
Методология. При обследовании территории траектория движения робота организуется по разным схемам автоматического движения, простейшей из которых является челночное движение вдоль продольной линии обследуемой территории с заданным интервалом остановок, необходимых для замера параметров. Схема движения выбирается с помощью базовой станции, связь с которой организуется по радиоканалу, в частности стандарта Wi-Fi. Базовая станция используется и для долговременного хранения собранной роботом информации. Одной из задач управления движением является ориентирование робота в окружающем пространстве, определение его локальных и глобальных координат и координат наблюдаемых объектов пространства. Зачастую эта задача решается сложными методами, например, методами одновременной локализации и построения карты
(SLAM – Simultaneous Localization and Mapping) [1, 3]. Однако они требует использования для вычислений высокопроизводительного процессора, и не всегда дают удовлетворительный результат.
Обеспечить необходимую для обследованию территории строительства точность локализации может в ряде случаев применение сочетания нескольких относительно простых аппаратных и программных средств [11]. Опыт проектирования роботов показал, что движение по заданной траектории может выполняется с одновременным использованием в подсистеме навигации робота следующих видов ориентации:
- грубая ориентация в границах участка, которая реализуется по системе спутниковой навигации систем ГЛОНАСС и GPS в режимах абсолютных определений, дающих точность
3–5 метров, а при возможности так же в режимах относительных (0,5 – 2 м) и дифференциальных (0,2 – 0,4 м) измерений, при длительности измерений до минуты [9, 10];
- уточнение локализации методами фотограмметрии, путем обработки изображений, получаемых с бортовых видеокамер, дающих точность позиционирования 0,02–0,1 м при расстояниях в сотни метров и временных затратах на процесс обработки изображения в доли секунды;
- ориентация на базе данных картографических веб-сервисов;
- локальная ориентация с использованием средств прямого и косвенного измерения систем управления движением робота, в частности, систем стабилизации полета для беспилотных летательных аппаратов и систем управления электроприводов колес.
Основная часть. Выбранный подход к проектированию подсистемы навигации применялся для автономных мобильных роботов разных типов – летающих и колесных, требующих ориентации в пространстве при своей работе. Как показала практика, визуальная локализация на основе методов фотограмметрии при определенных условиях обеспечивает достаточно высокую точность навигации робота и не требует использования высокопроизводительного процессора. Кроме средств получения фотоизображений дополнительно на некоторых роботах устанавливались ультразвуковой датчик и лазерный дальномер, смонтированные жестко относительно друг друга на поворотной площадке, имеющей две степени свободы: горизонтальную (азимутальную) и вертикальную (угломестную), так что их продольные оси измерений параллельны. Движение этой площадки осуществляют сервоприводы ориентации, выполняющие два движения: горизонтальное по азимуту – от одного крайнего положения к другому, и в вертикальной плоскости. Пределы поворотов сервоприводов в вертикальной и горизонтальной плоскости задаются от результата дешифрирования изображения от фронтальной навигационной камеры (технология геодезического сканирования).
В изображениях окружающего пространства, получаемых с помощью видеокамеры или датчиков другого типа, различаются несколько категорий точек:
- точки без отклика (свободное пространство);
- точки со слабым откликом от далеко расположенных предметов (движение возможно, но выполняется дополнительная вычислительная работа по дешифрированию изображения по курсу следования);
- точки с нулевым отражением по ультразвуку и сильным отражением лазерного луча от маркера-катафота, поставленного как навигационный маяк (для ориентирования робота используются данные в виде углов и расстояний до маркерных точек);
- точки с сильным отражением, прежде всего по ультразвуку - данные используются для маневра обхода препятствий.
Для колесных роботов применялась также технология локальной навигации по данным прямых и косвенных измерений, получаемых от систем управления электроприводов колес робота. Косвенные измерения выполнялись наблюдающим устройством, входящим состав системы модального управления электроприводом колес. Для робота-дрона в системе навигации ориентирования и навигации дополнительно применялись следующие имеющиеся на борту датчики: 3-осный гироскоп с точностью
2000 °/с, 3-осный акселерометр с точностью
+/- 50 мг, 3-осный магнетометр с точностью 6°, барометрический альтиметр с точностью
+/- 10 Па, ультразвуковой датчик для определения высоты над поверхностью почвы.
Грамотное сочетание перечисленных аппаратных средств позволяет значительно повысить точность определения координат робота и эффективно решать задачи построения карты исследуемой среды и построение заданной траектории движения робота на этой карте.
Предлагаемым способом локализации мобильных роботов является применение фотограмметрических методов [6–8], которые позволяют получать пространственные координаты объекта по его разноракурсным фотографиям. К основным задачам, которые нужно решить для получения трехмерных координат объектов окружающей среды и самого робота, относятся следующие:
1) Выбор конфигурации съемки. Качество измерений зависит от масштаба съемки, расположения камер, формы объектов и прочего. Поэтому для обеспечения заданных показателей качества ориентирования нужно решать задачу выбора параметров и расположения камеры;
2) Задача калибровки, т.е. задание адекватной математической модели съемки и оценки параметров данной модели [4, 5].
3) Задача стерео-отождествления – идентификация одной и той же точки на разноракурсних снимках одного объекта и получение координат на этих снимках.
4) Задача расчета трехмерных координат объекта сложной формы, т.е. определение трехмерных координат точек объекта, одновременно наблюдаемых не менее с двух точек зрения.
Процесс позиционирования по фотоизображению состоит в получение кадров съёмки (фото или видео серийная съемка) с фронтальной курсовой камеры и дешифрирование фотоизображения с целью распознания навигационных ориентиров. Затем методами фотограмметрии вычисляются угловые координаты навигационных ориентиров, расстояние до ориентира, плановые координаты робота в какой-либо системе координат.
Первым этапом обработки изображений становится задача преобразования начальных снимков центральной проекции в ортогональное изображение местности. Потоковые фото-видео изображения накапливаются в флэш-памяти на борту робота или передаются на базовую станцию по радио каналу. В последнем случае дальнейшее преобразование изображения может производиться на базовой станции, если вычислительных ресурсов на борту робота недостаточно.
Преобразование изображения идёт покадрово. Сначала на изображении выделяются контуры и сегменты линий со снятием их координат в пиксельной системе, и идентифицируются их базовые точки. Далее выполняется распознавание на изображении контуров навигационных ориентиров, для которых известны точные координаты данных GPS или картографирования, по которым вычисляются координаты камеры.
Локальные координаты базовых точек определяются методами фотограмметрии. Основная суть этих методов - пересчет пиксельных координат изображения в координаты местности. Для этого используются локальные системы координат с началом в точке пересечения главной оптической оси снимка с плоскость снимка и с предметной плоскостью (с плоскость рабочей поверхности).
При применении методов фотограмметрии используется математическая модель камеры. В традиционных фото и видеокамерах снимок формируется по закону центрального проектирования, когда точка на снимке получена как точка пересечения с плоскостью снимка прямой, проходящей через центр проекции и точку объекта. При рассмотрении модели камеры считается, что любая точка снимка в этой системе координат имеет координаты (x, y, f). Величина f равна расстоянию от центра проектирования до плоскости снимка. Преобразование пиксельных координат точки изображения осуществляются следующим образом. Пиксельные координаты Xpix, Ypix превращаются в искаженные координаты Xa, Ya. Вычисляются нелинейные искажения Δx, Δy для каждой точки изображения. Далее вычисляются действительные координаты x, y точки изображения путем добавления к рассчитанным координатам соответствующих нелинейных искажений: x = Xa + Δx, y = Ya + Δy.
При решении задачи вычисления координат точки изображения, соответствующей данной точки поверхности, необходимо по действительным координатам (x, y) вычислить пиксельные координаты Xpix, Ypix точки изображения. Далее все геометрические отношения записываются для истинных координат изображения, выраженных через пиксельные координаты. Положение изображения относительно выбранной фотограмметрической системы координат, в которой измеряются пространственные координаты точек объекта, определяется вектором координат точки съемки x, y, z и матрицей вращения A, которая является функцией трех углов последовательных поворотов системы координат. В данном методе используется последовательность углов поворотов α, ω, k относительно осей ОУ, ОХ, ОZ, принятая в аэросъёмке. Преобразование в систему координат местности выполняется по простым формулам, исходя из имеющихся на момент получения изображения данных: Xi=H·xi/((f·cos(α)-xi·sin(α))·cos(α)), Yi=H·yi/(f·cos(α)-xi·sin(α)), где, α - угол наклона камеры, H - высота камеры, f - фокусное расстояние, xi - координата на изображении, Xi - координата на местности, i – номер точки. Координаты в локальной системе на местности имеют начало координат в точке, соответствующей началу координат изображения.
Приведем системные требования к программному обеспечению, которое должно решать поставленные задачи ориентирования робота методами фотограмметрии:
1) Система должна получать изображение с камеры для дальнейшей обработки;
2) Система должна получать дополнительные данные об изображении: высота камеры, угол наклона, фокусное расстояние камеры.
3) Полученное изображение должно храниться в базе данных изображений.
4) Полученные данные об изображении должны храниться в базе данных.
5) Программное обеспечение для построения карты должно находить оптический центр загружаемого изображения.
6) Программное обеспечение должно обеспечивать построение осей координат.
7) Программное обеспечение должно обеспечивать выбор базовых маркерных точек на изображении, принадлежащих контурам и сегментам линий.
8) На основе полученных координат маркерных точек система должна строить план местности методами фотограмметрии.
Дерево функций разработанного программного обеспечения подсистемы ориентирования мобильного робота показано на рис. 1.
Составной частью разработанного программного обеспечения является модуль построения уточненной карты местности. Входными данными для этого модуля являются выделенные контуры объектов на изображении с указанием их рассчитанных координат. На такой локальный план местности наносится масштабная сетка и далее он сопоставляется с картой, полученной с помощью картографического сервиса, например, Google Maps. Точность таких карт обычно меньше точности локализации робота, даваемой применяемыми методами фотограмметрии. Поэтому далее выполняется распознавание образов на карте и на локальном плане, и карты уточняются переносом на них локальных координат контуров с созданного локального плана местности.
Рис. 1. Функции подсистемы ориентирования робота
Последовательность базовых операций, выполнение которых требуется для локальной ориентации робота в окружающем пространстве, показана на рис. 2:
Рис. 2. Операции локальной ориентации
Сначала изображение получается с фронтальной камеры. Вместе с изображением поступает дополнительная информация, такая как, высота камеры, угол наклона, и фокусное расстояние камеры. Поступившая информация сохраняется в базе данных. На изображении выделяются вертикальные объекты и строятся ортогональные оси – OX, параллельная данному объекту, и OY. Затем на изображении выделяются контуры объектов и их опорные точки, для которых рассчитываются координаты в локальной и глобальной системах. Такая последовательность программных операций была реализована в рамках архитектуры «Фильтры-каналы», которая при необходимости легко модифицируется. Программная реализация методов обработки изображений выполнена с применением средств библиотеки OpenCV. На фотоизображениях территорий, выделенных под строительство, или изображениях современной городской застройки легко выделить контуры относительно простой геометрической формы и протяженные сегменты линий, близких к вертикальному или горизонтальному положению - вертикальные здания, подъездные дороги и прочее. Как показывает имеющийся опыт, такая специфика предметной области позволяет применить эффективные в вычислительном смысле методы фотограмметрии [12], которые в сочетании другими алгоритмами, позволяют реализовать применение роботов для обследования территории.
Выводы. Таким образом, сочетание нескольких аппаратных и программных средств для определения координат робота и объектов окружающего пространства обеспечивает необходимую точность автоматического обследования территории строительства. При этом использование методов фотограмметрии позволяет применить менее сложные алгоритмы вычислений и требует меньшей производительности процессора робота в сравнении с рядом других известных методов локализации.
1. Springer Handbook of Robotics / Editors B.Siciliano, O.Khatib. Berlin: Springer-Verlag, 2008.
2. Mobile robots - current trends / Editor Zoran Gacovski. Rijeka: InTech, 2011.
3. Fernández-Madrigal J., Claraco J. Simultaneous Localization and Mapping for Mobile Robots: Introduction and Methods: Introduction and Methods, 2013.
4. Красильников Н. Н. Цифровая обработка 2D- и 3D-изображений: учеб. пособие для вузов. СПб.: БХВ-Петербург, 2011. 608 с.
5. Марр Д. Зрение (Информационный подход к изучению представления и обработки зрительных образов).М.: Радио и связь, 1987. 400 с.
6. Татаринович Б.А. Половинко В.В. Фотограмметрия. БелГУ, 2009.54с.
7. Татаринович Б.А., Бидыло М.И., Половинко В.В. Использование цифровых камер для плановой съемки местности // Землеустройство, кадастр и мониторинг земель. 2009. № 9. С. 50-54.
8. Татаринович Б.А., Половинко В.В. Интенсификация фотосъемочных работ путем применения специального оборудования и алгоритмов вычисления // Землеустройство, кадастр и мониторинг земель. 2010. №5. С. 64-66.
9. Татаринович Б.А. Информационные технологии обработки файлов протоколов GPS/ Б.А. Татаринович, А.А. Тарин // Mining informational and analytical bulletin. Горный информационно-аналитический бюллетень. Автоматизированные и информационные системы. 2014. №9. С. 148-158.
10. Татаринович Б.А., Тарин А.А. Информационные технологии. Точностные характеристики местоопределения по локальным и широкозонным поправкам. // Mining informational and analytical bulletin. Горный информационно-аналитический бюллетень. 2014. №8. С. 322-327.
11. Грузинов В.С., Кавешников М.Б., Ковальчук А.К., Кулаков Д.Б., Семенов С.Е., Старостин А.Ю., Татаринович Б.А., Шайтура С.В. Геоинформационные системы в управлении двуногими шагающими роботами. Часть 2. Системы космической навигации // Монография, М.: Изд. "Рудомино", 2010. 196 с.
12. Рязанов М.Н., Татаринович Б.А. Анализ программного обеспечения ГИС // Реалии и перспективы в экономике и управлении проектами Сборник научных статей. С-Петербург. 2013. С. 115-119.
