Development of a method for detecting traffic flow objects from satellite photographs with high image quality

Full Text

Введение

Транспортные системы городов сегодня перегружены, а системы мониторинга громоздки, дорогостоящи и не отражают единовременной целостной картины. Tребуется новая технологическая платформа, обеспечивающая доступный, достоверный, комплексный мониторинг систем. В связи с этим тема исследований, направленных на разработку методологии применения материалов космического зондирования земли для решения задач мониторинга и оптимизации транспортной инфраструктуры, весьма актуальна.

Космические снимки сверхвысокого (от 0,3 до 1 м) пространственного разрешения могут отображать большие территории, в частности территории различных населенных пунктов – от мелких до крупных городов [1].

Нашей целью являлась разработка метода детектирования и классификации объектов для оценки интенсивности и состава транспортного потока по спутниковым снимкам сверхвысокого разрешения и географической информации о расположении и ширине дорог. Основными задачами исследования стали: анализ алгоритмов и методов оценки показателей транспортного потока (ТП) с использованием спутниковых снимков сверхвысокого разрешения, а также алгоритмов детектирования и классификации транспортных средств (ТС) на таких снимках; разработка алгоритма извлечения со снимков изображений отдельных перегонов дорожной сети.

Из перечня основных параметров дорожного движения следует выделить два: состав ТП и количество ТС, приходящихся на один километр полосы движения (плотность движения). Данные параметры возможно определять фактически, а не расчетом единовременно на всей улично-дорожной сети (УДС) города, в различные периоды времени, с применением космических снимков сверхвысокого пространственного разрешения.

Материалы и методы исследований

Одним из факторов, осложняющих детектирование и классификацию ТС, является то, что снимки с очень высоким разрешением, от 0,3 до 1 м, могут содержать только несколько пикселей для установления размеров и характеристик ТС. Например, автомобиль размером 3200 на 1420 мм будет представлен всего лишь 3 пикселями в длину и 1 пикселем в ширину. Это сильно осложняет их распознавание и классификацию.

Для исследования была создана экспериментальная система «TDC extractor» с использованием методов цифровой обработки изображений, распознавания образов и машинного обучения для обнаружения и классификации транспортных средств на конкретном участке УДС [2, 3]. В качестве базы для построения программной системы была выбрана библиотека глубокого обучения Caffe, написанная на языке программирования C++. Программная система включает в себя несколько основных компонентов:

1. Модуль сужения области детектирования, использующий географические данные о расположении дорожных участков в городе для сужения области поиска ТС.
2. Модуль генерации гипотез, который включает алгоритмы селективного поиска и их фильтрации, основан на низкочастотной информации и размерах объектов.
3. Модуль распознавания визуальных объектов, основанный на сверточной нейронной сети второго порядка. Модуль распознавания визуальных объектов решает задачи определения принадлежности гипотезы одному из классов ТС: легковое авто, грузовое авто, автобус, мототранспорт.

Модули, которые решают проблемы обнаружения и классификации транспортных средств, включают все вышеперечисленные составные компоненты. В данной статье не рассматриваются модули, выполняющие расчеты числовой оценки показателей транспортного потока.

На рис. 1 изображен процесс обнаружения и классификации транспортных средств методом обработки спутниковых изображений. Конечным результатом работы системы является численное значение транспортных средств, обнаруженных на каждом этапе процедуры детектирования, по категориям и направлениям движения [4].

 

Рис. 1. Базовые стадии работы метода детектирования и классификации ТС: а – участок спутникового снимка, включающий в себя изображение перегона; б – изображение перегона в рамках рассматриваемого участка, полученное программной реализацией алгоритма сокращения области поиска; в – множество гипотез, полученных модифицированным алгоритмом селективного поиска; г – набор гипотез, оставшихся в результате выполнения фильтрации по низкочастотной информации и по размерам; д – множество детектированных ТС, для которых была выполнена классификация; е – ТС с определенным направлением движения, полученным исходя из относительной позиции на дорожном полотне

 

В ходе проведенных исследований на программной системе «TDC extractor» были качественно оценены разработанные алгоритмы, составляющие систему детектирования и классификации: алгоритмов сокращения области поиска, алгоритмов выборочного поиска с фильтрацией гипотез.

Для обучения нейронной сети создаются две базы из обучающей и тестирующей выборки, которые записываются в базу данных формата lmdb (Lightning Memory-Mapped Database). Данная база представляет собой высокопроизводительную встроенную транзакционную базу данных и созданных к ним масок.

После детектирования необходимо классифицировать транспортные средства по типам. Классификация будет осуществляться с помощью семантической классификации с использованием сверточных нейронных сетей (Convolutional Neural Network – ConvNet/CNN). Для глубокого обучения нейронной сети существует большое разнообразие различных программных библиотек.

Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды. Данный фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления входных сигналов (возможно, вместе с требуемыми выходами) они самостоятельно настраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами. Все еще существуют проблемы относительно того, чему нейронная сеть может обучиться и как обучение должно проводиться.

Это показывает, что работы предлагаемого направления являются актуальными на сегодняшний момент.

Для проведения исследований была выбрана среда обучения Caffe, разработанная Яньцинем Цзя в университете Беркли. Данная библиотека, поддерживающая множество типов машинного обучения, нацелена в первую очередь на решение задач классификации и сегментации. Для того чтобы построить и обучить модель распознавания в библиотеке, объявлена функция Сaffe с параметром обучения (train) и входным файлом, определяющим структуру и базовые параметры модели. На выходе получится файл формата caffemodel, используемый для сохранения и перенесения модели.

На рис. 2 показана общая схема сверточной нейронной сети, использованной в данной работе. Приведены количество и размер карт признаков для каждого слоя, а также формулы для вычисления значений, проходящих через сигнальные слои.

 

Рис. 2. Структурная схема используемой CNN

 

Кроме того, было исследовано качество разработанного алгоритма, в том числе модулей сужения области поиска и выборочного поиска с допущениями фильтрации. Сверточная нейронная сеть была обучена на 100 раундов.

Результаты исследований и их обсуждение

Проанализированы результаты проведенных экспериментов. Анализ показал, что увеличение размера обучающей выборки приводит к улучшению качества сети [4]. На рис. 3 показан график зависимости ошибки обучения CNN от количества эпох для различных размеров обучающей выборки. Минимальная ошибка обучения на предъявляемом алгоритму наборе была равна 1%. Минимальная ошибка тестирования составила 7,3%.

 

Рис. 3. Полученные в результате исследования графики зависимости ошибки обучения CNN от количества эпох обучения (1750, 3500, 5250, 7000 примеров в обучающей выборке)

 

В таблице показаны данные каждого слоя (количество и размер ядер свертки) и формула расчета для каждого слоя свертки, слоя подвыборки и полносвязного слоя.

 

Структура используемой CNN

№ п/п	Слой	Размеры ядра	Количество каналов	Формулы формирования сигнала
	Вход	Входное изображение 68 × 68
1	Сверточный слой С1 (с нейронами 2-го порядка) на выходе 16 каналов 63 × 4	5 × 5	8	$y_j=f(\sum _{i=1}^m\left(w_{ji}\left(k\right)y_i\left(k\right)+u_{ji}\left(k\right)y_i^2\left(k\right)\right)$
2	Субдискретизирующий слой S1 на выходе 16 каналов	4 × 4	8	$y_j=f\left(a_j\max \left(y_j\right)\right)$
3	Сверточный слой С2 (с нейронами 2-го порядка)	5 × 5	24	$y_j=f(\sum _{i=1}^m\left(w_{ji}\left(k\right)y_i\left(k\right)+u_{ji}\left(k\right)y_i^2\left(k\right)\right)$
4	Субдискретизирующий слой S2	4 × 4	24	$y_j=f\left(a_j\max \left(y_j\right)\right)$
5	Сверточный слой C3	3 × 3	112	$y_j=f\left(\sum _{i=1}^m\left(w_{ji}\left(k\right) y_i\left(k\right)\right) \right)$
6	Полносвязный слой F			$y_j=f\left(\sum _{i=1}^m\left(w_{ji}\left(k\right) y_i\left(k\right)\right) \right)$
Выход		4 классификационных сигнала от полносвязного слоя

 

В вышеприведенной таблице f(…) – сигмоидальная функция активации нейронов сети:

$f\left(x\right)=\frac{1}{1+e^{-x}}$.

Нейроны более высокого порядка могут быть введены в любой слой CNN: сверточный и полносвязный слои, даже слои субдискретизации. Однако добавление различных типов слоев может по-разному влиять на характеристики нейронной сети, такие как точность распознавания объектов и способность к обобщению, вследствие чего и влияние на результат работы сети будет различным. В ходе исследования было установлено, что первый и второй сверточные слои оказались лучшим выбором для внедрения нейронов второго порядка. Нецелесообразно использовать нейроны на третьем сверточном слое, поскольку это приводит к увеличению вычислительной сложности без улучшения качества нейронной сети.

Оригинальность исследований состоит в использовании исходных данных, полученных с применением космических снимков для построения транспортных моделей территории, с решением задач подбора космических материалов, условий съемки, оптимизации. Предлагаемая методика построения транспортной модели территории на основе данных космического зондирования включает в себя необходимые процедуры: процедура определения оптимальных параметров космической съемки, изучение вероятных вариантов схемы классификации объектов, вариантов анализа и оптимизации сети.

Нейронная сеть обрабатывает изображение каждой из детектированных гипотез, связывая его с одной из категорий ТС. Проводится полное обнаружение и классификация транспортных средств. Однако для оценки метрик транспортного потока помимо выявления соответствия между транспортными средствами и участками дороги необходимо также определить направление, в котором транспортные средства движутся по дороге при двустороннем движении. С этой целью был разработан алгоритм, основанный на положении обнаруженного транспортного средства относительно осевой линии интерполированной модели дороги.

Производится определение, на какой половине дороги находится центральная точка минимального ограничивающего прямоугольника (BoundingBox) обнаруженного автомобиля. То есть при рассмотрении интерполированной цифровой модели перегона устанавливают, с какой стороны относительно ломаной цепочки отрезков перегона находится центральная точка ТС.

Для определения направления движения на участке дороги используются следующие обозначения. Направления движения нумеруются с нулевым индексом, если для каждой точки, лежащей на полосе перегона, выполняется соотношение:

$x>x_o$,

где x – абсцисса рассматриваемой точки; x_o – абсцисса точки основания перпендикуляра, проведенного от рассматриваемой точки к осевой линии интерполированной модели перегона (рис. 4).

 

Рис. 4. Направление трафика, определяемое путем нахождения центральной точки гипотезы и ее положения по отношению к центральной линии интерполированной модели пролетов

 

Если соотношение не выполняется, индекс направления движения транспортного средства, находящегося на соответствующей полосе, равен 1.

Таким образом, алгоритм определения направления дорожного движения по BoundingBox ТС, включает в себя следующие этапы:

Шаг 1. Расчет координат центральной точки ТС:

$\left(x_{bb}+\frac{w_{bb}}{2};y_{bb}+\frac{h_{bb}}{2}\right)$,

где (x_bb; y_bb) – координаты BoundingBox ТС; w_bb, h_bb – ширина и высота BoundingBox ТС.

Шаг 2. Нахождение перпендикуляра с минимальной длиной к одной из прямых, построенных на основе отрезков ломаной рассматриваемого перегона.

Шаг 3. Если неравенство верно, то это означает, что центральная точка находится по одну сторону от ломаной, и транспортное средство движется прямо. При нахождении центральной точки по другую сторону предполагается, что движение обратное. Для этого нужно найти отношение координат точки основания перпендикуляра и центральной точки ТС.

Выводы

Информация, собранная с орбитальных носителей в виде данных дистанционного зондирования (ДЗЗ), представляет собой всеобъемлющий и разнообразный источник знаний о наземных объектах [5–11]. Обнаружение и категоризация объектов в транспортном потоке, представленных на спутниковых снимках, является важнейшим аспектом решения проблемы интерпретации данных, полученных от систем ДЗЗ. Данная система исследований и разработок позволяет детектировать и классифицировать ТС на снимках с высоким пространственным разрешением, учитывая все описанные проблемы, возникающие при этом процессе.

Разрабатываемая алгоритмическая схема позволит производить численную оценку интенсивности и состава ТП по каждому перегону дорожной сети и может улучшить фактографическое обеспечение процессов транспортного планирования и повысить качество систем управления дорожным движением.

Мониторинг безопасности и организации дорожного движения будет проводиться чаще, чем предполагает «Порядок мониторинга дорожного движения» (утвержден приказом Минтранса России от 18 апреля 2019 г. № 114), поскольку предлагаемый метод оценивает состояние дорожного движения и его эффективность. Кроме того, он определяет и прогнозирует развитие процессов, влияющих на условия дорожного движения.

Решение задач формирования и развития транспортной инфраструктуры требует учета большого количества факторов, связанных с показателями технического развития города, ростом потребностей предприятий и населения, ресурсными возможностями. Требование учета временной динамики ресурсных ограничений совместно с динамикой специфики решаемых задач и потребностей в транспортных (дорожных) ресурсах приводит к объективной необходимости сформулировать научно обоснованный подход, позволяющий оптимизировать процессы совершенствования базовых магистральных транспортных связей на муниципальном уровне.

About the authors

Igor N. Pugachev

Khabarovsk Federal Research Center, FEB RAS

Author for correspondence.
Email: ipugachev64@mail.ru
ORCID iD: 0000-0003-0345-4350

Doctor of Technical Sciences, Associate Professor

Russian Federation, Khabarovsk

Vladimir S. Tormozov

Pacific State University

Email: 007465@pnu.edu.ru
ORCID iD: 0000-0002-5628-858X

Candidate of Technical Sciences, Associate Professor

Russian Federation, Khabarovsk

References

Supplementary files