Одним из наиболее опасных природных катаклизмов, влияющих на повседневную жизнь, является пожар, поэтому большим спросом пользуются системы раннего оповещения о нем. Самые передовые методы раннего автоматического обнаружения лесных пожаров основаны на космических (спутниковых), воздушных беспилотных летательных аппаратах или наземных системах. Наиболее перспективной технологией для автоматического обнаружения пожара считаются наземные системы на основе видеокамер в силу их низкой стоимости, высокого разрешения, короткого времени отклика и простого подтверждения тревоги оператором-человеком через монитор наблюдения. По этой причине методы обнаружения пламени на основе видео были широко исследованы в течение последнего десятилетия.

Основная проблема в обнаружении пламени на основе видео заключается в моделировании хаотической и сложной природы явления пожара и больших вариаций появления пламени в видео [1]. Для решения этой проблемы многие исследователи используют характеристики движения пламени, а также пространственное распределение цветов огня в сцене или пытаются объединить как временные, так и пространственные характеристики. Однако многие природные объекты имеют сходное поведение с огнем, например, солнце, различные искусственные источники света или отражения света на разных поверхностях, частицы пыли и т.д., которые часто могут быть ошибочно идентифицированы как пламя. Кроме того, на надежность алгоритмов обнаружения пламени, основанных на методах компьютерного зрения, влияют сложность сцены и низкое качество видео, что увеличивает частоту ложных срабатываний.

Выделение регионов-кандидатов

Первое, что необходимо сделать в соответствии с предлагаемым методом, – это выделить движущиеся области, схожие по цветовым характеристикам с пламенем. Для этого каждый кадр видеопоследовательности делится на N × N блоков. В качестве первого шага для идентификации движущихся объектов в видео используется вычитание фона [2]. Основываясь на оценке тринадцати алгоритмов извлечения фона в [3], было решено использовать адаптивный медианный алгоритм как более быстрый и очень эффективный. На следующем этапе обработки применяется цветовой анализ (рис. 1), в результате которого в качестве потенциальных блоков, соответствующих возгоранию, выбираются только те, которые содержат достаточный процент движущихся пикселей цвета огня. Чтобы отфильтровать движущиеся пиксели, не соответствующие пламени по цвету, их значения сравниваются с предопределенным распределением цветов RGB, создаваемым непараметрической оценкой из ряда реальных выборок из различных видеопоследовательностей.

Пусть x₁, x₂, ..., x_N – N обучающих выборок RGB огненного цвета для аппроксимируемого распределения. Используя эти выборки, функция плотности вероятности пикселя x_t может быть непараметрически оценена с использованием ядра K_h [2] как

                                (1)

Если выбрать ядро Гаусса, K_h = N (0, S), где S – диагональная ковариационная матрица с различным стандартным отклонением σj для каждого цветового канала j, то вероятность цвета огня может быть оценена как

               (2)

 

Используя данную оценку вероятности, пиксель рассматривается как пиксель огненного цвета, если Pr(x_t) > th, где th – фиксированный порог, который можно регулировать для достижения желаемого процента ложных срабатываний. Как и в [4], вероятности появления огненного цвета в (2) были эффективно рассчитаны с использованием справочных таблиц на основе разности значений интенсивности и ширины полосы ядра. По этой причине данный метод предпочтительнее более продвинутых итерационных методов с использованием положительных и отрицательных выборок [5, 6], что увеличило бы вычислительные затраты. Следовательно, если пиксель имеет значение RGB, которое относится к распределению
на рисунке 1 (справа), то он считается пикселем цвета огня. Если процент огненных пикселей в блоке превышает определенный уровень, то блок обрабатывается на следующих этапах.

Вычисление вектора признаков

Для каждого потенциального блока огня вычисляется вектор из четырех признаков на следующих этапах: 1) вероятность цвета огня; 2) пространственная вейвлет-энергия; 3) пространственно-временная энергия; 4) энергия мерцания [7].

Вероятность цвета огня. Для расчета вероятности цвета огня каждого блока-кандидата используются непараметрически оцененные вероятности каждого пикселя в блоке. Более конкретно: общая вероятность цвета блока-кандидата оценивается как средняя вероятность цвета каждого пикселя (i, j) в блоке:

                                                            (3)

где N – количество пикселей в блоке, а P(i, j) – вероятность цвета огня каждого пикселя (2).

Пространственный вейвлет-анализ. Области изображения, содержащие реальные пожары, демонстрируют более высокую пространственную вариацию, чем области, содержащие объекты, окрашенные в цвет огня. Для идентификации пространственных изменений в регионе могут быть применены различные методы, такие как детекторы границ, дескрипторы опорных точек и т.д. В данной работе использован вейвлет-анализ с применением простых фильтров для достижения более высокой вычислительной эффективности, поскольку он может быть реализован без единого умножения, то есть путем простых сдвигов регистров. В частности, двумерный вейвлет-фильтр применяется к красному каналу каждого кадра, и пространственная вейвлет-энергия в каждом пикселе рассчитывается путем сложения подизображений «высокий–низкий», «низкий–высокий» и «высокий–высокий»:

                          (4)

где HL, LH и HH – высокочастотные подполосы вейвлет-разложения.

Для каждого блока пространственная вейвлет-энергия оценивается как среднее значение энергии пикселей в блоке:

,                                                                        (5)

где N – количество пикселей в блоке.

Пространственно-временной анализ. Форма пламени нерегулярно изменяется из-за воздушного потока, вызванного ветром, или из-за типа горящего материала. В результате такой пожар влечет за собой более существенные пространственные изменения в пределах определенного промежутка времени,
чем объект, имеющий лишь цветовые признаки огня. В противоположность предыдущему признаку, направленному на идентификацию высоких пространственных энергий в одном кадре, этот признак указывает на пространственно-временные вариации для каждого блока в последовательности кадров. Временная дисперсия пространственной энергии пикселя (i, j) во временном окне T последних кадров равна

,                                                   (6)

где E_t – пространственная энергия пикселя в момент времени t, а – среднее значение этой энергии.

Для каждого блока полная пространственно-временная энергия V _block оценивается путем усреднения отдельной энергии пикселей, принадлежащих к блоку:

.                                                                     (7)

Эта предложенная особенность очень важна при различении огня и движущихся объектов, окрашенных в цвет огня.

Временной анализ. Временной анализ применяется к каждому блоку-кандидату для обнаружения эффекта мерцания. Мерцание, являющееся одной из основных характеристик пламени, обусловлено его непрерывным случайным движением. Чтобы количественно оценить эффект мерцания в пикселе, оцениваем число переходов c(i, j) пикселя (i, j) в число подходящих пикселей и, наоборот, во временном окне T последних кадров. Затем можно оценить энергию мерцания пикселя (i, j), использовав следующую формулу:

.                                                                              (8)

Функция мерцания F_block для каждого блока рассчитывается как среднее значение энергий мерцания всех пикселей в блоке:

.                                                                           (9)

Классификация

На последнем шаге выполняется классификация на основе извлеченных признаков, описанных
в предыдущих разделах, для получения окончательного решения о том, содержит ли блок визуальные признаки пламени. Для этого создается вектор элементов, состоящий из четырех элементов f = [P_block,E_block, V_block, F _block]. Этот вектор подается в качестве входных данных в двухклассовый (присутствие/отсутствие пламени) классификатор SVM с ядром RBF для классификации возможных областей пожара [8]. Учебный набор состоял из 100 случайно выбранных блоков-кандидатов, из 3 видео с огнем и 3 видеопоследовательностей без огня из набора данных Firesense.

Экспериментальные результаты

Детальная экспериментальная оценка предложенного метода была произведена с использованием видеопоследовательностей из набора данных Firesense с пламенем и без него. Эксперимент показал следующие результаты: TPR = 89 % и FPR = 5 % (см. рис. 2).

Выводы

В данной работе предложен алгоритм для обнаружения пламени в режиме реального времени. Показано, что, моделируя поведение огня с использованием различных пространственно-временных характеристик, можно получить высокие показатели обнаружения, сохранив при этом небольшой уровень ложных срабатываний.

Предложенный вектор характеристик может быть использован для разработки других алгоритмов, основанных, например, на сверточных нейронных сетях.

Литература

1. Спичкин Ю.В., Калач А.В., Сорокина Ю.Н. К вопросу об особенностях возникновения и развития горения дисперсных материалов // Вестн. Воронежского ин-та ГПС МЧС России. 2014. № 3. С. 7–12.

2. Пятаева А.В., Фаворская М.Н. Модель фона при детектировании дыма по видеопоследовательностям на открытых пространствах // Информационно-управляющие системы. 2016. № 4. С. 44–50.

3. Dimitropoulos K., Tsalakanidou F., Grammalidis N. Flame detection for video-based early fire warning systems and 3D visualization of fire propagation. Proc. IASTED Intern. Conf. Comput. Graph. Imag., 2012. DOI: 10.2316/P.2012.779-011.

4. Elgammal A., Harwood D., Davis L. Non-parametric model for background subtraction. Proc. 6th Eur. Conf. Comput. Vis., Dublin, Ireland, 2000, pp. 751–767.

5. Oudjane N., Mousso C. L2-density estimation with negative kernels. Proc. Image Signal Process, Anal., 2005, pp. 34–39.

6. Mika S., Raetsch G., Weston J., Schoelkopf B., Mueller K.R. Fisher discriminant analysis with kernels. Proc. IEEE Signal Process. Workshop Neural Netw. Signal Process., 1999, pp. 41–48.

7. Junhai Zhai, Wenxiu Zhao, Xizhao Wang. Research on the Image Feature Extration[N]. J. of Hebei Univ., 2009, vol. 29, no. 1.

8. Tang Jingtian, Hu Dan, Gong Zhi-min. Research on the Classification of SVM-Based Image Texture Features[J]. Computer Engineering & Science, 2008, vol. 30, no. 8, pp. 44–48.