Software Journal:
Theory and Applications

Подать статью

Вход Регистрация

Результаты для запроса: ground truth

  1. Прямая оценка качества программных продуктов. Критерии и тестовые материалы

    А.В. Захаров НИИСИ РАН, Москва, Россия;
    П.П. Кольцов НИИСИ РАН, Москва, Россия, технических наук;
    Н.В. Котович НИИСИ РАН, Москва, Россия;
    А.А. Кравченко НИИСИ РАН, Москва, Россия, физико-математических наук;
    А.С. Куцаев НИИСИ РАН, Москва, Россия, физико-математических наук;
    A.С. Осипов НИИСИ РАН, Москва, Россия, физико-математических наук;

    Статья была опубликована в выпуске №3

    Статья посвящена сравнительному исследованию некоторых методов обработки изображений, предназначенных для решения задач дистанционного мониторинга с целью обеспечения железнодорожной безопасности. Приводится информация об основных используемых в настоящее время методиках оценки программных продуктов в области обработки и анализа изображений. Основное внимание при этом уделено методам количественной оценки результатов обработки изображений, использующим ground truth-изображения и меры различий. Дано описание разработанной в НИИСИ РАН методики EDEM сравнительного исследования алгоритмов обработки изображений. В качестве примера использования методики EDEM рассмотрена проблема оценки качества программных продуктов, предназначенных для решения задачи сегментации изображений, поступающих с борта дистанционно-пилотируемого летательного аппарата. Цель данной сегментации заключается в выделении областей на изображении, существенных для принятия решений (например, относящихся к обеспечению безопасности) оператором дистанционно-пилотируемого летательного аппарата. Здесь подробно рассмотрены различные количественные критерии оценки, используемые в рамках данной методики. Сформулированы общие требования к тестовым материалам и ground truth-эталонам, выработанные при разработке методики EDEM. Приведены результаты применения данной методики, реализованной в программной среде PICASSO, к оценке программ сегментации изображений. В качестве другого возможного приложения методики EDEM к оценке программных продуктов в области дистанционного мониторинга рассмотрена проблема выделения на изображении важных (в контексте решаемой внешней задачи) элементов. Показано, что для оценки программных продуктов, предназначенных для решения данной проблемы, использование элементов теории нечетких множеств является перспективным.