Software Journal:
Theory and Applications

Send article

Entrance Registration

Results for ground truth

  1. Прямая оценка качества программных продуктов. Критерии и тестовые материалы

    А.В. Захаров НИИСИ РАН, Москва, Russian Federation;
    П.П. Кольцов НИИСИ РАН, Москва, Russian Federation;
    Н.В. Котович НИИСИ РАН, Москва, Russian Federation;
    А.А. Кравченко НИИСИ РАН, Москва, Russian Federation;
    А.С. Куцаев НИИСИ РАН, Москва, Russian Federation;
    A.С. Осипов НИИСИ РАН, Москва, Russian Federation;

    The article was published in issue №3

    Статья посвящена сравнительному исследованию некоторых методов обработки изображений, предназначенных для решения задач дистанционного мониторинга с целью обеспечения железнодорожной безопасности. Приводится информация об основных используемых в настоящее время методиках оценки программных продуктов в области обработки и анализа изображений. Основное внимание при этом уделено методам количественной оценки результатов обработки изображений, использующим ground truth-изображения и меры различий. Дано описание разработанной в НИИСИ РАН методики EDEM сравнительного исследования алгоритмов обработки изображений. В качестве примера использования методики EDEM рассмотрена проблема оценки качества программных продуктов, предназначенных для решения задачи сегментации изображений, поступающих с борта дистанционно-пилотируемого летательного аппарата. Цель данной сегментации заключается в выделении областей на изображении, существенных для принятия решений (например, относящихся к обеспечению безопасности) оператором дистанционно-пилотируемого летательного аппарата. Здесь подробно рассмотрены различные количественные критерии оценки, используемые в рамках данной методики. Сформулированы общие требования к тестовым материалам и ground truth-эталонам, выработанные при разработке методики EDEM. Приведены результаты применения данной методики, реализованной в программной среде PICASSO, к оценке программ сегментации изображений. В качестве другого возможного приложения методики EDEM к оценке программных продуктов в области дистанционного мониторинга рассмотрена проблема выделения на изображении важных (в контексте решаемой внешней задачи) элементов. Показано, что для оценки программных продуктов, предназначенных для решения данной проблемы, использование элементов теории нечетких множеств является перспективным.