Образовательный форум по искусственному интеллекту, математике и физике 2023
Задача 2:
Распознавание магнитограмм
Задача 2:
Распознавание магнитограмм
Задача представлена ПАО "Газпром-нефть" и Ассоциацией «Искусственный интеллект в промышленности»
Описание задачи
Своевременное выявление и устранение дефектов в газовых трубах - важная задача, поскольку позволяет предотвратить потенциальные утечки газа. Если утечка все же произойдет, то компания понесет значительные финансовые потери, а окружающей среде будет нанесен значительный ущерб.
Для проверки труб на наличие дефектов используются специальные устройства-дефектоскопы (рисунок 1), которые движутся по трубам и снимают магнитограммы при помощи датчиков.
Для проверки труб на наличие дефектов используются специальные устройства-дефектоскопы (рисунок 1), которые движутся по трубам и снимают магнитограммы при помощи датчиков.
Дефектоскоп позволяет построить магнитограмму (рисунок 2), которая отражает толщину металла труб. Далее магнитограмма вручную проверяется и размечается специалистом на предмет наличия дефектов, а по итогам анализа проводится ликвидация выявленных дефектов.
Магнитограмма представляет из себя одноканальное изображение размером Nx128. Здесь высота изображения соответствует датчикам дефектоскопа, а длина - времени с начала проведения дефектоскопии. Значение единственного канала пикселя с координатами ixj соответствует сигналу j-того датчика в i-тый момент времени. Для удобства все магнитограммы в обучающей и тестовой выборках обрезаны до размера 4096x128.
Поскольку трубопровод имеет большую протяженность, ручная проверка магнитограмм требует больших затрат времени и сил специалистов. Кроме того, магнитограммы, как правило, имеют большое количество шумов, что затрудняет обнаружение дефектов.
Магнитограмма представляет из себя одноканальное изображение размером Nx128. Здесь высота изображения соответствует датчикам дефектоскопа, а длина - времени с начала проведения дефектоскопии. Значение единственного канала пикселя с координатами ixj соответствует сигналу j-того датчика в i-тый момент времени. Для удобства все магнитограммы в обучающей и тестовой выборках обрезаны до размера 4096x128.
Поскольку трубопровод имеет большую протяженность, ручная проверка магнитограмм требует больших затрат времени и сил специалистов. Кроме того, магнитограммы, как правило, имеют большое количество шумов, что затрудняет обнаружение дефектов.
Рисунок 2. Пример магнитограммы
В ходе решения данного кейса ожидается разработка решения, которое способно выделять следующие участки на магнитограмме:
1. Конструктивные элементы трубопровода такие, как:
- Сварные швы
- Разветвления
- Сгибы
- Заплатки
2. Дефекты
1. Конструктивные элементы трубопровода такие, как:
- Сварные швы
- Разветвления
- Сгибы
- Заплатки
2. Дефекты
Ваша задача заключается в том, чтобы:
- Сформулировать задачу в терминах машинного обучения, выбрать метрики, которые позволили бы оценить качество решения (помимо приведенных ниже)
- Проанализировать данные и выявить их основные особенности.
- Разработать подход к решению задачи методами машинного решения.
- Реализовать разработанный подход и обучить соответствующие модели.
- Построить предсказание значений целевой функции для тестовой части выборки.
- Составить отчет о проделанной работе, включающий в себя аргументацию выбора подхода к решению, результаты экспериментов и выводы.
Для решения данной задачи вам предоставлен набор данных, состоящий из магнитограмм, а также экспертная разметка, соответствующая конструктивным элементам и обнаруженным экспертами дефектам. Описание магнитограмм вы найдете выше.
Экспертная разметка представляет из себя матрицу Nx2, где N - ширина магнитограммы (в обучающей и тестовой выборках она равна 4096). Первый столбец матрицы содержит класс конструктивного элемента, обнаруженного на данном участке или 0 если конструктивного элемента на данном участке нет. Второй столбец матрицы сигнализирует об обнаружении дефекта (0 - дефекта нет, 1 - дефект есть).
Экспертная разметка представляет из себя матрицу Nx2, где N - ширина магнитограммы (в обучающей и тестовой выборках она равна 4096). Первый столбец матрицы содержит класс конструктивного элемента, обнаруженного на данном участке или 0 если конструктивного элемента на данном участке нет. Второй столбец матрицы сигнализирует об обнаружении дефекта (0 - дефекта нет, 1 - дефект есть).
Проверка решений
Для проверки решений набор данных разделен на обучающую и тестовую части. Для обучающей части вам доступны магнитограммы с экспертной разметкой, для тестовой части доступны только магнитограммы.
В качестве ответа от вас ожидается разметка магнитограмм из тестового набора при помощи методов искусственного интеллекта.
Данные можно найти по ссылке. Чтение данных можно производить следующим образом (ниже):
В качестве ответа от вас ожидается разметка магнитограмм из тестового набора при помощи методов искусственного интеллекта.
Данные можно найти по ссылке. Чтение данных можно производить следующим образом (ниже):
import pickle
import numpy as np
def read_data(idx: int):
with open(f“public/train/X/{idx}.pkl”, “rb”) as f:
x = pickle.load(f)
with open(f“public/train/Y/{idx}.pkl”, “rb”) as f:
y_elements, y_defects = pickle.load(f)
return x, y_elements, y_defects
Метрики и критерии оценки
Во всех метриках y - метка класса, yi - реальный класс i-того участка, y̅i - предсказанный класс i-того участка.
Метрики для оценки качества выявления конструктивных элементов выглядит следующим образом:
Метрики для оценки качества выявления дефектов выглядит следующим образом:
Итоговая метрика, по которой оценивается решение:
Победители хакатона
Контакты с организатором хакатона
Ссылка на Telegram для информации и вопросов:
https://t.me/+WksiXvwG1xdkY2Uy
Здесь будем выкладывать данные, отвечать на вопросы.
Место проведения: МФТИ, в соответствии с расписанием.
https://t.me/+WksiXvwG1xdkY2Uy
Здесь будем выкладывать данные, отвечать на вопросы.
Место проведения: МФТИ, в соответствии с расписанием.
Организации-партнеры кейса
