Гиперспектральная патология Изображение сегментации раковой цитоплазмы: новый подход, основанный на увеличении данных

В патологической диагностике окрашивание гематоксилином-эозином (ГЭ) является общепринятым методом наблюдения за морфологией тканей. Гематоксилин окрашивает ядра клеток в сине-фиолетовый цвет, а эозин — цитоплазму и внеклеточный матрикс в розовый. Патологи наблюдают эти окрашенные срезы под микроскопом, чтобы определить, претерпели ли клетки раковые изменения. В процессе определения типов рака точная идентификация области цитоплазмы раковых клеток является ключевым этапом.

В последние годы технология гиперспектральной визуализации постепенно вошла в область патологических исследований. По сравнению с обычными CMOS-камерами, гиперспектральные камеры могут получать более богатую клеточную информацию. Однако эта технология сталкивается с двумя реальными проблемами в практических применениях.

Первая проблема — сложность сбора данных. Стоимость сбора гиперспектральных изображений высока, и создание крупномасштабного аннотированного набора данных непросто. Однако модели глубокого обучения точно требуют большого количества данных для эффективной работы. Вторая проблема — инструментальный шум. Гиперспектральные камеры, основанные на режиме линейного сканирования, часто генерируют вертикальные или горизонтальные полосы шума, сдвиги пикселей и другие проблемы в процессе формирования изображения. Эти шумы варьируются в зависимости от характеристик оборудования и условий эксплуатации, что затрудняет их полное избежание.

Для решения этих проблем в журнале Informatics in Medicine Unlocked было опубликовано исследование. Авторы предложили метод аугментации данных, который использует CMOS-изображения для генерации псевдогиперспектральных изображений, имитирующих реальный инструментальный шум, которые затем используются для обучения модели сегментации U-Net.

1. Зачем использовать CMOS-изображения для аугментации?
Прямым соображением является стоимость аннотирования. Текстура цитоплазмы раковых клеток на гиперспектральных изображениях сложна, и ручное аннотирование на полутоновых изображениях является трудоемким и кропотливым. В отличие от этого, CMOS-изображения визуально четкие, и их эффективность аннотирования намного выше. Идея исследовательской группы заключается в следующем: использовать легко аннотируемые CMOS-изображения для генерации псевдогиперспектральных изображений с шумом, а затем использовать эти изображения для обучения модели.

Конкретный подход разделен на три этапа:
Первый этап — преобразование цвета и регулировка яркости. Преобразуйте CMOS RGB-изображение в полутоновое изображение и отрегулируйте яркость с помощью гамма-коррекции и выравнивания гистограммы, чтобы оно было близко к визуальному эффекту гиперспектральных изображений в определенном диапазоне длин волн (например, 580 нм).

Второй этап — добавление инструментального шума. Случайным образом добавляйте вертикальные и горизонтальные линии шума к изображению, чтобы имитировать полосовой шум, генерируемый в реальных гиперспектральных камерах из-за различий в чувствительности датчика или обработке сигнала. Количество вертикальных линий шума составляет от 19 до 29, а положения и ширины горизонтальных линий шума также рандомизированы. Кроме того, имитируется потеря информации и сдвиги пикселей.

Третий этап — геометрическое преобразование. Выполняйте такие операции, как обрезка, переворот и сдвиг сгенерированных псевдоизображений, чтобы дополнительно расширить набор данных.

С помощью этого рабочего процесса 44 исходных CMOS-изображения сгенерировали 792 псевдогиперспектральных изображения, которые, будучи объединенными с 44 исходными гиперспектральными изображениями, увеличили обучающий набор до 836 изображений.

2. Каков был экспериментальный эффект?
Исследовательская группа оценила производительность модели с использованием 5-кратной перекрестной проверки, используя IoU (Intersection over Union) и коэффициент Dice в качестве показателей.

При обучении только на 44 исходных гиперспектральных изображениях IoU составил 0,5786, а коэффициент Dice — 0,7304. После добавления псевдогиперспектральных изображений IoU увеличился до 0,6458, а коэффициент Dice — до 0,7820 — IoU улучшился примерно на 11,6%, а коэффициент Dice — примерно на 7,1%.

Исследование также показало, что яркость изображения и плотность клеток влияют на результаты сегментации. Более темные типы изображений и типы изображений с плотными ядрами клеток показали относительно более низкую точность сегментации. Это указывает на определенную зависимость модели от качества изображения, а также на направления для будущих улучшений.

3. Каково значение этого исследования?
Для обработки гиперспектральных патологических изображений дефицит данных и инструментальный шум являются двумя неизбежными препятствиями. Данное исследование предлагает практичную идею: вместо того, чтобы кропотливо удалять шум, лучше позволить модели научиться справляться с шумом на этапе обучения. Генерация псевдогиперспектральных изображений с инструментальным шумом из CMOS-изображений не только решает проблему аннотирования, но и повышает устойчивость модели к шуму.

Конечно, у этого исследования есть и ограничения. Экспериментальные данные были получены из образцов опухолей молочной железы собак, и было всего семь типов изображений. Более сложные типы образцов и более крупные наборы данных по-прежнему необходимо постепенно накапливать.

Однако с методологической точки зрения эта концепция «использования легко аннотируемых изображений для генерации обучающих выборок, содержащих шум» предоставляет ценный практический путь для применения гиперспектральной микроскопической визуализации в патологической диагностике. С постепенным распространением оборудования для гиперспектральной визуализации в патологоанатомических отделениях подобные методы аугментации данных могут помочь исследователям более эффективно обучать модели, снижая зависимость от крупномасштабного ручного аннотирования.

Отказ от ответственности
Этот контент составлен и отредактирован на основе открытой академической литературы (ссылка на литературу: https://www.sciencedirect.com/science/article/pii/S2352914826000213). Он используется только для отраслевых технических обсуждений и научно-популярного обучения, не дает никаких коммерческих обязательств и не может служить основой для инвестиционных рекомендаций. Различные экспериментальные данные и выводы, приведенные в тексте, будут подвержены влиянию множества переменных, таких как тестовая среда, индивидуальные различия образцов и схемы построения моделей. При применении в реальных сценариях соответствующие эффекты должны быть проверены путем независимого тестирования в сочетании с собственными сценариями.