Применение гиперспектральной технологии визуализации при обнаружении поверхностных дефектов FPCB

 I. Ограничения традиционного визуального контроля

Гибкие печатные платы (FPCB) широко используются в таких областях, как смартфоны, гибкие дисплеи и носимые устройства благодаря их хорошей гибкости и теплоотводящим свойствам. По мере увеличения плотности схем типы поверхностных дефектов становятся все более сложными, причем распространенные дефекты включают короткие замыкания, обрывы, выступы, белые пятна, черные пятна и пробитые отверстия.

В традиционных методах обнаружения широко используется сопоставление с шаблоном на основе изображений RGB. Этот метод определяет аномальные области путем сравнения стандартного изображения с тестируемым изображением. Однако эти методы чувствительны к условиям освещения; при неравномерном распределении света легко возникают ложные срабатывания или пропуски обнаружения. Кроме того, некоторые дефекты морфологически схожи с нормальными структурами схемы, что затрудняет их точное различение, полагаясь только на изображения в видимом свете.

II. Построение системы гиперспектральной визуализации

Для повышения стабильности обнаружения в данном исследовании была построена система гиперспектральной микроскопической визуализации. Система состоит из гиперспектральной камеры, микроскопа и программного обеспечения для сбора данных. Среди них гиперспектральная камера использует модель FS-23 от CHNSpec, которая имеет спектральный диапазон 400–1000 нм и спектральное разрешение 2,5 нм.

Камера использует метод линейного сканирования для получения изображений, а необработанные данные содержат 1200 полос. Для упрощения обработки каждые четыре соседние полосы были объединены в одну в исследовании, в конечном итоге была получена структура данных из 300 полос. Размер одного гиперспектрального изображения составляет 1920 × 960 пикселей × 300 полос, охватывая полную спектральную информацию медного проводника и полиимидной подложки.

Преимущество гиперспектральной визуализации заключается в ее способности получать непрерывную спектральную кривую для каждого пикселя. Исследование показало, что существуют значительные различия в спектральном отклике меди и полиимида в диапазоне длин волн 500–750 нм, что обеспечивает надежную основу для последующей сегментации изображений и идентификации материалов.

III. Метод обнаружения на основе спектральной информации

Предложенная в данном исследовании структура обнаружения состоит из двух подсетей: FPCB-LocNet для локализации дефектов и FPCB-ClaNet для классификации дефектов.

На этапе локализации FPCB-LocNet использует многомасштабные 3D сверточные ядра для одновременного извлечения признаков из пространственных и спектральных измерений. В сети используются сверточные ядра двух разных размеров для фокусировки на локальных пространственных структурах и спектральных признаках соответственно, а признаки разных масштабов объединяются через остаточную структуру. Такая конструкция позволяет сети одновременно улавливать тонкие пространственные текстуры и непрерывные спектральные изменения, достигая сегментации меди и полиимида на уровне пикселей. После завершения сегментации аномальные области локализуются с помощью сопоставления с шаблоном.

На этапе классификации, учитывая ограниченное количество гиперспектральных образцов, сеть использует стратегию трансферного обучения, сначала предварительно обучая на наборе данных RGB-изображений FPCB, а затем дообучая на псевдоцветных изображениях. Для решения проблемы несбалансированного количества образцов для различных категорий дефектов в сеть введены стратегии сбалансированной по категориям выборки и затухания весов, чтобы модель могла больше фокусироваться на типах дефектов с меньшим количеством образцов. В то же время встроен механизм внимания SE для усиления фокусировки сети на ключевых признаках.

IV. Результаты экспериментов и прикладная ценность

В отношении сегментации изображений FPCB-LocNet превосходит традиционные методы сегментации, такие как энтропийный метод, алгоритм водораздела и метод Оцу, при обработке изображений с неравномерным освещением, достигая точности сегментации 97,86%. В задаче классификации комплексная точность классификации FPCB-ClaNet для шести распространенных типов дефектов составляет 97,84%.

Эксперименты по абляции подтвердили фактический вклад каждого модуля: аугментация данных улучшила точность классификации, сбалансированная по категориям выборка и затухание весов эффективно улучшили эффект распознавания хвостовых категорий, а механизм внимания SE обеспечил стабильное улучшение производительности классификации при добавлении небольшого количества параметров. Визуализация тепловых карт Grad-CAM показывает, что области внимания модели в высокой степени соответствуют фактическим местам дефектов.

Данное исследование объединяет гиперспектральную визуализацию и глубокое обучение для создания полной цепочки обработки от сбора данных, сегментации изображений и локализации дефектов до классификации дефектов. Этот метод может стабильно выполнять задачу идентификации поверхностных дефектов FPCB без зависимости от конкретных условий освещения, предоставляя осуществимый технический путь для управления качеством производства высокоплотных гибких печатных плат.

Рекомендация продукта: Гиперспектральная камера для визуализации FigSpec FS-23

• Разрешение изображения: 1920*1920
• Спектральный диапазон: 400-1000 нм
• Спектральное разрешение (FWHM): 2,5 нм
• Количество спектральных каналов: 1200