Применимость генетических алгоритмов для определения весовых коэффициентов искусственной нейронной сети с одним скрытым слоем

Abstract

В обучении искусственной нейронной сети одной из центральных проблем является начальная инициализация и настройка весовых коэффициентов, связанная с псевдослучайной инициализацией весовых коэффициентов. В статье описан базовый генетический алгоритм, а также метод определения весовых коэффициентов с использованием данного алгоритма. Также представлен комбинированный метод определения весовых коэффициентов, предусматривающий на первом этапе начальную инициализацию с помощью генетического алгоритма и использование стохастического градиентного спуска на втором этапе обучения Предлагаемые методы проверены на ряде искусственных нейронных сетей прямого распространения для различных задач по бинарной классификации реальных и синтетических данных, а также для однозначной многоклассовой классификации рукописных цифр на изображениях из базы данных MNIST. Искусственные нейронные сети сконструированы на основании теоремы Колмогорова-Арнольда. В данной статье проведен сравнительный анализ двух методов определения весовых коэффициентов – с использованием генетического алгоритма и градиентного спуска. По результатам сравнительного анализа сделан вывод о возможности применения генетического алгоритма для определения весовых коэффициентов как в качестве алгоритма начальной инициализации искусственной нейронной сети, так и в качестве алгоритма настройки весовых коэффициентов

Keywords

• искусственные нейронные сети
• генетический алгоритм
• теорема колмогорова-арнольда
• обучение нейронной сети
• artificial neural networks
• genetic algorithm
• kolmogorov-arnold theorem
• neural network training