Что такое нейронная сеть?
Термин нейросеть, происходящий от исследований работы мозга, применяется к свободно связанному семейству моделей, характеризуемых большим параметрическим пространством и гибкой структурой. С ростом семейства большинство новых моделей разрабатывалось для небиологических областей применения, хотя многие связанные термины отражают их происхождение.
Конкретные определения нейросетей отличаются настолько же, насколько и области их использования. Поскольку ни одно определение не охватывает должным образом все семейство моделей, рассмотрим пока следующее описание 1:
Нейросеть - это распределенный процессор с массовым параллелизмом, обладающий естественным свойством сохранять эмпирические сведения и делать их доступными для использования. Она походит на мозг в двух отношениях:
- Знания приобретаются сетью через процесс обучения.
- Для хранения знаний используются межнейронные соединения различной силы, называемые синаптическими весами.
Почему это определение может оказаться слишком ограниченным, обсуждается в работе 2.
Для применения этого определения с целью отделения нейросетей от традиционных статистических методов то, что в нем не сказано, столь же важно, как и то, что в нем говорится. Например, традиционная модель линейной регрессии позволяет получить сведения методом наименьших квадратов и хранить эти сведения в виде коэффициентов регрессии. Если смотреть с этой точки зрения, мы имеем дело с нейросетью. Фактически можно утверждать, что линейная регрессия - частный случай некоторых нейросетей. Однако линейной регрессии присущи структура жесткой модели и набор допущений, налагаемых перед обучением по данным.
Но в приведенном определении к структуре моделям и допущениям предъявляются минимальные требования. Таким образом, нейросеть может аппроксимировать широкий диапазон статистических моделей, не требуя выдвижения гипотез в отношении некоторых взаимосвязей между зависимыми и независимыми переменными. Вместо этого форма взаимосвязей определяется во время процесса обучения. Если между зависимой и независимой переменными применима линейная взаимосвязь, результаты нейронной сети должны хорошо аппроксимировать результаты модели линейной регрессии. Если лучше подходит нелинейная взаимосвязь, нейронная сеть будет автоматически аппроксимировать "правильную" структуру модели.
Обратная сторона этой гибкости состоит в том, что синаптические веса нейросети не удается легко интерпретировать. Поэтому, если вы пытаетесь объяснить базовый процесс, который дает взаимосвязи между зависимыми и независимыми переменными, лучше использовать более традиционную статистическую модель. Однако если интерпретируемость модели не важна, часто хорошие результаты модели можно получить быстрее при помощи нейросети.