Основной идеей исследования является внедрение в нейронные сети потерь, аналогичных перекрестной энтропии, что создает внутреннюю хаотическую динамику, подобную той, что присутствует в мозге. Они обнаружили, что такой подход значительно улучшает производительность обучения и оптимизации сетей, а также способствует лучшей обобщающей способности на различных наборах данных.
Команда также экспериментировала с введением внешнего хаоса, например, с использованием логистических отображений. Однако это не привело к улучшению производительности обучения нейронных сетей.
Это исследование демонстрирует значимость внутренней хаотической динамики, которая присутствует в мозге, для повышения эффективности его обучения. Новый алгоритм эффективно заполняет пробел между нейронными сетями и традиционными сетями, обладая всего лишь одной дополнительной функцией потерь, которая может быть легко интегрирована в существующие методики обучения.
