УДК 004.8

Метод поиска параметров нейронной сети в процессе обучения

Бугаев И. М.

Читать статью полностью

  Метод поиска параметров нейронной сети в процессе обучения(1,37 MB)

Ссылка для цитирования:

Бугаев, И. М. Метод поиска параметров нейронной сети в процессе обучения / И.М. Бугаев // Информация и Космос. – 2025. – № 4. – С. 70–78.


Аннотация

В статье рассматривается вопрос применения подходов для автоматического создания топологии нейронных сетей. Автором предлагается метод роста параметров нейронной сети в процессе обучения на основе взаимного расположения нейронов в виртуальном пространстве и их реакции на обучающие примеры для ускорения процесса создания и снижения ресурсоемкости конечной модели. Эмпирические исследования подтвердили возможность применения метода для задач обучения с учителем и обучения с подкреплением.

Ключевые слова:

нейронные сети – neural networks; нейроэволюция – neuroevolution; AutoML; поиск архитектуры нейронной сети – neural network architecture search.

Список литературы

1. Automated machine learning: past, present and future / M. Baratchi, C. Wang, S. Limmer [et al.] // Artificial Intelligence Review. – 2024. – No. 57 (122).
2. Galván, E. Neuroevolution in Deep Neural Networks: Current Trends and Future Challenges / E. Galván, P. Mooney // IEEE Transactions on Artificial Intelligence. – 2020. – No. 2 (6). – P. 474–493.
3. Baldominos, A. On the Automated, Evolutionary Design of Neural Networks: Past, Present, and Future / A. Baldominos, Y. Sáez, P. Isasi // Neural Computing and Applications. – 2019. – Vol. 32, Iss. 2. – P. 519–545.
4. Papavasileiou, E. A Systematic Literature Review of the Successors of “NeuroEvolution of Augmenting Topologies” / E. Papavasileiou, J. Cornelis, B. Jansen // Evolutionary Computation. – 2021. – No. 29 (1). – P. 1–73.
5. DENSER: Deep Evolutionary Network Structured Representation / F. Assunção, N. Lourenço, P. Machado, B. Ribeiro // Genetic Programming and Evolvable Machines. – 2018. – Vol. 20. – P. 5–35.
6. Evolving Deep Convolutional Neural Networks for Image Classification / Y. Sun, B. Xue, M. Zhang, G.G. Yen // IEEE Transactions on Evolutionary Computation. – 2020. – Vol. 24 (2). – P. 394–407.
7. Stanley, K. O. Compositional pattern producing networks: A novel abstraction of development / K.O. Stanley // Genetic Programming and Evolvable Machines. – 2007. – No. 8. – P. 131–167.
8. Stanley, K. O. A Hypercube-Based Encoding for Evolving Large-Scale Neural Networks / K. O. Stanley, D. D'Ambrosio, J. G. Jason Gauci // Artificial Life. – 2009. – Vol. 15 (2). – P. 185–212.
9. Zoph, B. Neural architecture search with reinforcement learning / B. Zoph, Q.V. Le // Under review as a conference paper at ICLR. – 2017.
10. Efficient Neural Architecture Search via Parameter Sharing / H. Pham, M.Y. Guan, B. Zoph [et al.] // 35 th International Conference on Machine Learning. – 2018. – Vol. 80.
11. SNAS: Stochastic Neural Architecture Search / S. Xie, H. Zheng, C. Liu, L. Lin // ICLR 2019 Conference Blind Submission. – 2018. – P. 1–17.
12. Regularized Evolution for Image Classifier Architecture Search / E. Real, A. Aggarwal, Y. Huang, Q.V Le // AAAI'19: AAAI Conference on Artificial Intelligence. – 2019. – Vol. 587. – P. 4780–4789.
13. Guo, Y. Direct learning-based deep spiking neural networks: a review / Y. Guo, X. Huang, Z. Ma // Frontiers in Computational Neuroscience. – 2023. – Vol. 17.
14. Zambrano, D. Fast and Efficient Asynchronous Neural Computation with Adapting Spiking Neural Networks / D. Zambrano, S.M. Bohte. – 2016.
15. Neural Architecture Search without Training / J. Mellor, J. Turner, A. Storkey, E.J. Crowley. – 2020.
16. Chen, W. Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective / W. Chen, X. Gong, Z. Wang // ICLR. – 2021.
17. KNAS: Green Neural Architecture Search / J. Xu, L. Zhao, J. Lin [et al.] // International Conference on Machine Learning. – 2021.
18. Neural Architecture Search for Spiking Neural Networks / Y. Kim, Y. Li, H. Park [et al.] // Computer Vision – ECCV 2022: 17th European Conference. – 2022.
19. Cart Pole / Gymnasium Documentation [сайт]. – URL: https://gymnasium.farama.org/environments/classic_control/cart_pole (дата обращения: 08.09.2025).
20. Gradient-based learning applied to document recognition / Y. Lecun, L. Bottou, Y. Bengio, P. Haffner // Proceedings of the IEEE. – 1998. – Vol. 86, No. 11. – P. 2278–2324.
21. Ranzato, M. A. Efficient Learning of Sparse Representations with an Energy-Based Model / M.A. Ranzato, C. Poultney, S. Chopra, Y. Lecun // Advances in Neural Information Processing Systems (NIPS 2006). – 2006.
22. Cireşan, D. Multi-column Deep Neural Networks for Image Classification / D. Cireşan, U. Meier, J. Schmidhuber // Computer Vision and Pattern Recognition. – 2012. – P. 3642–3649.