Методи оптимізації гіперпараметрів у машинному навчанні
| dc.contributor.author | Позднякович, Олександр Євгенович | |
| dc.contributor.author | Pozdniakovych, Oleksandr | |
| dc.date.accessioned | 2025-11-12T12:26:10Z | |
| dc.date.available | 2025-11-12T12:26:10Z | |
| dc.date.issued | 2024 | |
| dc.description.abstract | Стаття присвячена проблемі оптимізації гіперпараметрів у машинному навчанні. Проводиться аналіз різних методів для поліпшення продуктивності моделей. У статті досліджено сучасні підходи до оптимізації гіперпараметрів у машинному навчанні, що є критично важливими для підвищення точності та узагальнюючої здатності моделей глибо кого навчання. Розглянуто проблему залежності ефективності моделей від вибору гіперпараметрів, таких як швидкість навчання, параметри регуляризації та архітектурні особливості мережі. Проаналізовано пере ваги та обмеження основних методів оптимізації: базових (grid search, random search), байєсівських, еволюційних алгоритмів, а також методів зі змінною точністю (successive halving, Hyperband). Особливу увагу приділено використанню байєсівської оптимізації із сурогатними моделями на основі гауссових процесів, які дозволяють прогнозувати значення цільової функції та рівень невизначеності. Описано функції збору, такі як Expected Improvement, Probability of Improvement та Upper Confidence Bound, що керують процесом вибору нових гіперпараметрів. Показано, що ефективне використання обчислювальних ресурсів, зокрема через методи змінної точності, є ключовим чинником у задачах масштабного налаштування моделей. Визначено, що еволюційні алгоритми забезпечують гнучкість у дослідженні простору гіперпараметрів, хоча мають високу обчислювальну складність. У висновках підкреслено важливість автоматизації процесу налаштування гіперпараметрів, інтеграції цих методів у життєвий цикл моделі та перспективність подальших досліджень у напряму масштабованих і розподілених обчислень. Результати мають практичну цінність для побудови продуктивних моделей у середовищах з обмеженими ресурсами та високими вимогами до точності прогнозування. The article is devoted to the problem of hyperparameter optimization in machine learning. Different methods for improving model performance are analyzed. The article explores modern approaches to hyperparameter optimization in machine learning, which is critically important for enhancing the accuracy and generalization capability of deep learning models. It addresses the issue of model performance dependency on the selection of hyperparameters such as learning rate, regularization parameters, and network architecture. The study analyzes the strengths and limitations of the main optimization methods: basic (grid search, random search), Bayesian, evolutionary algorithms, and variable fidelity methods (successive halving, Hyperband). Special attention is given to Bayesian optimization using surrogate models based on Gaussian processes, which allow for predicting the value of the objective function and the level of uncertainty. Acquisition functions such as Expected Improvement, Probability of Improvement, and Upper Confidence Bound are described as key mechanisms in guiding the selection of new hyperparameters. The article shows that efficient use of computational resources, particularly through variable fidelity approaches, is a crucial factor in large-scale model tuning tasks. It is determined that evolutionary algorithms provide flexibility in exploring the hyperparameter space, albeit with high computational complexity. The conclusions emphasize the importance of automating the hyperparameter tuning process, integrating these methods into the model development lifecycle, and the prospects for future research in scalable and distributed computing. The findings are practically valuable for building high-performance models in resource-constrained environments with strict predictive accuracy requirements. | |
| dc.identifier.citation | Позднякович О. Є. Методи оптимізації гіперпараметрів у машинному навчанні / Позднякович О. Є. // Моделювання та інформаційні системи в економіці : зб. наук. пр. / М-во освіти і науки України, Київ. нац. екон. ун-т ім. Вадима Гетьмана ; голов. ред. О. Є. Камінський. – Київ : КНЕУ, 2024. – Вип. 104. – С. 135–143. | |
| dc.identifier.doi | 10.33111/mise.104.12 | |
| dc.identifier.issn | 2616-6437 | |
| dc.identifier.uri | https://ir.kneu.edu.ua/handle/2010/52949 | |
| dc.language.iso | uk | |
| dc.publisher | Київський національний економічний університет імені Вадима Гетьмана | |
| dc.subject | оптимізація гіперпараметрів | |
| dc.subject | машинне навчання | |
| dc.subject | глибокі нейронні мережі | |
| dc.subject | optimization of hyperparameters | |
| dc.subject | machine learning | |
| dc.subject | deep neural networks | |
| dc.subject.udc | 004.8:004.21 | |
| dc.title | Методи оптимізації гіперпараметрів у машинному навчанні | |
| dc.title.alternative | Hyperparameter optimization methods in machine learning | |
| dc.type | Article |