Визначення оптимальних параметрів нейромережі у задачах бінарної класифікації при використанні малих обсягів даних
No Thumbnail Available
Date
2022
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Науково-освітній інноваційний центр суспільних трансформацій
Abstract
Досліджено практичні питання застосування нейромереж для розв’язування задач бінарної класифікації на малих обсягах вибірок. Розглянуто використання багатошарового персептрону та проблему оптимального вибору такого основного параметру нейромережі, як кількість нейронів на проміжному шарі. Досліджувалась задача прогнозування ймовірності успішності стартапів. Встановлено, що на даних вибірки малого об’єму, при неможливості отримати результат таким класичним методом, як побудова логістичної регресії, нейромережа у вигляді багатошарового персептрону дає високу точність класифікації. Для вибору оптимальних параметрів нейромережі потрібно проводити серії експериментів з метою встановлення взаємозв’язку між показниками ефективності нейромережі та зміною значення відповідного параметру, що надалі можливо апроксимувати функціональним зв’язком. Отримані залежності дають основу для вибору кращих параметрів нейромережі.
The practical issues of using neural networks for solving binary classification problems on small samples have been studied. It has been established that when the sample is artificially increased, some types of models lose their ability to perform qualitative classification. The use of a multilayer perceptron on a sample of a small volume and the problem of optimal selection of such a basic parameter of the neural network as the number of neurons in the intermediate layer are considered. The problem of forecasting the probability of success of startups was investigated. It was found that on the data of a small sample, if it is impossible to obtain a result by such a classical method as building a logistic regression, a neural network in the form of a multilayer perceptron gives high accuracy of classification. Known classic approaches to optimizing parameter values based on learning curves did not yield the desired results. Therefore, a modified approach was used that retains the idea of the learning curve, but implements it in a different way. A learning curve is constructed for each value of the neural network parameter. The curve itself establishes the relationship between the number of runs of the neural network and the average value of classification efficiency. The described approach was implemented on the data of the training sample, which includes 376 values for each class. The test sample contains 95 values for each class. As a result of research, the best learning curve was chosen, which describes the results of a neural network containing 4 neurons on the intermediate layer, and it was established that the averaged result of no more than two or three series of experiments on the neural network of the selected architecture should be used. According to the described approach, it is possible to analyze the behavior of the effectiveness of the results of the neural network for each value of the studied parameter. If one better value of the parameter is not selected, then it is advisable to use the ensemble structure and combine the results of several better models.
Description
Keywords
нейромережа, багатошаровий персептрон, оптимальні параметри, нейрони проміжного шару, крива навчання, neural network, multilayer perceptron, optimal parameters, intermediate layer neurons, learning curve
Citation
Піскунова О. В. Визначення оптимальних параметрів нейромережі у задачах бінарної класифікації при використанні малих обсягів даних [Електронний ресурс] / Піскунова О. В., Савіна С. С. // Проблеми сучасних трансформацій. Серія: економіка та управління : електрон. нак.-практ. журн. / Наук.-освіт. інновац. центр сусп. трансформацій ; [редкол.: Дука А. П. (голов. ред.) та ін.]. – Електрон. текст. дані. – Чернігів, 2022. – № 6. – Режим доступу: https://reicst.com.ua/pmt/article/view/2022-6-11-01/2022-6-11-01. – Назва з титул. екрану.