Аналіз тональності текстів з використанням моделей глибокого навчання
No Thumbnail Available
Files
Date
2022-06
Journal Title
Journal ISSN
Volume Title
Publisher
Черкаський державний технологічний університет
Abstract
Робота присвячена розробці моделі аналізу тональності текстів із використанням глибоких нейронних мереж. З цією метою в роботі було запропоновано архітектуру, що складається із перед-навченої моделі BERT (Bidirectional Encoder Representations from Transformers), що здійснює попередню обробку тексту, токенізацію та векторне представлення слів, та моделі класифікатора на базі логістичної регресії. Об’єктом дослідження є аналіз тональності текстів (сентимент-аналіз). Предметом дослідження є моделі обробки природної мови на основі глибоких нейронних мереж. Згідно з одержаними результатами наша модель показала на тестовій вибірці точність 82% в термінах метрики Accuracy. Проведене експериментальне дослідження свідчить про перспективність запропонованого підходу здійснення сентимент-аналізу з використанням перед-навченої моделі BERT. В подальших дослідженнях можна використовувати більш складні моделі класифікаторів, здійснювати багатокласову класифікацію, аспектний сентимент-аналіз.
This paper is devoted to the development of Sentiment Analysis model using Deep Neural Networks (DNNs). For this purpose, pre-trained BERT-based (Bidirectional Encoder Representations from Transformers) architecture has been proposed. BERT unit provides data preprocessing, tokenization and word embedding, and the Logistic Regression unit performs final classification. Sentiment Analysis (SA) is the object of research. As modelling tool Natural Language Processing models based on DNNs (subject) have been used. According to the obtained results, our model has shown an accuracy of 82% on the test dataset in terms of the Accuracy metric. Experimental setup has shown availability of proposed approach of applying pre-trained BERT model for SA task. Father research can be focused on the use of more complex classification models, providing multiclass classification, implementation of aspect-based SA.
This paper is devoted to the development of Sentiment Analysis model using Deep Neural Networks (DNNs). For this purpose, pre-trained BERT-based (Bidirectional Encoder Representations from Transformers) architecture has been proposed. BERT unit provides data preprocessing, tokenization and word embedding, and the Logistic Regression unit performs final classification. Sentiment Analysis (SA) is the object of research. As modelling tool Natural Language Processing models based on DNNs (subject) have been used. According to the obtained results, our model has shown an accuracy of 82% on the test dataset in terms of the Accuracy metric. Experimental setup has shown availability of proposed approach of applying pre-trained BERT model for SA task. Father research can be focused on the use of more complex classification models, providing multiclass classification, implementation of aspect-based SA.
Description
Keywords
моделі обробки природної мови, сентимент-аналіз, глибокі нейронні мережі, модель BERT, Natural Language Processing, Sentiment Analysis, Deep Neural Networks, BERT
Citation
Ахмедов Р. Р. Аналіз тональності текстів з використанням моделей глибокого навчання [Електронний ресурс] / Ахмедов Р. Р., Безкоровайний В. С., Дербенцев В. Д. // Інформаційні технології в освіті, науці і техніці (ІТОНТ-2022) : тези доп. VІ Міжнар. наук.-практ. конф., Черкаси, 23–25 черв. 2022 р. / М-во освіти і науки України, Черкас. держ. технолог. ун-т [та ін.] ; [редкол.: Фауре Е. В. (голова) та ін.]. – Електрон. текст. дані. – Черкаси : ЧДТУ, 2022. – С. 6–7. – Назва з титул. екрану.