---
library_name: transformers
license: apache-2.0
datasets:
- cardiffnlp/tweet_eval
language:
- en
base_model:
- OuteAI/Lite-Oute-1-300M-Instruct
pipeline_tag: text-classification
---

# Описание

Данная модель была создана в рамках курса по [NLP от VK](https://education.vk.company/program/kurs-nlp-yazykovye-modeli-ml).

Задание заключалось в том, чтобы сделать fine-tune базовой модели на задачу классификации тональности твитов с помощью DoRA (модель бралась instruct, то есть уже после SFT).

Fine-tune в формате текстовой генерации (text-to-text), без изменения архитектуры (доп. голов).

DoRA реализовывалась с нуля.

Базовая модель: OuteAI/Lite-Oute-1-300M-Instruct, набор данных: cardiffnlp/tweet_eval.

# Обучение

* LoRA
  * r=8
  * alpha=16
  * модули: "k_proj", "v_proj"
* BATCH_SIZE = 16
* LEARNING_RATE = 5e-4
* NUM_EPOCHS = 1
* Обучаемых параметров: 448000/300049792 (0.15%)

Обучалось в Kaggle на GPU P100 примерно час.

# Качество

F1 Macro: 0.52


![image/png](https://cdn-uploads.huggingface.co/production/uploads/655a6c4c1c419bb072813439/8ZYw7yNt6RE1kmzpDvzO2.png)

Качество модели не очень, однако fine-tune очень сильно изменил картину (качество базовой модели - 0.07).
Все ответы модели удалось распознать и определить к одному из трех классов.

## Пример генерации

Сначала идет твит, следуюая строка - правильная метка, далее - ответ модели. Модель сильно циклится.


"QT @user In the original draft of the 7th book, Remus Lupin survived the Battle of Hogwarts. #HappyBirthdayRemusLupin"  
positive  
positive   
positive  
positive  
pos  

"Ben Smith / Smith (concussion) remains out of the lineup Thursday, Curtis #NHL #SJ"  
neutral  
neutral  
neutral  
neutral  
neut  

Sorry bout the stream last night I crashed out but will be on tonight for sure. Then back to Minecraft in pc tomorrow night.  
neutral  
neutral   
neutral   
neutral   
neut  

Chase Headley's RBI double in the 8th inning off David Price snapped a Yankees streak of 33 consecutive scoreless innings against Blue Jays  
neutral  
neutral  
neutral  
neutral  
neut  

@user Alciato: Bee will invest 150 million in January, another 200 in the Summer and plans to bring Messi by 2017"  
positive  
neutral   
neutral   
neutral   
neut