Hugging Face's logo

Mattimax
/
PicoDAC-IT

Transformers
Safetensors
Italian
tiny-gpt
DAC
data-ai
DATA-AI
transformer
experimental
8-bit precision
Model card Files
xet
 Community

PicoDAC-IT (Instruction-Tuned)

Logo di PicoDAC

Informazioni sul modello

Descrizione: PicoDAC è un modello di linguaggio compatto progettato per chat in lingua italiana. Basato su una architettura Transformer leggera, è ottimizzato per essere rapido e facilmente distribuibile. Questo modello è un esperimento ed è ancora in fase di sviluppo, quindi le prestazioni possono essere limitate rispetto a modelli più grandi e sofisticati.

Dataset di addestramento: Questa versione migliorata del modello è stata addestrata sul dataset italian-dataset-mini

Obiettivo: Fornire un prototipo di chatbot italiano leggero, utile per test, sperimentazioni e applicazioni dove la dimensione del modello e la velocità sono prioritarie rispetto alla qualità generativa.

Caratteristiche tecniche

  • Architettura: Transformer autoregressivo compatto
  • Dimensione del vocabolario: 1.920 token
  • Lunghezza massima del contesto: 64 token
  • Numero di strati (layers): 6
  • Numero di teste di attenzione: 6
  • Dimensione embedding: 240
  • Quantizzazione: int8 per la maggior parte dei pesi, con embedding e layernorm ottimizzati a bit più alti

Avvertenze e limitazioni

  • Questo modello è ancora sperimentale: può generare risposte incoerenti o incomplete.
  • Non è addestrato per conversazioni sensibili o contenuti critici.
  • Performance su testi lunghi o conversazioni complesse sono limitate a causa della breve lunghezza del contesto e della piccola dimensione del modello.

Uso previsto

  • Chatbot sperimentali in italiano
  • Applicazioni leggere dove la dimensione del modello è critica
  • Prototipazione e testing di modelli di dialogo

Nota: consigliato l’uso con input brevi e contesti semplici.

Integrazione consigliata

  • Applicazioni mobile: dimensione ridotta e quantizzazione riducono il consumo di RAM e storage.
  • Sperimentazione NLP: utile per test di prompt, fine-tuning leggero o per costruire dataset sintetici.

Riferimenti

Downloads last month
6
Safetensors
Model size
5.11M params
Tensor type
I32
·
I8
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Mattimax/PicoDAC-IT

Base model

Mattimax/PicoDAC
Finetuned
(1)
this model

Dataset used to train Mattimax/PicoDAC-IT

Space using Mattimax/PicoDAC-IT 1

Collection including Mattimax/PicoDAC-IT