Mattimax/DATA-AI_Chat_3_360M-11M-Intruct

⚠️ Sperimentale — Use at your own risk

⚠️ATTENZIONE - MODELLO SPERIMENTALE - DANGER - EXPERIMENTAL MODEL⚠️

📌 Panoramica

DATA-AI_Chat_3_360M-11M-Intruct è un modello sperimentale di linguaggio autoregressivo sviluppato da M.INC. (Mattimax). È il primo modello al mondo da 360 milioni di parametri in grado di gestire una finestra di contesto di 11 milioni di token, una soglia finora mai raggiunta a questo livello di scala.

Il modello è progettato per compiti di instruction-following in italiano e inglese, ma non è stato ancora sottoposto a un processo di validazione esaustivo. L'utilizzo è consigliato solo in ambienti di ricerca e sviluppo.

🚧 Stato del progetto

Tipo: LLM per instruction-following
Parametri: 360M
Contesto massimo: 11,000,000 token (sperimentale)
Tecniche avanzate: LongRoPE + interpolazione dinamica, scalatura posizionale adattiva (parzialmente documentata)
Precisione: fp16
Architettura: compatibile con LLaMA-like transformer

⚠️ Il modello non è stato testato estensivamente su dataset pubblici o benchmark ufficiali. Il suo comportamento su sequenze molto lunghe è ancora oggetto di studio.

🔬 Tecnologie implementate

Per raggiungere un contesto così esteso, sono state adottate e adattate tecniche innovative in ambito di posizionamento rotatorio e interpolazione dinamica, tra cui:

LongRoPE personalizzato con frequenze inverse non lineari.
Interpolazione dinamica del contesto posizionale (simile a YaRN).
Scalatura adattiva in funzione della lunghezza della sequenza, con transizioni fluide tra soglie.

🧪 Esempio di utilizzo (avanzato)

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct")

prompt = "Scrivi una storia originale di 10 milioni di token su un'intelligenza artificiale senziente..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1000)
print(tokenizer.decode(outputs[0]))

🏷️ Licenza

Rilasciato a scopo sperimentale da M.INC.. L’uso commerciale e la redistribuzione non autorizzata del modello o delle sue tecnologie sottostanti non è consentito.

📢 Contatti

Creato da: Mattimax
Organizzazione: M.INC.
Per richieste, studi collaborativi o licensing contattare via HuggingFace.

⚠️ Disclaimer

Modello RWKV con finestra di contesto teorica da 11 milioni di token. In fase sperimentale: stiamo verificando la reale efficienza e compatibilità con input di questa lunghezza.

Questo modello è fornito così com'è, senza garanzie di funzionamento. Potrebbe produrre risultati inaspettati, incompleti o non coerenti. L'uso in ambito medico, legale o critico è fortemente sconsigliato.

Mattimax
/

DATA-AI_Chat_3_360M-11M-Intruct