Microsoft Research ha rilasciato Orca 2 LLM, che può eguagliare le prestazioni dei modelli più grandi

Microsoft potrebbe aver collaborato con OpenAI e i suoi modelli linguistici di grandi dimensioni GPT per contribuire a creare servizi di intelligenza artificiale generativa come Copilot (precedentemente noto come Bing Chat) . Tuttavia, l’azienda sta lavorando anche su LM propri. Questa settimana, Microsoft Research ha annunciato il rilascio di Orca 2, una seconda versione del suo linguaggio Orca

In un post sul blog, Microsoft ha affermato che Orca 2 è stato progettato specificamente per essere un LM più piccolo, ma può comunque essere utilizzato per rispondere a complesse domande come i LLM. Orca 2 è disponibile in due dimensioni (7 miliardi e 13 miliardi di parametri) e sono state realizzate in parte utilizzando il Llama 2 LLM con cui ha contribuito al lancio Meta all’inizio di quest’anno. L’azienda ha messo a punto il modello basato su Llama 2 “su dati sintetici personalizzati e di alta qualità”.

Microsoft ha affermato che ciò ha consentito ai modelli Orca 2 di gestire problemi che eguagliavano le prestazioni di altri modelli linguistici “5-10 volte più grandi”, affermando:

Orca 2 è addestrato con un set di dati sintetici ampliato e altamente personalizzato. I dati di addestramento sono stati generati in modo tale da insegnare a Orca 2 varie tecniche di ragionamento, come l’elaborazione passo-passo, richiama quindi genera, richiama-ragiona-genera, estratto-genera e metodi di risposta diretta, insegnandogli anche a scegliere diversi strategie di soluzione per compiti diversi.

I modelli Orca 2 sono stati confrontati con una serie di modelli linguistici più ampi come Llama 2 e WizardLM con una serie di benchmark che coprivano argomenti come “comprensione del linguaggio, ragionamento basato sul senso comune, ragionamento in più fasi, risoluzione di problemi matematici, comprensione della lettura” e Di più. Il blog affermava:

I nostri risultati preliminari indicano che le prestazioni di Orca 2 superano significativamente i modelli di dimensioni simili. Raggiunge inoltre livelli di prestazioni simili o migliori di quelli di modelli almeno 10 volte più grandi, dimostrando il potenziale di dotare modelli più piccoli di migliori capacità di ragionamento.

Anche se Microsoft ha ammesso che Orca 2 presenta dei limiti, i test effettuati finora mostrano “il potenziale per futuri progressi”. Microsoft sta rilasciando Orca 2 come progetto open source in modo che anche altri possano lavorarci sopra.