IBM
ha annunciato la disponibilità del noto LLM (large language model) open-source Mixtral-8x7B, sviluppato da Mistral AI, sulla sua piattaforma di dati e AI watsonx, nell’ottica di un continuo impegno ad ampliare le funzionalità per aiutare i clienti, tramite l’AI generativa e i foundation model propri di IBM, ad ottenere nuovi insight, efficienze e creare nuovi modelli di business basati su principi di affidabilità.
IBM offre una versione ottimizzata di Mixtral-8x7b che, nei test interni, è stato in grado di aumentare la velocità di elaborazione dati del 50% rispetto al modello base. Ciò potrebbe potenzialmente ridurre la latenza del 35-75%, a seconda della dimensione del batch, accelerando il tempo per ottenere gli insight.
Mixtral-8x7B è stato costruito utilizzando la combinazione di modellazione Sparse – una tecnica innovativa che trova e utilizza solo le parti più essenziali dei dati per creare modelli più efficienti – e la tecnica Mixture-of-Experts, che combina diversi modelli (“esperti”) in grado di risolvere specifiche problematiche.
