Accélérer Llama 2 avec les optimisations matérielles et logicielles AI d'Intel

Llama 2 est conçu pour aider les développeurs, les chercheurs et les organisations à créer des outils et des expériences génératifs alimentés par l'IA.

Intel offre un portefeuille de solutions d'IA qui fournissent des options compétitives et convaincantes à la communauté pour développer et exécuter des modèles comme Llama 2. Le riche portefeuille de matériel d'Intel, combiné avec des logiciels ouverts optimisés, fournit des alternatives pour atténuer le défi de l'accès à des ressources de calcul limitées. Avec la sortie de Llama 2, nous sommes heureux de partager les performances initiales d'inférence des modèles à 7B et 13B paramètres sur le portefeuille IA d'Intel, y compris l'accélérateur d'apprentissage profond Habana Gaudi2, les processeurs Intel® Xeon® Scalable de 4ème génération, Intel® Xeon® CPU Max Series, et Intel® Data Center GPU Max. Les résultats que que nous partageons ici correspondent à des performances prêtes à l'emploi avec notre logiciel actuel, et des gains de performance supplémentaires sont attendus dans les versions à venir.

Téléchargez gratuitement ce livre blanc Comsoft Intel®

P. -S. Ce téléchargement nécessite une inscription.