Comment exécuter LLMS localement en 1 minute?

Voyons comment exécuter LLM sur votre système avec Olllama et étreindre le visage en quelques étapes simples!

La vidéo suivante explique le processus étape par étape:

comment exécuter LLM localement en une minute [débutant]

Utiliser Ollama? Lien vidéo

- Dylan (@dylan ebert ) 6 janvier 2025

Étape pour exécuter LLM localement

étape 1: télécharger olllama

Tout d'abord, recherchez "Olllama" sur votre navigateur, téléchargez-le et installez-le sur votre système.

Étape 2: Trouvez le meilleur LLM Open Source

Suivant, recherchez le "classement LLM FACE HUGGING" pour trouver une liste des meilleurs modèles de langue open source.

Étape 3: Filtrez le modèle en fonction de votre appareil

Après avoir vu la liste, appliquez un filtre pour trouver le meilleur modèle pour votre configuration. Par exemple:

• Sélectionnez un équipement de qualité grand public à domicile.
• Sélectionnez uniquement les fournisseurs officiels pour éviter les modèles non officiels ou non vérifiés.
• Si votre ordinateur portable est équipé d'un GPU bas de gamme, choisissez un modèle conçu pour les appareils Edge.

Cliquez sur des modèles les plus classés, tels que qwen / qwen2.5-35b . Dans le coin supérieur droit de l'écran, cliquez sur "Utiliser ce modèle". Cependant, vous ne pouvez pas trouver Olllama comme une option ici.

En effet, Ollama utilise un format spécial appelé GGUF, qui est une version plus petite, plus rapide et quantitative du modèle.

(Remarque: La quantification réduira légèrement la qualité, mais la rendra plus adaptée à un usage local.)

Obtenez des modèles au format GGUF:

• Accédez à la section "Quantité" du classement - il y a environ 80 modèles disponibles ici. Triez ces modèles par le plus de téléchargements.

Recherchez des modèles avec "GGUF" dans leurs noms, tels que bartowski . C'est un bon choix.

• Sélectionnez ce modèle et cliquez sur "Utilisez ce modèle avec Olllama".
• Pour les paramètres de quantification, sélectionnez une taille de fichier qui est de 1 à 2 Go plus petite que votre RAM GPU ou sélectionnez l'option recommandée, telle que Q5_K_M.

Étape 5: Téléchargez et commencez à utiliser le modèle

Copiez les commandes fournies pour le modèle de votre choix et collez-les dans votre terminal. Appuyez sur la touche "Entrée" et attendez que le téléchargement se termine.

Une fois le téléchargement terminé, vous pouvez commencer à discuter avec le modèle comme vous le feriez avec n'importe quel autre LLM. Simple et amusant!

c'est tout! Vous exécutez maintenant LLM puissant localement sur votre appareil. Veuillez me dire si ces étapes fonctionnent pour vous dans la section des commentaires ci-dessous.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!