Modèle personnalisé

Importation depuis GGUF

Ollama prend en charge l'importation de modèles au format GGUF via un fichier Modelfile.

Créer un fichier Modelfile :

Créez un fichier nommé Modelfile, qui doit contenir une instruction FROM avec le chemin local du modèle que vous souhaitez importer.

FROM ./vicuna-33b.Q4_0.gguf

Cela indique à Ollama de charger le modèle spécifié depuis le fichier local vicuna-33b.Q4_0.gguf.

Créer le modèle dans Ollama :

Une fois le fichier Modelfile créé, utilisez la commande suivante pour que le modèle soit intégré dans Ollama :

ollama create example -f Modelfile

Cette commande utilise le fichier Modelfile pour créer un modèle dans Ollama sous le nom "example".

Exécuter le modèle :

Enfin, vous pouvez exécuter le modèle avec la commande suivante :

ollama run example

Cela lance le modèle que vous venez de créer, ici appelé "example", pour qu'il commence à traiter des demandes ou des tâches.