Cara Menjalankan Llama 3 Secara Tempatan: Panduan Lengkap

menjalankan model bahasa besar (LLM) seperti Llama 3 tempatan menawarkan kelebihan yang ketara dalam landskap AI. Memeluk muka dan platform lain juara penempatan tempatan, membolehkan akses model swasta dan tidak terganggu. Panduan ini meneroka manfaat pelaksanaan LLM tempatan, menunjukkan penggunaan dengan GPT4All dan Ollama, Model Serving, Integrasi VSCode, dan akhirnya, membina aplikasi AI tersuai.

kenapa llama tempatan 3 penyebaran?

Walaupun menuntut RAM, GPU, dan kuasa pemprosesan yang tinggi, kemajuan menjadikan pelaksanaan Llama 3 tempatan semakin layak. Faedah utama termasuk:

• Akses tidak terganggu: Elakkan had kadar dan gangguan perkhidmatan.
• Prestasi yang lebih baik: Pengalaman penjanaan tindak balas yang lebih cepat dengan latensi yang minimum. Malah komputer riba pertengahan mencapai kelajuan sekitar 50 token sesaat.
• Keselamatan yang dipertingkatkan: Mengekalkan kawalan penuh ke atas input dan data, menjaga segala -galanya tempatan.
• penjimatan kos: menghapuskan yuran dan langganan API.
• penyesuaian dan fleksibiliti: model halus dengan hiperparameter, token berhenti, dan tetapan lanjutan.
• keupayaan luar talian: Gunakan model tanpa sambungan internet.
• pemilikan dan kawalan: mengekalkan pemilikan lengkap model, data, dan output.

Untuk menyelam lebih mendalam ke dalam awan vs penggunaan LLM tempatan, lihat artikel kami, "Awan vs LLM LLM Deployment: Menimbang Pro dan Kekejangan."

llama 3 dengan gpt4all dan ollama

GPT4All adalah alat sumber terbuka untuk menjalankan LLMs secara tempatan, walaupun tanpa GPU. Antara muka mesra pengguna untuk pengguna teknikal dan bukan teknikal.

Muat turun dan pasang GPT4All (Arahan Windows tersedia pada halaman muat turun rasmi). Lancarkan aplikasi, navigasi ke bahagian "Muat Turun", pilih "Llama 3 Arahan," dan muat turun. Selepas memuat turun, pilih "Llama 3 Arahan" dari menu "Pilih Model". Masukkan arahan anda dan berinteraksi dengan model. Percepatan GPU (jika ada) akan mempercepatkan respons.

Ollama menyediakan pendekatan yang lebih mudah. Muat turun dan pasang Ollama. Buka Terminal/PowerShell anda dan laksanakan:

(nota: Model muat turun dan permulaan chatbot mungkin mengambil masa beberapa minit.)

ollama run llama3

Berinteraksi dengan chatbot melalui terminal. Taip

untuk keluar.

/bye

meneroka alat dan rangka kerja tambahan dalam panduan "7 mudah untuk menjalankan LLMS secara tempatan" kami.

Local Llama 3 Server dan API Access

Pelayan tempatan membolehkan integrasi Llama 3 ke dalam aplikasi lain. Mulakan pelayan dengan:

ollama run llama3

periksa status pelayan melalui ikon dulang sistem ollama (klik kanan untuk melihat log).

mengakses API menggunakan curl:

ollama serve

(Curl berasal dari Linux tetapi berfungsi di Windows PowerShell juga.)

Sebagai alternatif, gunakan pakej python Ollama:

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    { "role": "user", "content": "What are God Particles?" }
  ],
  "stream": false
}'

Pakej ini menyokong panggilan tak segerak dan streaming untuk kecekapan yang lebih baik.

integrasi vscode dengan codegpt

Mengintegrasikan llama 3 ke dalam vscode untuk ciri -ciri seperti autocompletion dan cadangan kod.

Mulakan pelayan Ollama (

).

1. Pasang lanjutan vscode "codegpt". ollama serve
Konfigurasi codegpt, memilih Ollama sebagai pembekal dan "llama3: 8b" sebagai model (tiada kunci API diperlukan).
Gunakan arahan codegpt untuk menjana dan memperbaiki kod dalam fail python anda.

lihat "Menyediakan VSCode untuk Python" untuk konfigurasi lanjutan.

Membangunkan aplikasi AI tempatan

Butiran bahagian ini mewujudkan aplikasi AI yang memproses fail docx, menghasilkan embeddings, menggunakan kedai vektor untuk carian persamaan, dan memberikan jawapan kontekstual kepada pertanyaan pengguna. (contoh kod terperinci dan penjelasan ditinggalkan untuk keringkasan tetapi boleh didapati dalam input asal.)

Proses ini melibatkan:

menyediakan pakej python yang diperlukan. Memuatkan fail docx menggunakan

.

1. memisahkan teks ke dalam ketulan yang boleh diurus.
2. Menjana embeddings dengan Ollama's Llama 3 dan menyimpannya di kedai vektor Chroma. DirectoryLoader
Membina rantai langchain untuk menjawab soalan, menggabungkan kedai vektor, prompt rag, dan Ollama llm.
Membuat aplikasi terminal interaktif untuk menanyakan sistem.
6. Kod lengkap untuk aplikasi ini boleh didapati di GitHub (pautan yang disediakan dalam input asal).

Kesimpulan

menjalankan Llama 3 tempatan memberi kuasa kepada pengguna dengan privasi, keberkesanan kos, dan kawalan. Panduan ini menunjukkan kuasa alat dan kerangka sumber terbuka untuk membina aplikasi AI yang canggih tanpa bergantung pada perkhidmatan awan. Contoh yang disediakan mempamerkan kemudahan integrasi dengan persekitaran pembangunan yang popular dan potensi untuk mewujudkan penyelesaian AI tersuai.

Atas ialah kandungan terperinci Cara Menjalankan Llama 3 Secara Tempatan: Panduan Lengkap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!