Установка LLM на Ubuntu: Полное руководство для разработчиков

sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential cmake curl git wget python3 python3-pip python3-venv

# Проверяем, видит ли система GPU
lspci | grep -i nvidia

# Устанавливаем драйверы (если нужно)
sudo apt install -y nvidia-driver-550

# Перезагружаемся
sudo reboot

# После перезагрузки проверяем установку CUDA
nvidia-smi

# Официальный скрипт установки
curl -fsSL https://ollama.com/install.sh | sh

# Добавляем текущего пользователя в группу ollama (чтобы не использовать sudo)
sudo usermod -aG ollama $USER

# Перезагружаемся или выходим/входим в систему
newgrp ollama

# Запускаем сервис Ollama
sudo systemctl start ollama
sudo systemctl enable ollama

# Скачиваем модель (например, Llama 3.1 8B)
ollama pull llama3.1:8b

# Запускаем модель в интерактивном режиме
ollama run llama3.1:8b

# Или запускаем как сервер (для API)
ollama serve &

# Проверяем работу через curl
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Привет, как дела?",
  "stream": false
}'

# Клонируем репозиторий
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

# Устанавливаем зависимости для сборки с CUDA
sudo apt install -y nvidia-cuda-toolkit

# Собираем с поддержкой CUDA
make LLAMA_CUDA=1 -j$(nproc)

# Или для чистого CPU (без видеокарты)
# make -j$(nproc)

# Создаем виртуальное окружение Python
python3 -m venv venv
source venv/bin/activate

# Устанавливаем зависимости для конвертации моделей
pip install torch numpy sentencepiece

# Конвертируем модель GGUF (скачанную заранее)
python3 convert.py \
  --outfile models/llama-2-7b.Q4_K_M.gguf \
  --outtype q4_k_m \
  /путь/к/скачанной/модели

# Запускаем инференс
./main -m models/llama-2-7b.Q4_K_M.gguf \
  -p "Расскажи анекдот про программистов" \
  -n 256 \
  -ngl 35  # Количество слоев на GPU

# Устанавливаем Docker
sudo apt install -y docker.io docker-compose
sudo usermod -aG docker $USER
newgrp docker

# Для GPU: устанавливаем NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt update && sudo apt install -y nvidia-container-toolkit
sudo systemctl restart docker

# Запускаем контейнер Ollama с доступом к GPU
docker run -d \
  --gpus all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama:latest

# Загружаем модель внутрь контейнера
docker exec -it ollama ollama pull llama3.1:8b

version: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    volumes:
      - ollama_data:/root/.ollama
    ports:
      - "11434:11434"
    restart: unless-stopped

volumes:
  ollama_data:

import requests
import json

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama3.1:8b',
        'prompt': 'Напиши функцию на Python для сортировки списка',
        'stream': False
    }
)

print(json.dumps(response.json(), indent=2, ensure_ascii=False))

# Собираем серверную часть llama.cpp
cd llama.cpp
make server LLAMA_CUDA=1

# Запускаем сервер
./server -m models/llama-2-7b.Q4_K_M.gguf \
  -c 2048 \
  --port 8080 \
  --host 0.0.0.0 \
  -ngl 35

# Увеличиваем размер swap-файла (если мало RAM)
sudo fallocate -l 16G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

# Добавляем в fstab для автозагрузки
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

# Настройка параметров ядра для лучшей производительности
echo 'vm.swappiness=10' | sudo tee -a /etc/sysctl.conf
echo 'vm.vfs_cache_pressure=50' | sudo tee -a /etc/sysctl.conf
sudo sysctl -p