Настройка запросов к моделям через Ollama

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Верни JSON с информацией о пользователе: имя, возраст, город",
  "format": "json",
  "stream": false
}'

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b", 
  "prompt": "Напиши руководство по Git в markdown",
  "format": "markdown",
  "stream": false
}'

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Создай простую HTML страницу с заголовком и параграфом",
  "format": "html", 
  "stream": false
}'

# Более надежный способ
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Верни ответ в формате JSON: {\"name\": \"string\", \"age\": number}",
  "format": "json",
  "stream": false
}'

Выбрать множество V таких что: ∑(p(x) для x в V) ≥ p
где p = значение top_p (0.0-1.0)

Возможные слова: 
- "кот" (p=0.25)
- "собака" (p=0.20) 
- "птица" (p=0.15)
- "рыба" (p=0.10)
- ... остальные (сумма p=0.30)

Выбор: только "кот" (0.25 ≤ 0.3)

Выбор: "кот" + "собака" + "птица" (0.25+0.20+0.15=0.6)

Выбор: почти все вероятные слова кроме самых маловероятных

{
  "top_p": 0.3,
  "temperature": 0.1,
  "top_k": 20
}

{
  "top_p": 0.9, 
  "temperature": 0.8,
  "top_k": 60
}

{
  "top_p": 0.7,
  "temperature": 0.5,
  "top_k": 40
}

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Столица Франции это",
  "top_p": 0.3,
  "temperature": 0.1,
  "stream": false
}'

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b", 
  "prompt": "Опиши закат на море",
  "top_p": 0.9,
  "temperature": 0.8,
  "stream": false
}'

{
  "top_p": 0.7,
  "top_k": 50,
  "temperature": 0.6,
  "repeat_penalty": 1.1
}

{"top_p": 0.1}  # Может приводить к зацикливанию

{"top_p": 0.99}  # Почти не фильтрует, может включать nonsense

{"top_p": 0.3, "temperature": 0.9}  # Противоречивые настройки

# Первый запуск
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Напиши короткое стихотворение о весне",
  "seed": 42,
  "stream": false
}'

# Второй запуск (ТОЧНО такой же результат)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Напиши короткое стихотворение о весне", 
  "seed": 42,
  "stream": false
}'

# Seed 42
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Придумай название для кофе",
  "seed": 42,
  "stream": false
}'
# Результат: "Утренняя свежесть"

# Seed 43 (немного другой)
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Придумай название для кофе",
  "seed": 43, 
  "stream": false
}'
# Результат: "Золотой эспрессо"

{
  "seed": 123,
  "temperature": 0.1,  // Должен быть низким!
  "top_p": 0.3        // Должен быть низким!
}

# Изменится ЛЮБОЙ параметр → изменится результат
seed=42 + prompt="A" ≠ seed=42 + prompt="A "

# Сегодня
seed=42 → "Ответ А"

# Завтра  
seed=42 → "Ответ А" (тот же самый)

# После перезагрузки
seed=42 → "Ответ А" (все равно тот же)

# Тестирование изменений промпта
seed=42 + prompt="Версия 1" → Результат А
seed=42 + prompt="Версия 2" → Результат Б
# Можно точно сравнить улучшения

# Найден хороший результат → сохраняем seed
curl ... -d '{
  "prompt": "Креативное название",
  "seed": 78901,  # ← ЗАПОМНИТЬ ЭТОТ SEED
  "temperature": 0.3
}'
# Результат: "Небесный аромат" (сохраняем для производства)

# Сравнение моделей на одинаковых данных
seed=42 + model="qwen3:4b" → Результат А
seed=42 + model="llama3:8b" → Результат Б
# Честное сравнение без случайности

# Демо для клиента - всегда одинаковый результат
seed=12345 → "Ваш идеальный бизнес-план..."

{
  "seed": 42,
  "temperature": 0.9,  // ❌ Высокая randomness
  "top_p": 0.9         // ❌ Высокая randomness
}
// Результат НЕ будет детерминированным!

{
  "seed": 42,
  "temperature": 0.1,      // ✅ Низкая случайность
  "top_p": 0.3,           // ✅ Строгая выборка
  "top_k": 20,            // ✅ Ограниченный выбор
  "repeat_penalty": 1.1   // ✅ Предсказуемость
}

# Модель обновилась → результаты могут измениться
seed=42 + model=v1.0 → Результат А
seed=42 + model=v1.1 → Результат Б (может отличаться)

{
  "seed": 12345,
  "temperature": 0.1,
  "top_p": 0.2,
  "top_k": 10,
  "prompt": "Напиши функцию на Python для сложения чисел"
}

{
  "seed": 67890,
  "temperature": 0.2, 
  "top_p": 0.4,
  "prompt": "Проанализируй преимущества технологии блокчейн"
}

{
  "seed": 11111,
  "temperature": 0.1,
  "prompt": "Версия 1 промпта..."
}
// Меняем только промпт, сохраняем seed

# Любое целое число
"seed": 42
"seed": 1234567890
"seed": 999888777

# Но лучше избегать:
"seed": 0          # Иногда особый случай
"seed": 1          # Слишком простой
"seed": 123456     # Нормально

{
  "model": "qwen3:4b",
  "prompt": "Генерируй креативные названия для кофе",
  "seed": 424242,
  "temperature": 0.3,
  "top_p": 0.6,
  "top_k": 30,
  "num_predict": 50
}

{"mirostat": 0}

{
  "mirostat": 1,
  "mirostat_tau": 5.0,
  "mirostat_eta": 0.1
}

{
  "mirostat": 2,
  "mirostat_tau": 5.0,
  "mirostat_eta": 0.1
}

{"mirostat_tau": 5.0}

{"mirostat_eta": 0.1}

{
  "mirostat": 2,
  "mirostat_tau": 3.0,  // Низкая перплексия = простота
  "mirostat_eta": 0.05,
  "prompt": "Объясни концепцию API REST"
}

{
  "mirostat": 2,
  "mirostat_tau": 7.0,  // Высокая перплексия = сложность
  "mirostat_eta": 0.2,
  "prompt": "Напиши поэтическое описание заката"
}

{
  "mirostat": 1,
  "mirostat_tau": 5.0,  // Баланс
  "mirostat_eta": 0.1,
  "prompt": "Напиши статью о искусственном интеллекте"
}

{
  "temperature": 0.7,
  "top_p": 0.9,
  "top_k": 40
}
// Качество может "плавать" в течение генерации

{
  "mirostat": 2,
  "mirostat_tau": 5.0,
  "mirostat_eta": 0.1
}
// Постоянное качество throughout текста

{
  "mirostat": 2,
  "mirostat_tau": 5.0,
  "mirostat_eta": 0.1,
  "temperature": 0.3,
  "top_p": 0.8
}

{
  "mirostat": 2,
  "mirostat_tau": 7.0,
  "mirostat_eta": 0.25,
  "temperature": 0.7
}

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Напиши подробное руководство по использованию Docker",
  "mirostat": 2,
  "mirostat_tau": 4.0,
  "mirostat_eta": 0.08,
  "temperature": 0.2,
  "stream": false
}' | jq -r '.response'

{"mirostat_tau": 6.0}  // Увеличить перплексию

{"mirostat_tau": 3.0}  // Уменьшить перплексию

{"mirostat_eta": 0.05}  // Уменьшить скорость обучения

response=$(curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Расскажи о преимуществах Python",
  "stream": false
}')

# Извлекаем ответ И контекст
answer=$(echo $response | jq -r '.response')
context=$(echo $response | jq '.context')

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "А какие недостатки?",
  "context": '"$context"',
  "stream": false
}'

#!/bin/bash

# Первый запрос
echo "Шаг 1: Первый запрос"
response1=$(curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Расскажи о Python для начинающих",
  "stream": false
}')

answer1=$(echo $response1 | jq -r '.response')
context=$(echo $response1 | jq '.context')

echo "Ответ: $answer1"
echo "Контекст сохранен"

# Второй запрос с контекстом
echo -e "\nШаг 2: Продолжение диалога"
response2=$(curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3:4b",
  "prompt": "Какие книги посоветуешь для изучения?",
  "context": '"$context"',
  "stream": false
}')

answer2=$(echo $response2 | jq -r '.response')
echo "Ответ: $answer2"

{
  "context": [123, 456, 789, 12, 34, 56, 78, 90, ...]
}

# Пользователь: Привет
# Модель: Привет! Как дела?
# Пользователь: Хорошо, расскажи о погоде
# Модель: Помнит предыдущие реплики

# Начало: "В далекой галактике..."
# Продолжение: "где мы остановились..."

# Шаг 1: Обсуждение проблемы
# Шаг 2: Уточняющие вопросы  
# Шаг 3: Решение с учетом всей истории

# Сначала: архитектура проекта
# Затем: реализация конкретных функций
# В конце: тестирование

# Без context (громоздко):
"prompt": "Предыдущий разговор: Привет - Привет! Как дела? - Хорошо. Текущий вопрос: Что нового?"

# С context (эффективно):
"prompt": "Что нового?",
"context": [123, 456, 789]

# Контекст от одной модели может не работать с другой
context от "qwen3:4b" ≠ context для "llama3:8b"

# Контекст может "устаревать" после долгого времени
# Или после обновления модели

# Слишком длинный контекст может быть обрезан
# Зависит от ограничений модели

# Для совершенно новых тем лучше не использовать context
# Чтобы избежать влияния предыдущего разговора

#!/bin/bash

ask_question() {
    local prompt="$1"
    local context="$2"
    
    local data='{
        "model": "qwen3:4b",
        "prompt": "'"$prompt"'",
        "stream": false'
    
    if [ -n "$context" ] && [ "$context" != "null" ]; then
        data+=', "context": '"$context"
    fi
    
    data+='}'
    
    curl -s http://localhost:11434/api/generate -d "$data"
}

# Диалог
response1=$(ask_question "Привет! Как тебя зовут?")
answer1=$(echo $response1 | jq -r '.response')
context1=$(echo $response1 | jq '.context')

echo "Модель: $answer1"

response2=$(ask_question "А чем ты занимаешься?" "$context1")
answer2=$(echo $response2 | jq -r '.response')

echo "Модель: $answer2"

curl http://localhost:11434/api/chat -d '{
  "model": "qwen3:4b",
  "messages": [
    {"role": "user", "content": "Привет"},
    {"role": "assistant", "content": "Привет! Как дела?"},
    {"role": "user", "content": "Хорошо, а у тебя?"}
  ],
  "stream": false
}'

# В приложении сохраняйте context в:
# - Базе данных
# - Файле  
# - Памятии сессии

# Если тема полностью меняется:
context=null

if [ "$context" != "null" ] && [ -n "$context" ]; then
    # Используем контекст
else
    # Новый разговор
fi

# После N реплик начинайте новый контекст
# Чтобы избежать накопления ошибок

# Сохраняем
echo $context > context.json

# Загружаем  
context=$(cat context.json)

# Разные контексты для разных тем
context_python=$(cat python_context.json)
context_js=$(cat js_context.json)

# Для тестирования можно сохранить и воспроизвести
# exact диалог с одинаковым context

# Псевдокод для веб-приложения
sessions = {}

def handle_message(user_id, message):
    if user_id not in sessions:
        # Новый диалог
        response = ollama.generate(prompt=message)
        sessions[user_id] = {
            'context': response['context'],
            'history': [message, response['response']]
        }
    else:
        # Продолжение диалога
        response = ollama.generate(
            prompt=message,
            context=sessions[user_id]['context']
        )
        sessions[user_id]['context'] = response['context']
        sessions[user_id]['history'].extend([message, response['response']])
    
    return response['response']