Getting Started

VERSIONS

Ollama 0.3.6 или выше model: llama3.2:3b

HOW TO

Можно установить Ollama в Docker или установить ее непосредственно на компьютер.

Установка на компьютер =============

Заходим сюда ( https://ollama.com/ ), скачиваем установщик и… устанавливаем.

::: REST API WAY :::

Добавляем модель. Модель здесь и ниже приводится для примера. Найдите нужную на странице с моделями для Ollama.

curl -X POST http://localhost:11434/api/pull -d ‘{“model”:“llama3.2”}’

Generate a response

curl http://localhost:11434/api/generate -d ‘{ “model”: “llama3.2”, “prompt”:“Продюсер группы t.a.T.u.?” }’

Отключить стрим, ответ одним ответом:

curl http://localhost:11434/api/generate -d ‘{ “model”: “llama3.2”, “stream”: false, “prompt”:“напиши анекдот” }’

Chat with a model

curl http://localhost:11434/api/chat -d '{
   "model": "llama3.2",
   "messages": [
      { "role": "user", "content": "В каком стиле поёт Сергей Жуков?" }
   ]
}'

Аналогично параметр “stream”: false, можно еще использовать “raw”: true и тд, полное описание параметров https://github.com/ollama/ollama/blob/main/docs/api.md

References

Docker hub ollama: https://hub.docker.com/r/ollama/ollama

Сборка и запуск приложения

• Для сборки данного проекта необходимо в корневой директории выполнить следующую команду:

gradle clean build

Работа в Intellij IDEA

Запуск проекта:

Run -> Edit configurations -> Add new configuration -> Spring Boot

• Main class - выбрать AppApplication
• Сохранить конфигурацию.
• Запустить сохраненную конфигурацию