AI-движок для создания LLM-приложений⁠⁠

Cortex — AI-движок для создания LLM-приложений (поддерживает llama.cpp и TensorRT-LLM)

Cortex — это open-source AI-движок для создания LLM-приложений.
Можно импортировать в виде библиотеки Cortex или использовать как сервер.

В настоящее время Cortex поддерживает:
— Llama.cpp
— TensorRT-LLM

GitHub
Доки

Источник