Ollama (https://ollama.com/) тоже классная, кстати. Ни разу не пробовал до этого, только пытался llama.cpp ставить локально -- получилось тогда не очень. А ollama дает скачать модель в одну команду, что очень классно когда в llm'ки вообще не погружен. Плюс у них библиотека есть https://ollama.com/library, можно выбрать что-нибудь эдакое если хочется.