Все альпакогуи основываются на консольном экзешнике llama.cpp, а значит все используют формат моделей ggml. Koboldcpp имхо самое удобное сейчас, что есть для ggml, плюс он мало весит. Из современных альпак самая лучшая сейчас это wizardLM (есть даже uncensored версия, которая никогда не откажет в ответе и вроде такая же умная), но она галлюцинирует иногда. И ещё есть vicuna 1.1, которая галлюцинирует поменьше (хотя мб это я сам себе галлюцинирую и у обоих всё збс, но визард плохо умеет в мультиязычность). Викуна с koboldcpp в загрузках есть, wizardlm с тем же гуем будет скоро, а остальной шлак, делающий то же самое, не думаю, что будет полезен. Для видео/картинок то же самое примерно получается, вот например есть vladmandic/automatic, automatic1111 и invokeai, они в целом выполняют одну функцию, но не выкладывать же теперь их все три, так что лучше будет меньше хлама и всё норм работающее (кроме point-e, он не оч)
Вот эта https://huggingface.co/NeoDim/starcoder-GGML, но там 15B емнип, а так какой-нибудь wizardlm
Спасибо за наводку, но увы: 15в мои 16 гб озу не потянут. Поэтому сейчас жду, когда выйдет порт turbopilot на винду, автор проекта пообещал, что эта модель, ориентированная на создание программного кода, сможет нормально идти на 16-ти гигах: https://github.com/ravenscroftj/turbopilot/issues/24#issuecomment-1550881664