Мастерство LLM: Развертывание и использование языковых моделей локально | Игорь Акимов

[@Neural_Magic]

00:06 Использование локальных языковых моделей 02:07 Ограничения доступа к о-ным моделям 05:58 Локальное развертывание и использование языковых моделей 08:08 Локальное развертывание и использование языковых моделей 11:40 Развёртывание и использование языковых моделей локально 13:36 Модели LLM хорошо работают с европейскими языками 17:43 Применение языковых моделей локально для извлечения информации из документов 19:16 Локальное развертывание и использование языковых моделей 23:38 Локальное развертывание и использование языковых моделей

[@stanislavrozen]

Почему нужны какие-то сторонние программы для запуска LM ? Как программно общаться с ML без посредников?

[@Neural_Magic]

по АПИ

[@Никита-й2д5ю]

А почему мы считаем, что если стучимся через API, то наши данные в безопасности? Это в условиях ChatGPT написано? Там не нашел различий никаких

[@Neural_Magic]

В условной безопасности, как минимум браузер исключаем

[@pavelsavelev880]

Отлично. Я все это запускаю на M2 pro max… модели размером по 20-30гб тормозят. Нужно rtx 4090 i9 лучше заказать

[@Neural_Magic]

Следите за новостями, множество облегченных моделей выходит

[@db0nd]

​@@Neural_MagicВ облегченных версиях ответ чатика зачастую состоит из микса русских, английских тайских или китайских иероглифов . приходится разгадывать ребусы.