Что такое AI стартап сегодня?
Попалась статья от Andreessen Horowitz (большая венчурная компания). К ним попадают заявки на инвестиции и вообще игрок очень серьезный на венчурном рынке. Так вот. Они разобрали стартапы и усреднили стэк и архитектуру, которой пользуются сейчас большинство стартапов. Статья от 2023 года, но можно все равно подчерпнуть полезное. Краткая выжимка.
⭐️Основная идея
Многие компании используют LLM модели как есть, без finetuning и доработок, потому что это дорого. Фишка таких продуктов заключается в контексте. Берется очень умная модель (например, OpenAI или Claude) и подается ей нужный пользователю контекст информации.
Рассмотрим пример продукта, который помогает SEO специалисту. SEO специалисты пишут материалы, составляют SEO теги, создают семантическое ядро и выполняют другие задачи. Для создания контекста берется множество материалов о том, как продвигать сайты в SEO, как работает Page Ranking и другая информация. Эта информация подается как контекст для модели. Пользователь вводит свой запрос, который специально подготавливается, чтобы модель лучше решала поставленную задачу. Затем запускается промпт на LLM, и параллельно происходят обращения к различным сервисам для генерации результата, который ожидает пользователь.
Условно можно разделить на 3 этапа, чтобы такой продукт можно было создать:
1️⃣ Подготовка данных (embeddings).
Хранение данных, нарезка на embeddings (чтобы легче было доставать), еще можно приправить подходом с графом знаний.
Пример инструментов и ресурсы:
— Databricks (для настройки pipeline)
— OpenAI Embeddings (для нарезки embeddings)
— AirFlow (бесплатная databricks 🤷♂️)
— PgVector (для хранения embeddings)
2️⃣ Подготовка промптов (prompt construction/retrieval)
Необходимо промпт/запрос от пользователя подготовить. Чтобы наш LLM адекватно (без галлюцинаций) и в определенном формате сходил за данными, которые мы подгтовили на 1-м этапе. Так-же могут использоваться различные техники, которые сама LLM преобразует же в более подробные промпты (chain-of-thought, self-consistency, generated knowledge, tree of thoughts, directional stimulus). Так-же здесь можно аркестрировать LLM, посылая различные запросы разным LLM, которая отвечает за определенный этап.
Примеры инструментов и ресурсы:
— PromptingGuideAI (наверно самый подробный ресурс по техникам и промптам)
— Langchain (оркестратор, так-же поддерживает различные техники подготовки промптов)
— LLamaIndex (похож на LangChain)
3️⃣ Запуск промптов (inference)
Данные подготовили, промпты подготовили. Осталось запустить и выдать пользователю результат. В основном стартапы используют API SotA (State of the Art) моделей (Anthropic, OpenAI) для запуска промптов. В целом логично, стартапу нужно выдать сразу результаты, если попрет, то можно и потом уже нанимать инженеров и файнтюнить опенсорс (привет Mixtral).
Примеры инструментов и ресурсы:
— OpenAI API и Claude API (капитанские API)
— Replicate (для меня открытие, куча моделей, которые хостятся публично и можно пощупать там буквально все и через API-шку и через сайт)
— Huggingface (Более суровый, чем replicate, предлагают хостинг, но больше каталог моделей с ссылками на github)
— Humanloop (отслеживаем стоимость и аналитику по LLM)
На самом деле там еще куча всего, но это набор начинающего стартапера. Для себя подчерпнул Replicate, можно состряпать прототипчики продуктов очень быстро и проверить идеи или гипотезы продуктов на основе AI, если что-то взлетает, то можно уже и самим хостить.
Привел только примеры инструментов, которые зацепились. Советую прочитать самим статью, для большего погружения в тему.
Сама статья
Список инструментов по категориям
Попалась статья от Andreessen Horowitz (большая венчурная компания). К ним попадают заявки на инвестиции и вообще игрок очень серьезный на венчурном рынке. Так вот. Они разобрали стартапы и усреднили стэк и архитектуру, которой пользуются сейчас большинство стартапов. Статья от 2023 года, но можно все равно подчерпнуть полезное. Краткая выжимка.
⭐️Основная идея
Многие компании используют LLM модели как есть, без finetuning и доработок, потому что это дорого. Фишка таких продуктов заключается в контексте. Берется очень умная модель (например, OpenAI или Claude) и подается ей нужный пользователю контекст информации.
Рассмотрим пример продукта, который помогает SEO специалисту. SEO специалисты пишут материалы, составляют SEO теги, создают семантическое ядро и выполняют другие задачи. Для создания контекста берется множество материалов о том, как продвигать сайты в SEO, как работает Page Ranking и другая информация. Эта информация подается как контекст для модели. Пользователь вводит свой запрос, который специально подготавливается, чтобы модель лучше решала поставленную задачу. Затем запускается промпт на LLM, и параллельно происходят обращения к различным сервисам для генерации результата, который ожидает пользователь.
Условно можно разделить на 3 этапа, чтобы такой продукт можно было создать:
1️⃣ Подготовка данных (embeddings).
Хранение данных, нарезка на embeddings (чтобы легче было доставать), еще можно приправить подходом с графом знаний.
Пример инструментов и ресурсы:
— Databricks (для настройки pipeline)
— OpenAI Embeddings (для нарезки embeddings)
— AirFlow (бесплатная databricks 🤷♂️)
— PgVector (для хранения embeddings)
2️⃣ Подготовка промптов (prompt construction/retrieval)
Необходимо промпт/запрос от пользователя подготовить. Чтобы наш LLM адекватно (без галлюцинаций) и в определенном формате сходил за данными, которые мы подгтовили на 1-м этапе. Так-же могут использоваться различные техники, которые сама LLM преобразует же в более подробные промпты (chain-of-thought, self-consistency, generated knowledge, tree of thoughts, directional stimulus). Так-же здесь можно аркестрировать LLM, посылая различные запросы разным LLM, которая отвечает за определенный этап.
Примеры инструментов и ресурсы:
— PromptingGuideAI (наверно самый подробный ресурс по техникам и промптам)
— Langchain (оркестратор, так-же поддерживает различные техники подготовки промптов)
— LLamaIndex (похож на LangChain)
3️⃣ Запуск промптов (inference)
Данные подготовили, промпты подготовили. Осталось запустить и выдать пользователю результат. В основном стартапы используют API SotA (State of the Art) моделей (Anthropic, OpenAI) для запуска промптов. В целом логично, стартапу нужно выдать сразу результаты, если попрет, то можно и потом уже нанимать инженеров и файнтюнить опенсорс (привет Mixtral).
Примеры инструментов и ресурсы:
— OpenAI API и Claude API (капитанские API)
— Replicate (для меня открытие, куча моделей, которые хостятся публично и можно пощупать там буквально все и через API-шку и через сайт)
— Huggingface (Более суровый, чем replicate, предлагают хостинг, но больше каталог моделей с ссылками на github)
— Humanloop (отслеживаем стоимость и аналитику по LLM)
На самом деле там еще куча всего, но это набор начинающего стартапера. Для себя подчерпнул Replicate, можно состряпать прототипчики продуктов очень быстро и проверить идеи или гипотезы продуктов на основе AI, если что-то взлетает, то можно уже и самим хостить.
Привел только примеры инструментов, которые зацепились. Советую прочитать самим статью, для большего погружения в тему.
Сама статья
Список инструментов по категориям