ВладGPT

Что такое AI стартап сегодня?

Попалась статья от Andreessen Horowitz (большая венчурная компания). К ним попадают заявки на инвестиции и вообще игрок очень серьезный на венчурном рынке. Так вот. Они разобрали стартапы и усреднили стэк и архитектуру, которой пользуются сейчас большинство стартапов. Статья от 2023 года, но можно все равно подчерпнуть полезное. Краткая выжимка.

⭐️Основная идея

Многие компании используют LLM модели как есть, без finetuning и доработок, потому что это дорого. Фишка таких продуктов заключается в контексте. Берется очень умная модель (например, OpenAI или Claude) и подается ей нужный пользователю контекст информации.

Рассмотрим пример продукта, который помогает SEO специалисту. SEO специалисты пишут материалы, составляют SEO теги, создают семантическое ядро и выполняют другие задачи. Для создания контекста берется множество материалов о том, как продвигать сайты в SEO, как работает Page Ranking и другая информация. Эта информация подается как контекст для модели. Пользователь вводит свой запрос, который специально подготавливается, чтобы модель лучше решала поставленную задачу. Затем запускается промпт на LLM, и параллельно происходят обращения к различным сервисам для генерации результата, который ожидает пользователь.

Условно можно разделить на 3 этапа, чтобы такой продукт можно было создать:

1️⃣ Подготовка данных (embeddings).

Хранение данных, нарезка на embeddings (чтобы легче было доставать), еще можно приправить подходом с графом знаний.

Пример инструментов и ресурсы:
— Databricks (для настройки pipeline)
— OpenAI Embeddings (для нарезки embeddings)
— AirFlow (бесплатная databricks 🤷‍♂️)
— PgVector (для хранения embeddings)

2️⃣ Подготовка промптов (prompt construction/retrieval)

Необходимо промпт/запрос от пользователя подготовить. Чтобы наш LLM адекватно (без галлюцинаций) и в определенном формате сходил за данными, которые мы подгтовили на 1-м этапе. Так-же могут использоваться различные техники, которые сама LLM преобразует же в более подробные промпты (chain-of-thought, self-consistency, generated knowledge, tree of thoughts, directional stimulus). Так-же здесь можно аркестрировать LLM, посылая различные запросы разным LLM, которая отвечает за определенный этап.

Примеры инструментов и ресурсы:
— PromptingGuideAI (наверно самый подробный ресурс по техникам и промптам)
— Langchain (оркестратор, так-же поддерживает различные техники подготовки промптов)
— LLamaIndex (похож на LangChain)

3️⃣ Запуск промптов (inference)

Данные подготовили, промпты подготовили. Осталось запустить и выдать пользователю результат. В основном стартапы используют API SotA (State of the Art) моделей (Anthropic, OpenAI) для запуска промптов. В целом логично, стартапу нужно выдать сразу результаты, если попрет, то можно и потом уже нанимать инженеров и файнтюнить опенсорс (привет Mixtral).

Примеры инструментов и ресурсы:
— OpenAI API и Claude API (капитанские API)
— Replicate (для меня открытие, куча моделей, которые хостятся публично и можно пощупать там буквально все и через API-шку и через сайт)
— Huggingface (Более суровый, чем replicate, предлагают хостинг, но больше каталог моделей с ссылками на github)
— Humanloop (отслеживаем стоимость и аналитику по LLM)

На самом деле там еще куча всего, но это набор начинающего стартапера. Для себя подчерпнул Replicate, можно состряпать прототипчики продуктов очень быстро и проверить идеи или гипотезы продуктов на основе AI, если что-то взлетает, то можно уже и самим хостить.

Привел только примеры инструментов, которые зацепились. Советую прочитать самим статью, для большего погружения в тему.

Сама статья
Список инструментов по категориям

Как я пользуюсь GPT

Пользоваться я им начал когда во всех СМИ начали про него трубить начиная с версии GPT 3.5. Тогда я просто баловался, в целом пользы не видел, так как у меня возникали проблемы с которыми GPT не справлялся. Уж очень специфичные у меня были запросы, так и забил на него. Начал активно пользоваться относительно недавно, когда появились новые обязанности и стало нужно влазить в темы на уровне junior, middle в тех сферах, где я не особо прокачен (data analytics, product management). Тогда я снова возобновил подписку и уже с ChatGPT 4.0+. Но что-то жалко было 24$ в месяц, учитывая что я тратил гораздо меньше, чем используя API напрямую. И тогда возникла идея использовать сторонний клиент, где просто можно было бы прописать API ключ и использовать по необходимости. Для себя нашел топовый клиент chatboxai. Там так-же есть возможность использовать и другие модели (gemini, claude). Из минусов, что там нет работы с файлами.

Какие запросы делаю? Ну думаю будет не откровение, но вдруг кому-то полезно будет:

1️⃣ Написать код на python для визуализации графиков на pandas + matplotlib. Очень клево работает, практически с 1-го раза выдает то что нужно.
2️⃣ Какие-то утилитные python скрипты, которые возникают по ходу работы.
3️⃣ Спросить, а как начать и что делать. У меня сейчас частенько возникает фрустрация, потому-что влажу в достаточно новые для себя темы. Здесь классно работает эфект резиновой уточки 🤪. Пока пишешь запрос подробный, то уже и сам к ответу приходишь 😄
4️⃣ Расписать user story для фичей и структурировать по эпикам.
5️⃣ Накидать идей для метрик и построить дерево метрик для продукта
6️⃣ Составить список вопросов для глубинного interview

И многое другое

Так-же пробовал perplexity.ai, он уже ищет по интернету. Пока не восхищен, но может не так пользуюсь.

Удачи по-gptить!

P.S. Нас не так много, но если у вас еще есть интересные кейсы использования, то скидывайте в коменты 🙂

Как развиваться в продакта?

Я не замахиваюсь на детальный гайд, потому-что опыт и навыки у каждого разные. Но я люблю когда в любой нише, где хочешь развиваться есть какая-то структура, например в mindmap. И недавно наткнулся на mindmap для продакта и как по мне очень качественный. Все ссылки ведут на productcompass.pm, но при желании можно уже найти информацию на в том источнике где преподчитаете.

Мой совет, не пытайтесь охватить все сразу, выберите пару веток, которые вам интересны или нужны и по-тихоньку изучайте.

Ссылка на сам mindmap
Статья про этот mindmap с разъяснениями

Technical Product Manager

Я всегда интересовался бизнесовой частью IT проектов. И в какой-то момент времени мне стало тесно в роли разработчика. Хотелось быть на связке технологии и бизнеса. Сначала пошел в лиды, но это больше про управление людей. Потом присматривался на профессию Product Manager (PM). Это по сути человек, который делает много всего, но в кратце, он решает какой функционал (фичи) делать для проекта. Но там мало технологий, а я инженер, хочу и с технологиями работать 😢. Но выход нашелся. Есть такая профессия как Technical Product Manager. Это человек, который на половину Product Manager, а другую половину инженер. Technical Product Manager помимо продуктовых навыков, должен обладать еще техническими знаниями о инструментах, ограничениях и областях применения. И это похоже то что я искал! Это не то чтобы популярная профессия, на рынке СНГ вы редко встретите такую вакансию. Но где искать — это в крупных компаниях, типа Meta, Google, Amazon, Yandex и др. И часто это спрятано в описании вакансии, типа имеет опыт разработки.

Примеры сервисов и функционала где Technical Product Manager может пригодиться:

1. Персональные рекомендации товаров
2. AWS (да там сплошные TPM!)
3. Поиск такси
4. LLM (как всунуть LLM так, чтобы это было в пользу, а не во вред)
5. Алгоритмы поиска (Google)
6. И куча еще другого

Вот здесь статья от Technical Product Manager из Booking
https://productdo.io/blog/tpost/4r6z1l6yr1-what-is-technical-product-management

Работал я на позиции Head of Mobile. И приходилось разрешать конфликты. Я как человек, который сразу пытается что-то делать по уму, решил тогда почитать, как тимлиды разбираются и с этой обязанностью. Оказывается есть целый пласт знаний и теории как разрешать конфликты в командах и компаниях. В свое время наткнулся на эту статью — https://habr.com/ru/companies/oleg-bunin/articles/568820/

И реально помогло! Разобрал конфликт по полочкам и изящно вышел из ситуации. Рекомендую даже если вы не на позиции тимлида или управляющей должности, в быту пригодится.

Я тут сейчас много интересуюсь как генеративные сети на данный момент могут помогать бизнесу и какие продукты можно делать на основании их. Если взять сходу вбить в гугл, то вы найдете очень много воды и общих фраз, а хотелось бы на примере реальных кейсов смотреть как внедрили и что получили на выходе (в каких-то метриках).
В связи с этим хочу порекомендовать канал. Автор этого канала опытный ML инженер, который работает в компании TrustBit. Эта компания интегрирует генеративные сети для нужд бизнеса. Там разбираются кейсы клиентов этой компании, как внедряли и что получили на выходе.

https://t.me/llm_under_hood

ТОП 🔥