ВладGPT

OpenAI анонсировала новую модель o1. (Сильно заслоупочил, ну уж извините). Вкратце на что модель способна:

- решает олимпиадные задачи по математике (AIME) на уровне 500 лучших студентов США и превосходит точность уровня PhD в тестах по физике, биологии и химии (GPQA).
- решает задачи по программированию на уровне топ 11% лучших в соревновании CodeForces.
- способна имитировать пошаговое мышление в решении задач, что и дала прирост возможностей и правильных ответов
- лучше следует инструкциям и prompt engineering, больше вредит, чем помогает

Модель уже можно пощупать, если оплачена подписка на ChatGPT+

Как они до этого добились?

Если вкратце и приближенно к правде, то они обучили модель таким образом, чтобы она последовательно решала задачу через размышления (Chain of Thought). Т.е. модель перед тем как ответить сначала последовательно разбивает задачу на подзадачи и потом на основании своих же ответов приходит постепенно к решению. Из-за этого модель стоит дороже и ответ даже может занимать по времени до нескольких минут, пока она думает.

Что это значит для нас, простых смертных?

А то что, грузчики в будущем более защищены от увольнения, чем люди занятые интеллектуальным трудом. Это наверно первый прецедент, грядущей массовой автоматизации умственной работы, а не физической. Но это шутка (да?), такие инструменты станут крутым дополнением в работе, и тот кто раньше их освоит, то получит преимущество на рынке труда. Но сейчас стоимость такой модели дорога и скорее всего нужна людям, которые решают сложные и комплексные задачи в науке или похожих смежных областях. Мне например навскидку, сложно придумать, чтобы такое спросить, чтобы использовать такую модель.

Что значит для индустрии LLM моделей?

А то что OpenAI очередной раз продемонстрировал закон масштабирования. Чем больше вкладываешь ресурсов (в виде видеокарт и чипов для прогона LLM моделей), тем выше качество ответов. И это только укрепит уверенность инвесторов, в том что вливаемые деньги помогут. Больше вычислительных мощностей = Более умная и качественная модель. И снова укрепляет позиции больших корпораций, у которых есть на это деньги, энтузиасты и маленькие компании вряд ли смогут запускать у себя такие модели, пока не будет прорыва в научном плане.

На почитать, кому мало:
Лонгрид на русском про o1 и в чем прорыв
Анонс от OpenAI

Что такое AI стартап сегодня?

Попалась статья от Andreessen Horowitz (большая венчурная компания). К ним попадают заявки на инвестиции и вообще игрок очень серьезный на венчурном рынке. Так вот. Они разобрали стартапы и усреднили стэк и архитектуру, которой пользуются сейчас большинство стартапов. Статья от 2023 года, но можно все равно подчерпнуть полезное. Краткая выжимка.

⭐️Основная идея

Многие компании используют LLM модели как есть, без finetuning и доработок, потому что это дорого. Фишка таких продуктов заключается в контексте. Берется очень умная модель (например, OpenAI или Claude) и подается ей нужный пользователю контекст информации.

Рассмотрим пример продукта, который помогает SEO специалисту. SEO специалисты пишут материалы, составляют SEO теги, создают семантическое ядро и выполняют другие задачи. Для создания контекста берется множество материалов о том, как продвигать сайты в SEO, как работает Page Ranking и другая информация. Эта информация подается как контекст для модели. Пользователь вводит свой запрос, который специально подготавливается, чтобы модель лучше решала поставленную задачу. Затем запускается промпт на LLM, и параллельно происходят обращения к различным сервисам для генерации результата, который ожидает пользователь.

Условно можно разделить на 3 этапа, чтобы такой продукт можно было создать:

1️⃣ Подготовка данных (embeddings).

Хранение данных, нарезка на embeddings (чтобы легче было доставать), еще можно приправить подходом с графом знаний.

Пример инструментов и ресурсы:
— Databricks (для настройки pipeline)
— OpenAI Embeddings (для нарезки embeddings)
— AirFlow (бесплатная databricks 🤷‍♂️)
— PgVector (для хранения embeddings)

2️⃣ Подготовка промптов (prompt construction/retrieval)

Необходимо промпт/запрос от пользователя подготовить. Чтобы наш LLM адекватно (без галлюцинаций) и в определенном формате сходил за данными, которые мы подгтовили на 1-м этапе. Так-же могут использоваться различные техники, которые сама LLM преобразует же в более подробные промпты (chain-of-thought, self-consistency, generated knowledge, tree of thoughts, directional stimulus). Так-же здесь можно аркестрировать LLM, посылая различные запросы разным LLM, которая отвечает за определенный этап.

Примеры инструментов и ресурсы:
— PromptingGuideAI (наверно самый подробный ресурс по техникам и промптам)
— Langchain (оркестратор, так-же поддерживает различные техники подготовки промптов)
— LLamaIndex (похож на LangChain)

3️⃣ Запуск промптов (inference)

Данные подготовили, промпты подготовили. Осталось запустить и выдать пользователю результат. В основном стартапы используют API SotA (State of the Art) моделей (Anthropic, OpenAI) для запуска промптов. В целом логично, стартапу нужно выдать сразу результаты, если попрет, то можно и потом уже нанимать инженеров и файнтюнить опенсорс (привет Mixtral).

Примеры инструментов и ресурсы:
— OpenAI API и Claude API (капитанские API)
— Replicate (для меня открытие, куча моделей, которые хостятся публично и можно пощупать там буквально все и через API-шку и через сайт)
— Huggingface (Более суровый, чем replicate, предлагают хостинг, но больше каталог моделей с ссылками на github)
— Humanloop (отслеживаем стоимость и аналитику по LLM)

На самом деле там еще куча всего, но это набор начинающего стартапера. Для себя подчерпнул Replicate, можно состряпать прототипчики продуктов очень быстро и проверить идеи или гипотезы продуктов на основе AI, если что-то взлетает, то можно уже и самим хостить.

Привел только примеры инструментов, которые зацепились. Советую прочитать самим статью, для большего погружения в тему.

Сама статья
Список инструментов по категориям

Как я пользуюсь GPT

Пользоваться я им начал когда во всех СМИ начали про него трубить начиная с версии GPT 3.5. Тогда я просто баловался, в целом пользы не видел, так как у меня возникали проблемы с которыми GPT не справлялся. Уж очень специфичные у меня были запросы, так и забил на него. Начал активно пользоваться относительно недавно, когда появились новые обязанности и стало нужно влазить в темы на уровне junior, middle в тех сферах, где я не особо прокачен (data analytics, product management). Тогда я снова возобновил подписку и уже с ChatGPT 4.0+. Но что-то жалко было 24$ в месяц, учитывая что я тратил гораздо меньше, чем используя API напрямую. И тогда возникла идея использовать сторонний клиент, где просто можно было бы прописать API ключ и использовать по необходимости. Для себя нашел топовый клиент chatboxai. Там так-же есть возможность использовать и другие модели (gemini, claude). Из минусов, что там нет работы с файлами.

Какие запросы делаю? Ну думаю будет не откровение, но вдруг кому-то полезно будет:

1️⃣ Написать код на python для визуализации графиков на pandas + matplotlib. Очень клево работает, практически с 1-го раза выдает то что нужно.
2️⃣ Какие-то утилитные python скрипты, которые возникают по ходу работы.
3️⃣ Спросить, а как начать и что делать. У меня сейчас частенько возникает фрустрация, потому-что влажу в достаточно новые для себя темы. Здесь классно работает эфект резиновой уточки 🤪. Пока пишешь запрос подробный, то уже и сам к ответу приходишь 😄
4️⃣ Расписать user story для фичей и структурировать по эпикам.
5️⃣ Накидать идей для метрик и построить дерево метрик для продукта
6️⃣ Составить список вопросов для глубинного interview

И многое другое

Так-же пробовал perplexity.ai, он уже ищет по интернету. Пока не восхищен, но может не так пользуюсь.

Удачи по-gptить!

P.S. Нас не так много, но если у вас еще есть интересные кейсы использования, то скидывайте в коменты 🙂

Как развиваться в продакта?

Я не замахиваюсь на детальный гайд, потому-что опыт и навыки у каждого разные. Но я люблю когда в любой нише, где хочешь развиваться есть какая-то структура, например в mindmap. И недавно наткнулся на mindmap для продакта и как по мне очень качественный. Все ссылки ведут на productcompass.pm, но при желании можно уже найти информацию на в том источнике где преподчитаете.

Мой совет, не пытайтесь охватить все сразу, выберите пару веток, которые вам интересны или нужны и по-тихоньку изучайте.

Ссылка на сам mindmap
Статья про этот mindmap с разъяснениями