Вышла INTELLECT-1 первая модель(10B) которая использовала децентрализованную тренировку среди любых желающих.
На карте видно[фото 1] кто участвовал в тренировке и в сумме это было схоже с использованием 112 H100 и сама тренировка длилась 43 дня.
По сравнению с другими SLM она показывает хорошие результаты[фото 2], не SOTA, но всеравно хорошо учитывая необычный подход.
Посмотреть на плоды работы, можно сказать, со всей Земли, можно тут.
На карте видно[фото 1] кто участвовал в тренировке и в сумме это было схоже с использованием 112 H100 и сама тренировка длилась 43 дня.
По сравнению с другими SLM она показывает хорошие результаты[фото 2], не SOTA, но всеравно хорошо учитывая необычный подход.
Посмотреть на плоды работы, можно сказать, со всей Земли, можно тут.