Посмотрел сегодня запись презентации Ильи Суцкевера на конфе NeurlPS, которая проходила на прошлой неделе, и вот эти три слайда мне показались интересными:

1️⃣10 лет назад (всего 10!) была идея/гипотеза:
- Нейроны человека активируются максимум 100 раз в секунду.
- Человек может решать задачи восприятия за 0.1 секунды.
- Следовательно, нейроны активируются всего 10 раз за это время.

"Всё, что человеческий мозг может сделать/решить за 0.1 секунду, нейронная сеть с 10 слоями также может сделать."

Ну а дальше "просто" скейлим на протяжение 10 лет =)

2️⃣ На графике видим, что закон "скейлинга" судя по всему работает и в биологическом мире. У человека и других человекообразных приматов непропорционально большой мозг, что связано с высоким когнитивным потенциалом.

3️⃣ Спекуляция на будущее от Ильи:
- Не знает когда и как точно мы достигним ASI, но это реально.
- Ещё написал какими свойствами/качествами будет ASI обладать.

Как будто с Understands и Reasons мы уже неплохо так продвинулись за последние годы.