У меня наконец-то получилось (возможно, ценой несколько более сумбурной части про RL) закончить второй семестр раньше срока и начать лекции о глубоком обучении. Каждый год становится всё больше разных интересных вещей, которые хочется в курсе по DL обсудить, и одного семестра уже давно категорически не хватает.

Сегодня были вводные лекции, поговорил расслабленно и неспешно об истории, о мотивации, о том, как искусственные нейронные сети вообще устроены, а потом уже более конкретно о функциях активации от пороговых до ACON-C, backpropagation, градиентном спуске, в том числе стохастическом, его свойствах и вариантах: методе моментов, моментах Нестерова и адаптивных вариантах от Adagrad до Adam и AdamW.

Если вдруг вы хотели как-то "вкатиться" в тему глубокого обучения, сейчас самое время подключаться! Как ни странно, глубокое обучение практически не требует знания и понимания всего предыдущего курса: конечно, вероятностную сторону вопроса понимать всегда полезно, а чем-то (например, тем же RL) мы будем в глубоком обучении пользоваться, но в целом deep learning — это практически независимый курс, мало что требующий на входе.

https://www.youtube.com/watch?v=FyWPGgzrNOs