Разработка для расширения контекста получила премию на Data Fusion Awards

На конференции Data Fusion состоялась церемония награждения Data Fusion Awards, где премию за научный прорыв получил Айдар Булатов. Он стал одним из авторов методики, в которой предложен инновационный способ расширения контекстного окна трансформеров при линейном росте вычислительных затрат.

Ключевая идея разработки элегантна: соединение традиционных трансформеров с рекуррентным механизмом памяти. Принцип работы метода заключается в последовательной обработке текста, разделенного на сегменты. При этом в начало каждого сегмента добавляются векторы памяти, которые обновляются на каждой следующей итерации.

https://mltimes.ai/razrabotka-dlya-rasshireniya-konteksta-poluchila-premiyu-na-data-fusion-awards/