Предыдущие конференции: 2014 | 2015 | 2016
Поделиться:

Илья Полосухин

Сооснователь и технический директор в NEAR.AI, Сан-Франциско

Илья Полосухин

Сооснователь и технический директор в NEAR.AI, Сан-Франциско

Биография

Исследователь в сфере глубинного обучения, соучредитель и технический директор NEAR.AI. Занимается обучением машин написанию кода. Ранее был главным инженером в Google Research, лидером команды, которая работала над проектами по изучению естественного языка.

Доклад

Тема: Все, что вам нужно — это «внимание»

О чем: В настоящее время структурированная обработка, по большей части, базируется на рекуррентных или сверточных моделях для конфигурации енкодера-декодера. Лучшие из представленных моделей связывают енкодер с декодером через механизм «внимания». Я опишу свои последние наработки в Google на простой сетевой архитектуре Transformer, которая основана исключительно на механизмах «внимания». Эксперименты с задачами перевода на нейронных сетях показывают улучшения по сравнению с существующими наилучшими результатами и снижение затрат на обучение по сравнению с предыдущими state-of-the-art рекуррентными моделями.

Все доклады Илья Полосухин

Презентация: Все, что вам нужно — это «внимание»