Предыдущие конференции: 2014 | 2015 | 2016
Поделиться:

Денис Ярац

Инженер-исследователь в Facebook AI Research, Сан Франциско

Денис Ярац

Инженер-исследователь в Facebook AI Research, Сан Франциско

Биография

Research Engineer в Facebook AI Research (FAIR). Исследовательские интересы лежат на пересечении обработки естественных языков (в частности, Sequence to Sequence Learning) и Reinforcement Learning. В последний год был вовлечен в несколько очень успешных проектов в FAIR, таких как «Convolution Sequence to Sequence Learning» и «Договорились или нет? End-to-End обучение для диалогов в переговорах», оба проекта широко освещались в прессе. До того, как присоединился к FAIR, Денис был лидером в команде по машинному обучению в Quora, перед этим работал над проблемами ранжирования и релевантности в Bing, Microsoft.

Доклад

Тема: Convolutional Sequence to Sequence Learning (онлайн доклад)

О чем: Широко распространенный подход к sequence to sequence learning преобразовывает исходную последовательность в выходную последовательность переменной длины используя рекуррентные нейронные сети. Мы представим архитектуру, полностью основанную на свёрточных нейронных сетях. По сравнению с рекуррентными моделями, вычисления по всем элементам могут быть полностью параллельны во время обучения, оптимизация облегчается, поскольку количество нелинейностей неизменно и не зависит от длины входного сигнала. Мы использовали закрытые линейные юниты, которые облегчают распространение градиента, и каждый декодер снабдили отдельным модулем «внимания». Мы превзошли точность глубоких настроек LSTM (Ву и др. 2016) для переводчиков WMT’14 английский-немецкий и WMT’14 английский-французский и на порядок повысили скорость как на GPU, так и на CPU.

Все доклады Денис Ярац