Купити квиток
Купити квиток
Bio

Максим -аспірант другого курсу інформатики EPFL (École Polytechnique Fédérale de Lausanne) у Швейцарії. Він отримав ступінь магістра в Саарландському університеті, Німеччина. Його дослідження в основному зосереджені на тому, як зробити алгоритми машинного навчання стійкими до несприятливих факторів і підвищити їх надійність. Максим опублікував сім робіт на найбільших конференціях по машинному навчання і комп’ютерного зору (NeurIPS, ICLR, AISTATS, CVPR і ECCV).

Про стійкість тонкого налаштування BERT

Data Science and Machine Learning

  • Session Language |English
Ця доповідь буде грунтована на нашій недавній роботі, прийнятій в ICLR 2021.Тонке налаштування заздалегідь навчених мовних моделей на основі трансформаторів, таких як BERT, стала звичайною практикою, домінуючи в списках лідерів в різних бенчмарках NLP. Незважаючи на високу емпіричну продуктивність моделей з тонким налаштуванням, тонке налаштування є нестабільним процесом - навчання однієї і тієї ж моделі з декількома випадковими навантаженнями може привести до великих коливань у виконанні завдання. У попередній літературі називалися дві потенційні причини спостережуваної нестабільності : катастрофічна забудькуватість і малий розмір наборів даних для тонкого налаштування.У нашій статті ми показуємо, що обидві гіпотези не пояснюють нестабільність тонкого налаштування. Ми аналізуємо BERT, RoBERTa і ALBERT, які налаштовуються на три часто використовувані набори даних з еталону GLUE, і показуємо, що спостережувана нестабільність пов'язана з труднощами оптимізації, які призводять до зникнення градієнтів. Крім того, ми показуємо, що дисперсія, що залишилася, в подальшому виконанні завдання може бути пояснена відмінностями в узагальненні, коли тонко налагоджені моделі з однаковими втратами при навчанні показують помітно різні результати тестування.На основі нашого аналізу ми представляємо простий, але надійний базовий підхід, який робить тонке налаштування моделей на основі BERT значно стабільнішим, чим раніше запропоновані

    Гнучкі ціни

    Ми подбали, щоб не залежно від обраного пакету, ви були активними учасниками події та отримати найкращий професійний досвід.
    Студентський

    Студентський

    Free

    • Всі стріми
    • Всі презентації
    • Q&A Сесії / Інтерактиви
    • Всі відео
    • Нетворкінг

    ₴0

    Студентська картка обов'язкова
    Базовий

    Базовий

    1000

    • Всі стріми
    • Всі презентації
    • Q&A Сесії / Інтерактиви
    • Всі відео
    • Нетворкінг

    ₴1000

    Повний

    Повний

    1500

    • Всі стріми
    • Всі презентації
    • Q&A Сесії / Інтерактиви
    • Всі відео
    • Нетворкінг

    ₴1500

    Якщо ви хочете придбати квитки від компанії для групи колег від 5 осіб, зв’яжіться з нашим менеджером, щоб отримати індивідуальні знижки. Умови повернення квитків, перегляньте за посиланням.