Data Science and Machine Learning
-
Session Language |Ukraine
Тестування веб -додатків є важливим кроком для підвищення прогнозованості користувацького досвіду. Сучасні веб -програми зазвичай містять величезну
різноманітність функціональних можливостей, і всі вони повинні бути перевірені. Це призводить до неефективності та підвіщення витрат ручного тестування та потребує автоматизованого тестування. У цій промові ми демонструємо здатність машинного навчання проводити
автоматизоване тестування веб -додатків, використовуючи лише знімки екрана.
Imitation learning - це основна ідея нашого підходу. Ми створили набір із понад 4000 демонстрацій людей (скріншоти та відповідні дії) на веб -сайті.
Набір тренінгів включає близько 300 різних сценаріїв та 43 типи дій (наприклад, "клік", "ввід електронної пошти"). Ми експериментували з двома різними моделями. В якості першої
моделі ми використовували просту convolutional
neural network (CNN), щоб класифікувати 43 дії та регресувати координати натискання миші
на екрані. Використовуючи цілі знімки екрана, нам вдалося імітувати демонстрацію з точністю 99,9% у класифікації дій та 26 пікселів RMSE у регресії координат. Як другий підхід, ми використовували сіамську CNN для узгодження шаблонів між елементами, які натискаються,
і всім знімком екрана. Ця модель успішно розрізняє 95% паттернів.
Отримані моделі можна застосовувати для тестування веб -додатків або виконання завдань, використовуючи лише скріншоти веб -сайтів. Найближчим часом
ми плануємо розробити більш інтелектуальні моделі на основі навчання підкріплення на додаток до використовуваних підходів машинного навчання
