Розробка та дослідження системи керування комп’ютером за допомогою жестів через веб-камеру на основі Mediapipe
Ескіз недоступний
Дата
2025
Автори
Назва журналу
Номер ISSN
Назва тому
Видавець
ОНТУ Кафедра інформаційних технологій та кібербезпеки
Анотація
Метою даного дослідження є створення та тестування системи керування комп'ютером за допомогою жестів рук. Жести відстежуються за допомогою веб-камери за допомогою фреймворку MediaPipe. Про актуальність предметної галузі свідчать зростаючі ринки інтуїтивних та безконтактних технологій взаємодії людини та комп'ютера, зокрема у медичній та освітній сферах. Система може виступати як розширення можливостей користувача, так і повною заміною традиційних пристроїв введення. Основні етапи дослідження включали: аналіз можливостей фреймворку MediaPipe; розробку алгоритму нормалізації координат та формування датасету для забезпечення стабільності розпізнавання жестів незалежно від положення руки; та впровадження моделей машинного навчання (k-найближчих сусідів та нейронних мереж) для класифікації жестів з високою точністю. Тестування проводилося при різних налаштуваннях моделі, об'ємі та характеристиках датасету. У систему реалізована можливість налаштування прив'язки жестів до дій, що дозволяє персоналізувати досвід користувача. Дослідження робить внесок у область взаємодії людини та комп'ютера, пропонуючи економічне та масштабоване рішення на основі доступного обладнання.
Опис
Ключові слова
Розпізнавання жестів, MediaPipe, Людино-комп'ютерна взаємодія, Машинне навчання, Формалізація