Deteksi Gestur Lengan Dinamis pada Lingkungan Virtual Tiga Dimensi Koleksi Warisan Budaya

Abstract

Teknologi virtual reality dapat digunakan untuk mendukung pameran museum. Implementasinya dapat menggunakan berbagai platform. Tersedia banyak pilihan implementasi, contohnya telepon pintar, komputer tablet, maupun komputer desktop. Kebanyakan benda koleksi museum sangat rapuh. Meminimalkan sentuhan langsung pada benda koleksi merupakan salah satu manfaat teknologi ini. Makalah ini bertujuan untuk menyiapkan gestur yang cocok untuk eksplorasi benda virtual koleksi warisan budaya. Telah disiapkan lima gestur lengan, yaitu: mengangkat, memungut, memegang, menyapu dari dua arah, kiri dan kanan. Gestur lengan dinamis direkam menggunakan sensor lengan bawah. Hasil rekaman berupa koordinat x, y, z, raw, pitch, dan yaw. Dilakukan prediksi data awal menggunakan Gaussian Mixture Model. Untuk menentukan pengklasifikasi yang terbaik, dapat digunakan probability density function dan cumulative distribution function. Dalam makalah ini, digunakan dua percobaan untuk melatih model gestur. Ketepatan dari kedua percobaan ditampilkan dalam bentuk confusion matrix. Masing-masing confusion matrix menunjukkan hasil yang sangat baik, yaitu 99,8% untuk SVM dan k-NN. Selanjutnya, hasil pemodelan diuji menggunakan data baru. Pengujian menunjukkan hasil sebesar 89,25% untuk pengklasifikasi SVM dan 90,09% untuk k-NN. Empat gestur lengan dinamis lainnya memperoleh angka yang sangat memuaskan yaitu sebesar 100% untuk kedua pengklasifikasi. Kelima gestur dapat digunakan dalam pengembangan aplikasi virtual reality.

Keywords

• gaussian mixture model
• gestur lengan dinamis
• k-nn
• koleksi warisan budaya
• virtual reality