Pamukkale University Journal of Engineering Sciences (Apr 2021)
EEG sinyallerinden bakılan görselin üretilmesi
Abstract
EEG sinyalleri kullanılarak engelliler için kontrol edilebilir tekerlekli sandalyelerin üretildiği veya yapılması düşünülen aktivitenin tahmin edildiği çalışmalara literatürde sıklıkla rastlanmaktadır. Genel olarak bu çalışmalarda elektroensefalografi (EEG) sinyalinin önceden belirlenen sınıflara aktarımı gerçekleştirilir. Bu çalışmalar EEG sinyalinin sınıflandırmasından ibarettir. Ancak son yıllarda yapay öğrenme alanında yaşanan gelişmelerle sınıflandırmadan öteye gidildiği, EEG sinyalinden bakılan görselin üretilebildiği görülmektedir. Klasik çekişmeli üretici ağlar (Generative adversarial networks-GAN) ve otomatik kodlayıcı (Auto encoder-AE) yaklaşımlarının kullanıldığı sınırlı sayıdaki bu çalışmalar incelendiğinde, EEG sinyallerinden kabaca görsellerin üretilebildiği görülmektedir. Bu çalışmanın özgün yönü, görsel üretim kabiliyetini arttıracak matematiksel yaklaşımlar içermesidir. Klasik GAN mimarileri üretilen görüntülerin çeşitliliğini sağlayabilmek için rastgele vektör girişini kullanırlar. Bu yaklaşım ile EEG sinyalinden üretilen görsellerin düşük kalitede olduğu gözlemlenmiştir. Önerilen yöntemde giriş iki kısım (kodlanmış EEG ve rastgelelik) olarak düşünülmüştür. EEG’nin kodlanması için değişken oto kodlayıcı (Variational auto encoder-VAE) ve fourier dönüşümü (FD) kullanılırken, rastgelelik için iki farklı yaklaşım önerilmiştir. Bu özgün GAN kullanımı, EEG sinyallerinden daha kaliteli görsel üretilmesini sağlamıştır. Bu kalitenin sayısal olarak anlaşılabilmesi için önceden eğitilmiş evrişimsel sinir ağları (ESA) kullanılmıştır. Yapılan deneysel çalışmalar neticesinde, klasik GAN ile EEG’den üretilen görsellerin başarım seviyesi %93 civarındayken, önerilen yaklaşımda bu seviyenin %95-%100 aralığına çıktığı görülmektedir.
