Perception estimation and torque control for hand prostheses using EEG and EMG signals
Abstract
Upper extremity prostheses vary based on patients' articulation levels and movement
methods. They can be cosmetic, operate mechanically with shoulder movement, or be
controlled by myoelectronic and electroencephalography (EEG) signals. However,
unnatural prosthesis control burdens users mentally. This thesis seeks to enhance bionic
hand prosthesis control using EEG and electromyography (EMG) signals, coupled with
users' visual weight perception, aiming to reduce physical and mental discomfort
associated with mechanical prostheses. The prototype hand's preconditioning evaluates
objects' weight visually, aiming to reduce shoulder force and mental load while holding
an object. EEG and EMG signals from subjects were processed for real-time
implementation. In the first stage, a study focused on operating the prosthesis using the
motor intention waves of prosthesis users, and the machine learning approaches'
classification success (detection of the intention to activate the prosthesis) was examined
using EEG data from 30 healthy participants. The second stage recorded EEG and EMG
signals from 31 participants during reaching, lifting, and placing an object, employing
various classifications for object weight. In the real-time classification of multi-channel
EEG signals from 20 healthy individuals using Fourier-based synchrosequeezing
transform (FSST) and singular value decomposition (SVD) approaches, the system aimed
to control the stiffness of the wrist part of the prosthesis. Consequently, the system could
detect the weight of the object perceived by the user while using the prosthesis, allowing
for the preconditioning of the prosthesis based on this weight when the user wants to hold
and move the object. Üst ekstremite protezleri, hastaların eklem düzeyleri ve hareket yöntemlerine bağlı olarak
değişiklik gösterir. Protezlerin kozmetik, omuz hareketine bağlı çalışan, miyoelektronik
ve elektroensefelografi (EEG) sinyalleriyle kontrol edilen türleri mevcuttur. Ancak,
sezgisel ve doğal olmayan protez kontrolü kullanıcı üzerinde büyük bir mental yüke
neden olmaktadır. Bu tez ile, EEG ve elektromiyografi (EMG) sinyalleri birlikte
kullanılarak biyonik el protezinin kontrolünün kullanıcının görsel ağırlık algısından
faydalanılarak daha iyi hale getirilmesini amaçlayan bir sistem geliştirilmeye
çalışılmıştır. Bu sistem ile hastaların mekanik bir protezi kullanırken duyabilecekleri
fiziksel ve mental yükü/rahatsızlığı azaltmak hedeflenmiştir. Bu amaçla öncelikle
deneklerin EEG ve EMG sinyalleri gerçek zamanlı uygulama için işlendi. İlk aşamada,
protez kullanıcılarının motor niyet dalgalarından yararlanılarak protezlerin
çalıştırılmasını hedefleyen bir araştırma yapılmış ve 30 sağlıklı katılımcıdan EEG verileri
alınarak makine öğrenmesi yaklaşımlarının sınıflandırma başarıları (protezi aktif hale
getirme niyetlerinin tespiti) incelenmiştir. İkinci aşamada, 31 katılımcının nesneye
uzanma, kaldırma ve yerleştirme hareketleri sırasında EEG ve EMG sinyalleri kaydedildi
ve nesne ağırlığının tespiti için çeşitli sınıflandırmalar kullanıldı. 20 sağlıklı bireyin çok
kanallı EEG sinyallerinin gerçek zamanlı sınıflandırmasında Fourier tabanlı
senkrosıkıştırma dönüşümü (FSST) ve tekil değer ayrıştırma (SVD) yaklaşımları
kullanılarak sistem, protezin bilek kısmının sertliğinin kontrolü sağlanmaya çalışılmıştır.
Sonuç olarak, bireyler protezi kullanırken gördükleri cismin ağırlığının sistem tarafından
algılanması ve o cismi kaldırmak istediklerinde protezin bu ağırlığa göre
önkoşullandırılması mümkün olmaktadır.