Biyonik Elin Faaliyete Hazırlanmasında Kaldırılacak Cisme Dair Ağırlık Algısının Beyin Sinyalleriyle Belirlenmesi

Abstract

Üst ekstremite için kullanılan protezler ampütasyonun seviyesine göre farklılık arz ettiği gibi protezin hareket ettirilmesi için kullanılan yöntemler de çeşitlidir. Protezlerin kozmetik, omuz hareketine bağlı çalışan, miyoelektronik ve elektroensefelografi (EEG) sinyalleriyle kontrol edilen türleri mevcuttur. Ancak, sezgisel ve doğal olmayan protez kontrolü kullanıcı üzerinde büyük bir mental yüke neden olmaktadır. Bu projede, EEG ve EMG sinyalleri birlikte kullanılarak biyonik el protezinin kontrolünün kullanıcının görsel ağırlık algısından faydalanılarak daha iyi hale getirilmesini amaçlayan bir sistem geliştirilmeye çalışılmıştır. Bu sistem ile hastaların mekanik bir protezi kullanırken duyabilecekleri fiziksel ve mental yükü/rahatsızlığı azaltmak hedeflenmiştir. Hastaların gördükleri cisimlerin ağırlığının beynin görsel yollarla algıladığı ölçüde değerlendirilmesi ile, üretilecek olan prototip elin ön koşullandırılması sağlanacaktır. Bu sayede hastanın cismi tutarken omzundan uyguladığı kuvvet azalacak ve mental yük hafifletilecektir. Bu amaçla öncelikle deneklerin EEG ve elektromiyografi (EMG) sinyalleri alınarak bilgisayar ortamında işlenmesi sağlanmış ve sonrasında gerçek zamanlı bir uygulama yapılmıştır. İlk aşamada, protez kullanıcılarının motor niyet dalgalarından yararlanılarak protezlerin çalıştırılmasını hedefleyen bir araştırma yapılmış ve 30 sağlıklı katılımcıdan EEG verileri alınarak makine öğrenmesi yaklaşımlarının sınıflandırma başarıları (protezi aktif hale getirme niyetlerinin tespiti) incelenmiştir. İkinci aşamada, 31 adet sağlıklı katılımcının cisme uzanırken, cismi havaya kaldırırken ve cismi başlangıç konumuna bırakırken EEG ve EMG sinyalleri senkronize olarak kaydedilmiştir. Bu sinyallerin öznitelikleri belirlendikten sonra sınıflandırma işlemleri ile cismin ağır, orta ağırlıkta ya da hafif olduğu tespit edilmiştir. Biyosinyal işleme çalışmalarıyla paralel olarak protez el ve bilek tasarımlarının ve üç boyutlu baskılarının elde edilmesi gerçekleştirilmiştir. Protez elin açılıp kapanması için omuz hareketinin kullanılması ve bilek sertliğinin kontrolünde ise yüksek torka sahip minik bir motorun biyosinyallerin işlenmesi ve üretilen otomatik karar ile sürülmesi hedeflenmiştir. Ayrıca, geliştirilen protezin karakterizasyonu yapılmıştır. 20 adet sağlıklı bireyden alınan çok kanallı EEG sinyallerinin Fourier tabanlı senkrosıkıştırma dönüşümü (FSSD) ve tekil değer ayrıştırma (SVD) yaklaşımları ile özniteliklerinin çıkarılarak sınıflandırılması sonucunda protezin bilek kısmının sertliğinin kontrolü sağlanmaya çalışılmıştır. Sonuç olarak, bireyler protezi kullanırken gördükleri cismin ağırlığının sistem tarafından algılanması ve o cismi kaldırmak istediklerinde protezin bu ağırlığa göre önkoşullandırılması mümkün olmaktadır.

The upper extremity prostheses vary due to the patient?s articulation level and the methods used to move them. There are prostheses that are either cosmetic, or that work with shoulder movement (mechanical), or controlled by myoelectronic and electroencephalography (EEG) signals. However, intuitive and unnatural control of the prosthesis places a great mental burden on the user. In this project, the aim is to develop a system to improve the control of the bionic hand prosthesis by using EEG and EMG signals together, by making use of the user's visual weight perception. With this system, it is aimed to reduce the physical and mental burden/discomfort patients may experience while using a mechanical prosthesis. The preconditioning of the prototype hand to be produced is provided by evaluating the weight of the objects seen by the patients to the extent that the brain perceives them visually. In this way, the force exerted by the patient on the shoulder while holding the object will decrease and the mental load will be alleviated. For this purpose, EEG and electromyography (EMG) signals of the subjects were taken and processed, and then a real-time implementation was developed. In the first stage, a study was conducted that aimed to operate the prosthesis by using the motor intention waves of the prosthesis users and the classification success of the machine learning approaches (detection of the intention to activate the prosthesis) was examined by taking EEG data from 30 healthy participants. In the second stage, EEG and EMG signals of 31 healthy participants were recorded synchronously while reaching for the object, lifting the object and leaving the object in the starting position. After the features of these signals were determined, it was determined that the object was heavy, medium weight or light using various classification approaches. In parallel with biosignal processing studies, prosthetic hand and wrist designs and three- dimensional prints were obtained. It is aimed to use the shoulder movement to open and close the prosthetic hand, and to control the wrist stiffness, to process the biosignals and drive a tiny motor with high torque with the automatic decision produced. In addition, the characterization of the prosthesis was made. As a result of the classification of the multi-channel EEG signals from 20 healthy individuals with Fourier-based synchrosequeezing transform (FSST) and singular value decomposition (SVD) approaches by extracting features, the goal was to control the stiffness of the wrist part of the prosthesis. As a result, it was possible for the system to detect the weight of the object the user sees while employing the prosthesis and to precondition the prosthesis according to this weight when they want to hold and move that object.