NAUKA – CIEKAWE TEMATY I WĄTKI BADAWCZE

Możliwość komunikacji werbalnej u osób po operacji krtani

Joanna Rączaszek-Leonardi i Piotr Krynicki

Projekt UHURA realizowany jest przez Zespół Badawczy z Wydziału Psychologii Uniwersytetu Warszawskiego. Polega on na opracowaniu autorskiego rozwiązania dla osób, które w wyniku swojej walki z rakiem krtani straciły możliwość mówienia. Projekt UHURA, zakłada integrację danych z sensorów z mięśni, głośników typu wearable oraz wirtualnej klawiatury do stworzenia systemu przywracającego swobodną i jak najbardziej zbliżoną do naturalnej komunikację werbalną.

„UHURA narodziła się w zasadzie z konieczności – sam zachorowałem na raka krtani i w ciągu dwóch tygodni musiałem podjąć decyzję: zachować głos, czy wygrać walkę z chorobą. Zdecydowałem się, na tę drugą opcję, jednak był to dopiero początek”. ­ opowiada Konrad Zieliński, kierownik Zespołu Badawczego Projektu UHURA z Wydziału Psychologii UW – „Każda z dostępnych technik przywracania głosu miała pewne mankamenty, dlatego postanowiłem stworzyć nowe rozwiązanie, które będzie integrowało to, co najlepsze z dostępnych technologii i uzupełniało braki.”.

Synteza mowy to zamiana tekstu  na mowę (Yamahashi i in. 2012). Obecne metody przywracania głosu. Oceniliśmy je zgodnie z następującymi kryteriami: (1) naturalność komunikacji; (2) nieinwazyjność; (3) jakość głosu. (Tang i Sinclair 2015). Żadna z przedstawionych metod nie spełnia jednocześnie wszystkich kryteriów, a wiec jest potrzeba opracowania nowej technik.

Zwykle laryngektomowanym pozostaje możliwość pisania wypowiedzi na klawiaturze i odczytywania jej zsyntetyzowanym głosem, lub wykorzystywanie tzw. elektro-krtani, czyli urządzenia wytwarzającego drgania, które następnie są modulowane przez zachowany aparat mowy. W pierwszym przypadku jednak tracimy możliwość reagowania na bieżąco, utrzymania normalnego rytmu rozmowy, choć możliwe jest zsyntetyzowanie głosu indywidualnego, jeśli zebrano odpowiedni bank głosu przed operacją. W drugim przypadku, zastosowania elektro-krtani, zachowana jest możliwość uczestniczenia w rozmowie w czasie rzeczywistym, natomiast głos pozostaje sztuczny: jest płaski, „robotyczny”, pozbawiony charakterystyki indywidualnego głosu i ma bardzo ograniczoną możliwość modulacji.

Zadaniem projektu jest połączenie tych rozwiązań. Zespół uznaje bowiem zarówno wagę braku opóźnień w komunikacji i zachowania naturalnego rytmu interakcji językowej, jak i  istotność wykorzystania własnego głosu laryngektomowanego. Docenia bowiem to, jak wiele informacji niesie modulowany głos o indywidualnej barwie: od osobowości mówiącego poprzez nastrój, aż po emocjonalny stosunek do wypowiadanych kwestii. Ta wizja, jak i sposób tworzenia takich „okularów dla głosu”, w jak największym stopniu wykorzystujących zachowane zdolności, zostały docenione przez jury {Life Science} meets IT w Mahhneim, które przyznało UHURZE nagrodę w kategorii Best Business Model Award oraz podczas Sensors & {data} | Hackathon w Heidelbergu, gdzie zespół zdobył nagrodę dla najlepszego rozwiązania biorącego pod uwagę potrzeby użytkownika (Best User-centric Solution Award).

W samych tylko Stanach Zjednoczonych ponad 1,2 miliona osób cierpi z powodu utraty głosu.” – mówi Markus Bühler, Startup suport Manager w Technologie Park Heidelberg GmbH – „Projekt UHURA zdobył nagrodę dla najlepszego nowego biznesu, ponieważ najlepiej adresuje potrzeby rynku. Wierzę, że dzięki strategii sprzedaży urządzenia bezpośrednio klientom za pośrednictwem Internetu, już wkrótce będzie ono mogło pomóc Pacjentom.”

UHURA to także projekt zapoczątkowujący działanie Zespołu MedTech UW, pierwszego międzyuniwersyteckiego koła naukowego technologii medycznych przy Uniwersytecie Warszawskim i Warszawskim Uniwersytecie Medycznym. Ideą Koła jest organizowanie specjalistów z różnych dziedzin wokół projektowania wykorzystujących najnowszą technologię rozwiązań dla osób z niepełnosprawnościami, przy ścisłym udziale osób, które z owych rozwiązań mają korzystać.

„Za sukcesem UHURY i stworzeniem MedTechu stoi niebywała zdolność Konrada do integrowania ludzi o bardzo różnych zdolnościach i wykształceniu w ramach wspólnego projektu. Oczywiście, wsparcie instytucjonalne UW, poprzez rozwiązania takie jak Uniwersytecki Ośrodek Transferu Technologii, jest niezwykle ważne”. – komentuje prof. Joanna Rączaszek-Leonardi, opiekun naukowy Zespołu Badawczego Projektu UHURA – „Tym, co wyróżnia ten projekt spośród innych, jest dostępność dla nas, badaczy, pierwszoosobowej perspektywy Konrada, który stracił głos. To wskazuje na parametry tworzonego rozwiązania, na które byłoby trudno wpaść z perspektywy osób trzecich i wyznacza strategię i kierunki rozwoju projektu. Działalność Koła MedTech ma powielać ten schemat działania, ściśle współpracując na przykład z uczelnianym Biurem Osób Niepełnosprawnych.”

Nowa metoda przywracania głosu

Celem projektu jest stworzenie systemu komunikacyjnego dla laryngektomowanych dzięki integracji poniższych rozwiązań:

  • Interfejs bezgłośnej mowy – Komunikacja z urządzeniami bez widocznego ruchu (Kapur i in. 2018)

  • Klonowanie głosu - Cyfrowy głos z osobistą charakterystyką (Garrido i in. 2009).
  • Synteza mowy - Zamiana tekstu  na mowę (Yamahashi i in. 2012)

 

Polecamy do przeczytania wybrane publikacje: (więcej na:  https://drive.google.com/file/d/1nNeV7hzmZLbT2mFOyDnIupM0rQByySIq/view):

  • Aylett, M. P., & Yamagishi, J. (2008). Combining statistical parameteric speech synthesis and unit-selection for automatic voice cloning. Proc. LangTech, 2008.
  • Belin, P., Fecteau, S., Bedard, C. (2004). Thinking the voice: neural correlates of voice perception. Trends in cognitive sciences, 8(3), 129-135.
  • Bussian, C., Wollbrück, D., Danker, H., Herrmann, E., Thiele, A., Dietz, A., & Schwarz, R. (2010). Mental health after laryngectomy and partial laryngectomy: a comparative study. European Archives of Oto-Rhino-Laryngology, 267(2), 261.
  • Fagan, M., J., Ell, S., R., Gilbert, J., M., Sarrazin, E, Chapman, P., M. (2008). Development of a (silent) speech recognition system for patients following laryngectomy. In Medical Engineering & Physics 30 419–425. el Habla, 126-129.

 

Neurostymulacja szansą na terapię wielu zaburzeń

Krzysztof Madej, NeuroDevice Group S.A

Nowe technologie wkraczają do coraz to nowszych obszarów naszego życia - zarówno prywatnego, jak i zawodowego. Chociaż bez wielu z nich nie wyobrażamy sobie dzisiaj funkcjonowania, na dużo większą uwagę zasługują te, które pozwalają nam pokonywać kolejne ograniczenia w astronomii, medycynie, czy  psychologii. 

Choć do wielu rozwiązań technologicznych całkiem słusznie podchodzimy z dużym dystansem, są takie, którym warto przyjrzeć się z bliska. Należy do nich neurostymulacja, której poświęcimy ten krótki tekst. Nieinwazyjne, przezczaszkowe metody stymulacji mózgu stają się coraz powszechniejsze, a liczne badania pozwalają wiązać z nimi spore nadzieje. Wyróżniamy stymulację elektryczną (tES) oraz stymulacje magnetyczną (TMS).  Wyniki licznych badań pokazują, że neurostymulacja daje duże nadzieje w rehabilitacji zaburzeń poudarowych, takich jak afazja. Obecnie tę metodę z powodzeniem wykorzystuje się już w następujących obszarach: terapia depresji; terapia eksperymentalna; rehabilitacja poznawcza; badania nad zastosowaniem neurostymulacji w chorobach psychicznych; neuropsychologia i wpływ stymulacji na realizację zadań poznawczych i behawioralnych.

Rys. 1. Urządzenia do neurostymulacji

  • Stymulacja elektryczna może wykorzystywać prąd stały, prąd zmienny, impulsy prądu lub szum losowy, i funkcjonować pod akronimami tDCS, tACS, tRNS. Wykorzystuje się tutaj prąd elektryczny o bardzo małym napięciu. Chociaż jest niemal nieodczuwalny, może działać pobudzająco lub hamująco na wybrane obszary mózgu poprzez zjawisko mikropolaryzacji i tym samym wpływać na neuroplastyczność mózgu. Stymulacja w nowoczesnych badaniach opiera się często na złożonych protokołach stymulacyjnych oraz synchronizacji i komunikacji z urządzeniami monitorującymi stan psychofizjologiczny badanego. Aby zwiększyć zogniskowanie stymulacji elektrycznej stosowana jest wielokanałowa metoda określana jako HD-tDCS.
  • Stymulacja magnetyczna, funkcjonująca pod skrótem TMS, jest metodą wykorzystującą impulsy magnetyczne, które pobudzają neurony. W odróżnieniu od przezczaszkowej stymulacji elektrycznej, impuls TMS może wywołać ponadprogowe pobudzenie neuronów (depolaryzację) w stymulowanym obszarze mózgu. Stymulacja TMS może działać również hamująco i pobudzająco poprzez zastosowanie protokołów rTMS. Obecnie trwają prace nad nowymi protokołami stymulacyjnymi, wykorzystującymi poczwórne impulsy (QPS) oraz impulsy o zmiennych parametrach (cTMS). TMS pozwala bardzo precyzyjnie wybrać stymulowany obszar mózgu, co ułatwia wykorzystanie neuronawigacji.

Polecamy do przeczytania (poniżej tytuły artykułów jako linki do publikacji):

Eye Tracking

Ewa Ramus, NeuroDevice

Eye Tracking (okulografia) to technologia, która w ostatnich latach zyskała ogromną popularność. Między innymi dlatego, że znajduje szerokie zastosowanie w bardzo wielu obszarach, np. w marketingu i reklamie, edukacji, sporcie, medycynie, informatyce, socjologii, psychologii i wszędzie tam, gdzie w kręgu zainteresowań leży badanie odbioru i przetwarzania informacji wzrokowej.

Wideo-okulografy, w uproszczeniu nazywane eye trackerami, są urządzeniami pomiarowymi bazującymi na informacjach rejestrowanych przez kamery śledzące ruch gałki ocznej. Dedykowane oprogramowanie pozwala na nagranie, zapis, analizę i stworzenie wizualizacji danych w sposób intuicyjny oraz niewymagający znajomości żadnego języka programowania.

  • Eye tracker

  • Badanie eye-trackerem
  • Mapa cieplna pokazująca na co zwraca uwagę badany

Dzięki wykorzystaniu eye trackera badacz może uzyskać szczegółowe dane na temat tego, na co i w jakiej kolejności patrzy osoba badana. Pozwala na identyfikację zarówno obszarów, na których jest koncentrowana uwaga, jaki i obszarów pomijanych, słabo zauważalnych. Umożliwia on zweryfikowanie i obiektywne zmierzenie takich parametrów jak ilość spojrzeń na dany element, ilość czasu, który potrzebny jest do zapoznania się z danym elementem, zauważalność, powroty wzrokiem do tego samego miejsca, pomijanie wzrokiem pewnych elementów.

Podgląd podczas rejestracji umożliwia natychmiastowe wykorzystanie informacji zwrotnej, co czyni Eye Tracking szczególnie przydatnym przy treningach indywidualnych. Uzyskany feedback pozwala trenerowi na skorygowanie niepożądanych zachowań wzrokowych, eliminację rozproszeń lub zwiększenie nacisku na ćwiczenia utrzymywania uwagi wzrokowej w kluczowych dla danej dziedziny obszarach.

Pomiar jest na tyle bezpieczny nieinwazyjny, że Eye Tracking jest wykorzystywany we współrealizowanym przez nas projekcie SENSEAS. Celem projektu jest opracowanie systemu do obiektywnej oceny przy diagnozie i terapii bardzo małych dzieci z zaburzeniami ze spektrum autyzmu.

Poniżej przykładowe możliwości zastosowania Eye Trackingu w psychologii: (1) ocena zachowania człowieka w różnych sytuacjach; (2) badania interakcji człowieka z komputerem (hci – human computer interaction); (3) ocena stanu emocjonalnego i poznawczego człowieka; (4) obserwacje uzupełnione metodą eye tracking; (5) pupilometria (pomiar szerokości źrenic w odpowiedzi na bodźce); (6) wykazanie krótko- i długofalowego oddziaływania otoczenia na człowieka.

Polecamy do przeczytania (poniżej tytuły artykułów jako linki do publikacji):