Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Jacek Matulewski kierownik Laboratorium Neurokognitywistycznego (LNK): Włodzisław Duch psychologowie : Bibianna Bałaj, Małgorzata Gut, Joanna Dreszer, Magdalena Jawor kognitywiści (doktoranci): Łukasz Goraczewski, Karolina Finc, Natalia Pawlaczyk studenci (WFAiIS): Jakub Majewski, Ewelina Bendlin, Piotr Cholewa, Alicja Majka, Piotr Redmerski studenci (WH): Magdalena Szmytke, Agnieszka Ignaczewska, Julia Stępińska, Magdalena Kmiecik Pracownia Gier Terapeutycznych i Badania Procesów Poznawczych (GameLab) Instytut Fizyki, Wydział Fizyki, Astronomii i Informatyki Stosowanej Interdyscyplinarne Centrum Nowoczesnych Technologii (ICNT) Uniwersytet Mikołaja Kopernika w Toruniu

Projekty: 1. Dyskalkulia, test przesiewowy TPRD i trening poznawczy (gra) 2. Gaze Controlled Application Framework (GCAF), Case study: Różnicowanie dźwięków mowy u niemowląt 3. Badania orientacji przestrzennej u osób 65+ (labirynty VR) 4. Automatyczna analiza nagrań z eyetrackerów nagłownych 5. Gra słuchowa 6. Interaktywna zabawka dla niemowląt i małych dzieci

Homo sapiens Homo faber Homo ludens człowiek rozumny, Karol Darwin (1859) Homo faber working man, człowiek twórczy, Appiusz Klaudiusz (IV/III w. p.n.e.) Homo ludens playing man, człowiek bawiący się, Johan Huizinga (1938)

Związek liczb i przestrzeni Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Związek liczb i przestrzeni Zwykliśmy przedstawiać liczby w przestrzeni (cf. Florian Krause 2015). W jednym wymiarze taki sposób prezentacji prowadzi do rysowania osi liczbowej. Osie liczbowe pokazują porządek zawarty w liczbach. „Porządek” to fundamentalna idea arytmetyki (jako gałęzi matematyki). Zdolność do porządkowania jest też niezbędna, aby dziecko rozwinęło umięjętności: liczenia, porównywania wartości czy prostych operacji arytmetycznych (np. +). Idea osi liczbowej (związku przestrzenno-liczbowego) ma reprezentację w umyśle: pojęcie mentalnej osi liczbowej (ang. mental number line, MNL) Other disorders: delayed speach developement, ADHD, dislexia Brigthness, size, longiness, pitch of sound Wiele badań pokazuje związek między liczbami a przetstrzenią (efekt dystansu, efect SNARC, efekt kolejności (pierwsze – lewy), efekt wielkości (szybciej na małe niż na duże)) – wspólne mózgowe podłoże – płaty ciemieniowe -> SNARC rozwinąć Dobrym przykładem jest SNARC – mentalna oś liczbowa Dyskalkulia – deficyt – brak osi liczbowej ->

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych SNARC Przejaw obecności mentalnej osi liczbowej: efekt SNARC (ang. Spatial-Numerical Association of Response Codes): ludzie szybciej reagują na mniejsze liczby lewą dłonią/nogą, a na większe – prawą dłonią/nogą (także po ich skrzyżowaniu). Ten związek jest wyćwiczony, zależny od kultury, dotyczy głównie liczb z zakresu 1-9. Inne manifestacje MNL: efekt dystansu, efekt wielkości Other disorders: delayed speach developement, ADHD, dislexia Brigthness, size, longiness, pitch of sound Wiele badań pokazuje związek między liczbami a przetstrzenią (efekt dystansu, efect SNARC, efekt kolejności (pierwsze – lewy), efekt wielkości (szybciej na małe niż na duże)) – wspólne mózgowe podłoże – płaty ciemieniowe -> SNARC rozwinąć Dobrym przykładem jest SNARC – mentalna oś liczbowa Dyskalkulia – deficyt – brak osi liczbowej -> http://grahamshawcross.com/2014/02/23/spatial-representation-of-number/usersgrahamshawcrossdocumentsblog_draftssnarc-effectincong-3/

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Dyskalkulia U niektórych dzieci nie dochodzi do wytworzenia mentalnej osi liczbowej. To prowadzi do dyskalkulii tj. zaburzenia nabywania podstawowych umiejętności matematycznych nie wynikające z obniżonej inteligencji Nieprawidłowość w strukturze mózgu u młodych dyskalkulików (Butterworth et. al, 2011) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC) Uszkodzenia płatów ciemieniowych (np. w wypadkach) prowadzą do akalkulii.

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Dyskalkulia Dyskalkulię można rozumieć jako nieprawidłowe wykształcenie poczucia liczby (ang. number sense), czyli intuicyjnego rozumienia liczb, ich wartości, związków między nimi i związku z ilością obiektów oraz operacji na liczbach. Zwykle wyróżnia się dwa rodzaje poczucia liczby: szacowanie (ang. aproximate number sense, ANS) na podstawie percepcji i kontekstu wartości konkretne (ang. exact number sense, ENS) automatyczne zliczanie i automatyczne obliczenia W pewnym zakresie (z wyłączeniem zliczania) poczucie liczby mają także zwierzęta. Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Dyskalkulia Definicja: Dyskalkulia rozwojowa to zaburzenie dziedziczne powodujące trudności w nabywaniu umiejętności arytmetycznych. Przyczyna (hipoteza): Osoby z dyskalkulią nie rozwinęły typowej reprezentacji mentalnej osi liczbowej (Butterworth 2005, Dehaene 1997) Występowanie: 3-10% (pokazane w wielu eksperymentach) u 30% z nich – dyskalkulia czysta, reszta – współwystępująca Diagnoza: inteligencja (w normie lub powyżej), porządkowanie (nie tylko liczb), „poczucie liczby” (number sense, ENS i ANS), proste operacje arytmetyczne (abstrakcyjne i na konkretach) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Dyskalkulia Problem: Ostateczna diagnoza dyskalkulii może być ustalona dopiero u nastolatków, gdy jest praktycznie za późno ma jakąkolwiek skuteczną terapię. Wcześniej można orzekać „ryzyko dyskalkulii”. Wówczas można rozpocząć terapię w pierwszych klasach podstawówki. W Polsce (ale nie tylko) nie ma programu przesiewowej diagnozy dyskalkulii. Nasze cele: stworzyć komputerowy test przesiewowy ryzyka dyskalkulii (TPRD), darmowy, ale z ograniczonym dostępem stworzyć krótki i intensywny trening poznawczy mentalnej osi liczbowej dla dzieci w wieku od 6 do 9 lat (Kalkulilo) Other disorders: delayed speach developement, ADHD, dislexia !!!!!! Von Aster, Rusconi (SMARC)

Test Przesiewowy Ryzyka Dyskalkulii Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Test Przesiewowy Ryzyka Dyskalkulii Test składa się z 7 zadań (kilkaset prób ) – klawiatura i mysz Zajmuje około 45 min. Różne formaty bodźców: cyfry, uporządkowane i losowo ułożone kropki. Program może łączyć się z okulografem firmy SMI Śledzenie ścieżek spojrzenia, np. podczas liczenia kropek, może być ważną informacją diagnostyczną (pozwala ustalić np. strategie liczenia) Test jest długi i nudny (jeszcze przed normalizacją) - grywalizacja Other disorders: delayed speach developement, ADHD, dislexia Zmienne: formaty, strona po której większa, distance effect + proporcje in numerocity ***************** Rozdzielić zadania !******

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Głównym celem gry jest stymulacja mózgu sprzyjająca rozwinięciu u dzieci mentalnej osi liczbowej – podstawy porządkowania, liczenia i operacji arytmetycznych. Inne podobne: The Number Race i The Number Catcher (grupa Dehaene’a) Other disorders: delayed speach developement, ADHD, dislexia

Trening poznawczy – gra „Kalkulilo” Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Trening poznawczy – gra „Kalkulilo” Kluczowe cechy / czynniki terapeutyczne: - oś pozioma (sterowanie) i oś pionowa (efekt) - opóźnienie między akcją a efektem - „oś” dźwiękowa (efekt SMARC) – tony – orientacja pozioma - akcja, atrakcyjność i grywalizacja - sterowanie wzrokiem (problemy!) i sterowanie ciałem (Kinect) - PC, tablety (iOS), telefony komórkowe Other disorders: delayed speach developement, ADHD, dislexia

Badania pilotażowe Cel eksperymentu: Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania pilotażowe Cel eksperymentu: wstępne porównanie sterowania „zwykłego” i z użyciem eyetrackera badanie wpływu krótkiego treningu poznawczego (tylko jedno przejście gry, około 3 godzin w kilku 20-30 minutowych sesjach) Badani: 19 dzieci (8 chłopców i 11 dziewczynek) na koloniach letnich w wieku 6-11 lat tylko 11 z nich zostało przebadane z użyciem eyetrackera, z tego 2 wykluczonych Procedura: 1. pretest (TPRD) 2. jedno przejście gry 3. posttest (TPRD) Dwie grupy dla dwóch rodzajów sterowania (bez grupy kontrolnej) Other disorders: delayed speach developement, ADHD, dislexia Common = key. / mouse

Badania pilotażowe Wyniki: 1. Czy trening działa? Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania pilotażowe Wyniki: 1. Czy trening działa? 2. Czy sterowanie wzorkiem jest lepsze? Kłopot ze sterowaniem wzrokiem: Dzieci są ruchliwe  to powoduje szybką dekalibrację eyetrackera  irytacja dzieci Dzieci nie lubią sterowania eyetrackerm (wolą mysz i klawiaturę)  Kinect Tak, ale… Nie Wpływ treningu na wykonanie testu TPRD - zmniejszenie czasu reakcji w zadaniach wymagających porównywania liczb prezentowanych w różnych formatach - brak wpływu na zadania z myszą (oś liczbowa)  zmiany w grze - bardzo mała grupa badanych Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania pilotażowe Other disorders: delayed speach developement, ADHD, dislexia

Badania Od lutego 2016 rozpoczynamy w szkołach podstawowych Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania Od lutego 2016 rozpoczynamy w szkołach podstawowych badania efektywności gry (podobna procedura, świetlice) Zapraszamy do badań! (kartka) Koordynator: Małgorzata Gut (psycholog) kontakt: grymatematyczne.UMK@gmail.com Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych GCAF/GIML Gaze Controlled Application Framework (GCAF) platforma służąca do łatwego przygotowywania spersonalizowanych aplikacji obsługiwanych wzrokiem (badania kognitywne niemowląt i osoby niepełnosprawne) można przygotować aplikację sterowaną wzrokiem (gry) lub interaktywny film z wieloma scenami, obszarami aktywnymi i różnymi scenariuszami zmian scen każdy region może być w trzech stanach (normalny, aktywowany (spojrzenie) i reakcji (dłuższe spojrzenie) z ustalanymi progami czasowymi każdy stan obszaru może mieć przypisany osobny obraz, dźwięk, film, animację i zmianę pozycji można wyczernić scenę poza obszarem w stanie reakcji (sterowanie uwagą) opis sceny za pomocą języka GIML (oparty na XML) Zespół: Jacek Matulewski, Rafał Linowiecki, Bianka Bałaj Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych GCAF/GIML Gaze Controlled Application Framework (GCAF) platforma służąca do łatwego przygotowywania spersonalizowanych aplikacji obsługiwanych wzrokiem (badania kognitywne niemowląt i osoby niepełnosprawne) Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych GCAF/GIML Gaze Controlled Application Framework (GCAF) platforma służąca do łatwego przygotowywania spersonalizowanych aplikacji obsługiwanych wzrokiem (badania kognitywne niemowląt i osoby niepełnosprawne) Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych GCAF/GIML Gaze Controlled Application Framework (GCAF) platforma służąca do łatwego przygotowywania spersonalizowanych aplikacji obsługiwanych wzrokiem (badania kognitywne niemowląt i osoby niepełnosprawne) Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych Badania niemowląt (10-12 msc) i dzieci 6-letnich – zdolności rozpoznawania fonemów „swoich” i „obcych” – trening interaktywny (podtrzymanie zdolności rozpoznawania fonemów „obcych”) – odwrócenie procesu u niemowląt Możliwe zastosowania m.in. – w usprawnianiu umiejętności językowych, – nauka języków obcych Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych Other disorders: delayed speach developement, ADHD, dislexia Kuhl, P. (2006)

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Zespół: W. Duch, J. Dreszer, B. Bałaj, J. Matulewski, Ł. Goraczewski i wiele innych Other disorders: delayed speach developement, ADHD, dislexia Bergelson, E., & Swingley, D. (2012)

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Eksperymenty w paradygmacie „Wyprzedzających ruchów gałek ocznych” (AEM, od ang. anticipatory eye movement paradigm) Eksperyment „Elmo” Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Eksperymenty w paradygmacie „Wyprzedzających ruchów gałek ocznych” (AEM, od ang. anticipatory eye movement paradigm) Eksperyment „Elmo” Eksperyment „Dwa obszary” Other disorders: delayed speach developement, ADHD, dislexia

Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych NeuroPerKog Grant NCN (Symfonia) - NeuroPerKog Rozwój słuchu fonematycznego i pamięci roboczej u niemowląt i dzieci Sterowanie wzrokiem jest u niemowląt naturalne. U dorosłych - nie Eksperyment „Czerwona kropka” Interaktywna bajka dla niemowląt Other disorders: delayed speach developement, ADHD, dislexia

Badania Trwają badania niemowląt – stały nabór chętnych Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania Trwają badania niemowląt – stały nabór chętnych (zapisy także mam w ciąży) Koordynator: Joanna Dreszer (psycholog) kontakt: http://babylab.icnt.umk.pl/, telefon: 56 665 60 03 Other disorders: delayed speach developement, ADHD, dislexia

Badania orientacji przestrzennej (65+) Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Badania orientacji przestrzennej (65+) Uwaga i orientacja przestrzenna u osób starszych, wczesna diagnoza choroby Alzheimera, anhedonia Zespół: Joanna Dreszer, Natalia Pawlaczyk, Piotr Redmerski, Dawid Rutkowski, Magdalena Szmytke Other disorders: delayed speach developement, ADHD, dislexia

E-mail: jacek@fizyka.umk.pl WWW: http://www.fizyka.umk.pl/~jacek Treningi poznawcze i badania dzieci z użyciem komputerów i urządzeń mobilnych Other disorders: delayed speach developement, ADHD, dislexia Kontakt Jacek Matulewski E-mail: jacek@fizyka.umk.pl WWW: http://www.fizyka.umk.pl/~jacek

Podyplomowe Studium Programowania i Zastosowań Komputerów 180 h, tylko soboty, grupy 15 osób darmowe oprogramowanie (DreamSpark Premium) http://pspizk.fizyka.umk.pl, telefon: 056 611 32 81 (w godz. 9-14)

GameLab – other project The Gaze Controlled Game as a Cognitive Training for Children with Math Difficulties GameLab – other project IDFtxt Editor – reading and exporting, common and custom transforms, free Other disorders: delayed speach developement, ADHD, dislexia

GameLab – other project The Gaze Controlled Game as a Cognitive Training for Children with Math Difficulties GameLab – other project Software for detecting the monitor position and transforming movie for further gaze analysis developed for prof. Piotr Francuz (KUL, Lublin) by team of Marek Sternal (leader developer), Jacek Matulewski, Bibianna Bałaj Other disorders: delayed speach developement, ADHD, dislexia See poster on this subject by Bibianna Bałaj (today’s poster sessions)