… czyli co na temat neurogier ma do powiedzenia nauka.

Lider rynku gier typu trening mózgu – Lumosity –  przystało na ugodę z Federalną Komisją Handlu i zapłaci dwa miliony dolarów kary za wprowadanie klientów w błąd.

Lumosity musi poinformować swoich klientów o karze oraz dać im możliwość łatwej rezygnacji z serwisu, jak informuje Gizmodo.

Rozchodzi się przede wszystkim o zapewnienia Lumosity, że ich trening mózgu poprawia wyniki w szkole i w pracy oraz opóźnia pogarszanie się zdolności poznawczych wraz z wiekiem (takich jak pamięć). Lumosity posunęła się nawet do twierdzenia, że ich gry pomagają uchronić użytkownika przed demencją czy Alzheimerem.

Jessica Rich, dyrektor Federalnej Komisji Handlu (wydział ochrony konsumenta) uzasadniła, że Lumosity nie posiada danych naukowych potwierdzających te obietnice i „żeruje na strachu konsumentów”.

Logo Lumosity.

Nie są to z pewnością także dobre wieści dla polskich klonów Lumosity – Brainmax i innych, takich jak Neurogra czy Neurofit, które opierają się na niemal identycznej strategii marketingowej. Zaczniemy od przedyskutowania, co zarzuca się Lumosity i czy są to zarzuty słuszne (w świetle nauki). Skończymy na podsumowaniu, czy nasze rodzime produkty rzeczywiście są dobre, bo polskie.

Opinia naukowców

Nie tak dawno grupa 70 naukowców z Instytutu Maxa Plancka i Stanford Center on Longevity opublikowała oświadczenie w sprawie gier tego typu. Czytamy w nim:

It is customary for advertising to highlight the benefits and overstate potential advantages of their products. In the brain-game market, advertisements also reassure consumers that claims and promises are based on solid scientific evidence, as the games are “designed by neuroscientists” at top universities and research centers. Some companies present lists of credentialed scientific consultants and keep registries of scientific studies pertinent to cognitive training.

Often, however, the cited research is only tangentially related to the scientific claims of the company, and to the games they sell. In addition, even published peer-reviewed studies merit critical evaluation.

A prudent approach calls for integrating findings over a body of research rather than relying on single studies that often include only a small number of participants.

Grzechem firm sprzedających tego typu gry jest więc przedstawianie ich produktu jako „potwierdzonych naukowo” oraz wyolbrzymianie korzyści płynących z ich użytkowania pomimo braku solidnych dowodów. Ponadto, cytowane przez takie firmy publikacje nie potwierdzają obiecywanych korzyści bezpośrednio; często badania nie dotyczą także produktów (gier) oferowanych przez te firmy.

Niekoniecznie. Źródło: Brainmax.pl

Niekoniecznie. Źródło: Brainmax.pl

Nie znaczy to, że naukowcy w ogóle nie chcą mieć nic wspólnego z takimi wynalazkami. Wręcz przeciwnie: jak najbardziej interesuje ich możliwość poprawy fukcjonowania mózgu czy też wspomaganie rehabilitacji poprzez gry.

Jednak badania na ten temat są bardzo młode. Mimo to, wszystko wskazuje jednak na to, że neurogry to strata pieniędzy.

Największym problemem dla Lumosity jest transfer umiejętności zdobytych w grach do życia codziennego.

Bo widzicie, grając nieprzerwanie w tą samą grę rzeczywiście stajemy się lepsi… w tej samej grze. Zupełnie inną sprawą jest zademonstrowanie, że większa zręczność przy układaniu i zapamiętywaniu wirtualnych klocków podwyższy naszą inteligencję czy sprawi, że już nigdy nie zapomnimy, gdzie zostawiliśmy okulary.

Trening mózgu a nauka

No dobrze, czyli jak to jest – jeśli poprzestawiam te klocki czy policzę ptaszki na ekranie, czy podwyższy to moją sprawność poznawczą? Czy jedynym efektem będzie to, że będę bardzo dobry w liczeniu ptaszków?

By zbadać, czy taki transfer korzyści następuje, musimy powiązać zwiększoną umiejętność w jednej domenie poznawczej z korzyścią w bardziej ogólnej, szerszej domenie.

Tą pierwszą, węższą domeną jest zwykle pamięć robocza – rodzaj pamięci krótkotrwałej. Tą szerszą może być na przykład inteligencja płynna, czyli ta, która pozwala nam na rozwiązywanie nowych problemów, niezależnie od posiadanej przez nas wiedzy (taka elastyczność i kreatywność). Oba koncepty są mierzalne, to jest można je wyrazić w liczbach, podobnie jak iloraz inteligencji (IQ).

I tak, jednym z badań, na które powołuje się Lumosity (tak samo jak i Brainmax zresztą) jest to autorstwa Susanne Jaeggi i spółki z 2008 roku. W badaniu, grupa uczestników wykonała standaryzowany test na inteligencję płynną (Gf ). Następnie wykonali oni test stworzony przez Jaeggi na pamięć roboczą. Była to wariacja testu n-back; uczestnicy zapamiętują bodźce pokazane na planszach, jedna po drugiej (tutaj bodźcami na planszach były kolorowe kwadraty ułożone w różny sposób). Uczestnicy następnie widzą planszę testową i muszą zdeydować, czy bodźce na niej przedstawione są takie same, jak te pokazane n plansz temu.

Po takim treningu uczestnicy wykonali kolejny test na inteligencję płynną a badacze sprawdzili, czy się ona polepszyła. Według autorów badania, trening pamięci przez gry był powiązany z ogólnym polepszeniem inteligencji – następił transfer korzyści z konkretnej domeny (pamięć robocza) na ogólną (inteligencja płynna). Wszystko super, jednak jak to z nauką bywa, jedna publikacja wiosny nie czyni.

Późniejsza meta-analiza ostudziła trochę zapały. Gdy wzięto pod lupę wiekszą liczbę badań okazało się, że transfer korzyści nie występuje. Trening pamięci roboczej podwyższa rezultaty jedynie zadaniach testujących ten rodzaj pamięci, ale jest to efekt krótkotrwały.

Autorzy publikacji zwracają przede wszystkim uwagę na problemy metodologiczne w poprzednich badaniach. Mają one bardzo duże znaczenie.

Zademonstrujmy to na przykładzie.

Wykres poniżej przedstawia wartości wielkości efektu dla poszczególnych badań (czarne kwadraty). Efektem o którym tutaj mówimy jest transfer treningu pamięci roboczej na ogólnie pojęte zdolności niewerbalne. Horyzontalne linie które od nich wychodzą oznaczają tzw. przedział ufności statystycznej (confidence interval). Innymi słowy, linie te oznaczają, jak (nie)dokładny jest dany efekt. Im linia dłuższa, tym gorzej, bo oznacza to, że efekt jest nieprecyzyjny.

Szukamy więc kwadracików, które leżą jak najdalej na prawo od czerwonej linii, oznaczającej brak efektu. Najlepiej, jeśli przedziały ufności nie przecinałyby zera, bo to też niedobrze.

wykres

 

Jeśli spojrzycie na sam dół wykresu zobaczycie średni rozmiar efektu. Jak widzicie, efekt jest niewielki; co jest jednak interesujące to fakt, iż jeśli weźmiemy pod uwagę tylko te badania, które miały porządną, aktywną grupę kontrolną… to efekt znika. Takiej aktywnej grupy nie miało chociażby badanie Jaeggi (podkreślone na zielono); za to próba replikacji tej samej autorki w 2011 (podkreślone na różowo) już taką grupę miała i sami zobaczcie, co się z tym efektem stało:

giphy

 

Monica Melby-Lervåg i Charles Hulme podsumowują:

nie ma przekonujących dowodów na przeniesienie korzyści z treningu pamięci roboczej na inne umiejętności (werbalne i niewerbalne, procesy inhibicji w uwadze, odgadywanie słów czy arytmetykę).

Warto wspomnieć, że Jaeggi jest jednym z tych 70 naukowców, którzy podpisali się pod oświadczeniem w sprawie gier typu Lumosity!

Czytając publikacje Jaeggi widać, że badaczka najwyraźniej pokłada nadzieje w usprawnianiu mózgu poprzez prosty trening i prowadzi badania na ten temat – jednocześnie jednak jest ona krytyczna wobec rozdętego marketingu.

Można? Można. I trzeba.

Nie powinno nas to w zasadzie dziwić, bo badania nad usprawnianiem zdolności poznawczych poprzez trening to co innego, niż biznes neurogier: Lumosity wskoczyło na wagonik i uznało, że skoro „jakieś-tam” badania są, to ujdzie im na sucho sprzedaż produktów oznaczonych etykietką „nauka potwierdza”.

Są to tylko przykłady oczywiście; nie planowałem na dzisiaj przyglądanie się każdemu artykułowi cytowanemu przez Lumosity czy BrainMax z osobna. Krytyka i wnioski pozostają takie same – bardziej liczy się tutaj widok „z lotu ptaka”.

Diabeł tkwi w szczegółach. Dokładnie, w trzech. Firmy takie jak Lumosity:

  1. Ignorują nieudane replikacje i meta-analizy sugerujące brak korzyści z „gier umysłowych”
  2. Badania z pozytywnymi wynikami omawia się w izolacji.
  3. Cytowane badania traktuje się z reguły niekrytycznie.

Uciekając przed krytyką

Lumosity, jak jakiś bzdurowirus, ewoluuje. Mam wrażenie, że jeszcze parę lat temu byli oni znacznie bardziej bezpośredni w swoich obietnicach – dzisiaj już nie znajdziemy tam odniesień do Alzheimera czy demencji – jest to wynik nakazu Komisji Handlu. Mimo to zostają oni przy swoim i na stronie w zasadzie nie zmieniło się wiele, poza językiem (jest bardziej ogólnikowy i ostrożny) oraz paroma dokumentami, które zniknęły ze strony.

Jednym z nich jest to „badanie” przeprowadzone przez samą firmę w 2007 roku. Dokument nie jest już dostępny bezpośrednio poprzez stronę Lumosity, jednak na części pierwsze rozkładał go swego czasu ten bloger i link, który tam umieścił, wciąż działa. Żeby uświadomić sobie, jak bardzo niepoważne było to badanie, wystarczy spojrzeć na wyniki. Wykres miał pokazywać, jak to uczetnicy grający w Lumosity polepszyli sobie pamięć. Tymczasem z wykresu jak byk widać, że wyniki testu pamięci u graczy są praktycznie takie same, jak w grupie kontrolnej!

graff

Słupki po lewej to grupa kontrolna, po prawej – grupa trenowana w grach pamięciowych Lumosity. Żółte słupki to wynik pierwszego pomiar, niebieskie -drugiego (czyli dla grupy eksperymentalnej, są to wyniki po treningu). Źródło: Lumosity.com

Zamiast wspomnianego badania czy kilku innych odnośników, na stronie Lumosity znajdziemy teraz jedynie wzmiankę o jednym, jedynym badaniu bezpośrednio testującym efektywność Lumosity (i to nawet z wykorzystaniem aktywnej grupy kontrolnej). Wszystko fajnie, ale wydaje się, że jest to trochę jak ratowanie tonącego statku poprzez wyrzucanie ładunku cegieł za burtę i utrzymywanie, że przecież żadnych cegieł tam nigdy nie było, a jedyne co przewozimy to ten worek pierza i pingwiny, panie kapitanie.

oh no

Dokumentu „The Science Behind Lumosity” już niestety nie znajdziemy. Źródło: Lumosity.com

Pomimo zmian kosmetycznych na stronie, krytyka jest nadal aktualna: nie ma wystarczających dowodów na to, że Lumosity usprawnia jakikolwiek aspekt funkcjonowania mózgu.

Cudze szkanujecie…

W zasadzie, poza pierwszą częścią tekstu w której mowa o płaceniu dwóch milionów pieniędzy, firmę Lumosity możemy zastąpić BrainMaxem, BrainFittem, Neurogrą i innymi polskimi klonami. A trochę ich nawet jest.

Picture1

 

Nasze rodzime produkty nie są oczywiście wolne od powyższej krytyki, przeciwnie. Taki BrainMax na przykład cytuje na stronie te same badania, co Lumosity, oraz ignoruje te inne, które się z ich obietnicami nie zgadzają. Język jest nieco ostrożniejszy niż ten używany przez Lumosity – nie znalazłem żadnej wzmianki o demencji i Alzheimerze. Mówi się natomiast o zapobieganiu efektom starości oraz obiecuje się lepsze wyniki w nauce i poprawioną pamięć. Co innego już Neurogra – ci mają już opcję „zapobieganie demencji”:

demencja

Źródło: Neurogra.pl

Jednak jeszcze obrzydliwsza jest strona SzaraKomorka.pl, która już w bawełnę nie owija i kieruje swój produkt do chorych na Alzheimera, dysleksję czy ADHD:

niee

 

Zauważyłem przy tym ciekawą zależność – im firma wydaje się bardziej profesjonalna (Brainmax – macie naprawdę fajne obrazki!), tym bardziej spuszczają oni trochę z tonu i unikają co bardziej kontrowersyjnych stwierdzeń (jak te wyżej). Im więcej ogólników, tym i bronić się łatwiej – takiej strategii używa Lumosity i nie wydaje się, by z naszymi rodzimymi neurobiznesami było inaczej.

Jak nie gry, to co?

Omawiając powyższe badania, nie wspominałem jeszcze o jednym, niezwykle ważnym aspekcie. Nic nie istnieje w próżni, tak samo jak i aerobik mózgu. Programy takie jak Lumosity czy BrainMax nakłaniają do zmiany zachowań i codziennej rutyny. BrainMax podkreśla na przykład potrzebę systematyczności:

Ważne jest aby nie było zbyt długich przerw pomiędzy wizytami na portalu – zalecamy minimum 3 wizyty na portalu w tygodniu po minimum 15 minut.

Liczby te są oczywiście wyssane z palca, ale nawet jeśli – 45 minut to nie tak mało i dyskutując o korzyściach gier „rozwijających mózg” musielibyśmy porównać je z korzyściami płynącymi z innych pro-zdrowotnych zachowań, które moglibyśmy wykonać w tym samym czasie. Jaki efekt będzie mieć 45 minut gry kontra, na przykład, jazda na rowerze? Wbrew krążącej obecnie opinii, że rowerowanie wywołuje choroby (czy jest chorobą, nie pamiętam dokładnie), osobiście wybrałbym jednak to drugie.

Epilog

Podsumowując –  wprawdzie badania nad treningiem zdolności poznawczych trwają, jednak jak dotąd nie przynoszą one obiecujących rezultatów. Lumosity i inne firmy sprzedające neurogry cytują wybiórcze badania, często tylko pośrednio powiązane z ich produktami oraz wyolbrzymiają ich skuteczność jak tylko się da.

Krótko: dajcie sobie z tymi grami spokój. Chyba, że sprawiają Wam frajdę i nie szkoda Wam pieniędzy. Wtedy grajcie, ale nie oczekujcie cudów.

brain-40377_1280 roz2

P.S. Słyszeliście, że polubienie Neurobigosu na Facebooku istotnie podwyższy Waszą zdolność klikania w linki? A śledzenie mnie na Twitterze ochroni Was przed abordażem pingwinów.