Konferencja „Umiejętności 15-latków: PISA 2012” Warszawa, 12 grudnia 2013 r.

PISA mierzy umiejętność wykorzystania wiedzy przez cały rocznik 15-latków do zrozumienia oraz rozwiązywania problemów, jakie napotkają w życiu.

Próba w badaniu PISA 2012 Badana populacja: „piętnastolatkowie” (uczniowie rocznik 1996) Badanie realizowane na reprezentatywnej próbie losowej Losowanie dwustopniowe (szkołauczeń) Próba warstwowa (warstwowanie explicite i implicite w losowaniu systematycznym) Kontrolowana nadreprezentacja gimnazjów prywatnych Błędy losowe szacowane metodą BRR w wariancie Fay’a W badaniu wzięło udział 4607 uczniów z 184 szkół (na 5545 wylosowanych) W tym: 4594 uczniów z 176 gimnazjów Próba międzynarodowa: 512.363 badanych z 65 krajów i regionów Poziom realizacji próby w Polsce: 83% Możliwa częściowa kontrola efektów niepełnej realizacji dzięki możliwości wykorzystania danych o egzaminach zewnętrznych Poziom realizacji próby taki sam jak 2009 roku: wyniki są w pełni porównywalne

Losowanie próby uczniów Próba PISA: procedura IFiS PAN (Polska) WESTAT (USA) GUS: Dane demograficzne Populacja docelowa Planowane wyłączenia Struktura szkół Warstwowanie Nadreprezentacje Opcje Narodowe Akceptacja SIO (MEN): Dane o szkołach Lista symboli wszystkich szkół w kraju, wraz z informacją o ich prznależności do warstwy i liczbą uczniów Losowanie próby szkół (zasadniczej i rezerwowej) SZKOŁY: Zgoda na udział w badaniu Uzyskiwanie zgody szkół W razie potrzeby – zgody szkół rezerwowych SZKOŁY: Przesyłanie kompletnej listy uczniów Weryfikacja Narzędzie do losowania próby uczniów (KeyQuest) Losowanie próby uczniów SZKOŁY: Uzyskiwanie zgody rodziców

… a kiedy już mamy próbę… ACER (Australia) WESTAT (USA) IFiS PAN (Polska) ORBS IFiS PAN Firma zewnętrzna Realizacja badania w terenie (5 marca – 13 kwietnia 2012) Kontrola zachowania procedur Ocena zadań otwartych według schematów Wprowadzanie ocen zadań otwartych, odpowiedzi na zadania zamknięte oraz danych z kwestionariuszy do bazy danych czerwiec 2012 Weryfikacja danych Skalowanie wyników testu lipiec 2013 Opracowanie zbioru danych Opracowanie raportu międzynarodowego Opracowanie wstępnego raportu polskiego 3 grudnia 2013 Upublicznienie zbioru danych Ogłoszenie raportu międzynarodowego Ogłoszenie raportów narodowych Pełen raport polski (marzec 2014) Pogłębione analizy Pogłębione analizy Pogłębione analizy Pogłębione analizy

Matematyka – główna dziedzina badania PISA 2012 (mathematical literacy)

PISA a podstawa programowa ( … ) Rozwiązując problemy, uczniowie wykorzystują umiejętność matematyzowania, myślenia strategicznego oraz rozumowania i argumentacji. [PISA Framework, zmodyfikowany w 2010 r.] Cele kształcenia – wymagania ogólne ( … ) III. Modelowanie matematyczne Uczeń dobiera model matematyczny do prostej sytuacji, buduje model matematyczny danej sytuacji. IV. Użycie i tworzenie strategii Uczeń stosuje strategię jasno wynikającą z treści zadania, tworzy strategię rozwiązania problemu. V. Rozumowanie i argumentacja Uczeń prowadzi proste rozumowania, podaje argumenty uzasadniające poprawność rozumowania. [Polska podstawa programowa z matematyki, od 2008 r.]

Jak PISA mierzy umiejętności matematyczne? Pierwszy główny pomiar odbył się w 2003 roku. W 2012 roku uczniowie rozwiązywali łącznie 83 zadania z matematyki. Pośród nich były: 34 zadania wiążące używane w badaniu od 2003 roku, 49 zadań nowych. Lub w innym podziale: 51 zadań otwartych, 32 zadania zamknięte.

Żaglowce Dziewięćdziesiąt pięć procent światowego handlu odbywa się drogą morską, wykorzystując w tym celu około 50 000 zbiornikowców, masowców i kontenerowców. Większość z tych statków towarowych używa paliwa okrętowego typu diesel. Inżynierowie zamierzają opracować system wykorzystujący siłę wiatru do wspomagania napędu statków towarowych. Proponują, aby wyposażyć statki w żagle latawcowe i wykorzystać siłę wiatru, dzięki czemu zmniejszy się zużycie paliwa i jego skutki dla środowiska. Pytanie 1: Jedną z zalet żagla latawcowego jest to, że szybuje on na wysokości 150 m. Na tej wysokości prędkość wiatru jest o mniej więcej 25% większa niż na pokładzie statku. Jaka jest przybliżona prędkość, z jaką wiatr dmie w żagiel wtedy, gdy na pokładzie statku prędkość wiatru wynosi 24 km/h? A. 6 km/h B. 18 km/h C. 25 km/h D. 30 km/h E. 49 km/h

Żaglowce Pytanie 2: Uwaga: Rysunek nie jest przedstawiony we właściwej skali. © by skysails 45º 90º 150 m Lina Jaka w przybliżeniu powinna być długość liny żagla latawcowego, by mógł on ciągnąć statek pod kątem 45° z wysokości 150 m w pionie, jak pokazano na rysunku? A. 173 m B. 212 m C. 285 m D. 300 m

Żaglowce Pytanie 3: Statek: Nowa Fala Ze względu na duże koszty paliwa okrętowego (0,42 zedów za litr), właściciele statku Nowa Fala zastanawiają się nad wyposażeniem go w żagiel latawcowy. Szacuje się, że opisany żagiel latawcowy może potencjalnie zmniejszyć zużycie paliwa ogółem o około 20%. Statek: Nowa Fala Typ: frachtowiec Długość: 117 metrów Szerokość: 18 metrów Ładowność: 12 000 ton Maksymalna prędkość: 19 węzłów Roczne zużycie paliwa (bez żagla latawcowego): około 3 500 000 litrów Wyposażenie statku Nowa Fala w żagiel latawcowy kosztuje 2 500 000 zedów. Po mniej więcej ilu latach oszczędności na paliwie okrętowym pokryją koszty zainstalowania żagla? Podaj obliczenia, aby uzasadnić swoją odpowiedź.

Pozycja Polski na skali matematycznej - świat 2003 2006 2009    2012 Kraj (region) Średni wynik Hong Kong (Chiny) 550 Tajwan 549 Szanghaj (Chiny) 600 613 Finlandia 544 548 Singapur 562 573 Korea 542 547 555 561 Holandia 538 546 560 Liechtenstein 536 531 543 554 Japonia 534 Szwajcaria 530 541 Makao (Chiny) Kanada 532 527 Belgia 529 525 535 523 Australia 524 Nowa Zelandia 522 526 Estonia 521 520 519 Czechy 516 518 Islandia 515 Polska Dania 514 513 Francja 511 510 Niemcy Szwecja 509 506 512 Wietnam Austria 505 507 Irlandia 503 Słowenia 504 501 Słowacja 498 502 Norwegia 495 497 500 Luksemburg 493 496 490 Wielka Brytania 499 Węgry Hiszpania 485 492 494 Łotwa 483 491 USA Rosja 468 Portugalia 466 Litwa 486 489 Włochy 487 Grecja 445 480 Serbia 437 Azerbejdżan 476 Turcja 423 482 Urugwaj 422 474 Tajlandia 417 Chorwacja 467 481 Meksyk 385 477 479 Indonezja 360 462 478 Tunezja 359 459 Brazylia 356 Izrael 442 460 471 435 Dubai (UAE) 453 427 447 424 449 448 Rumunia 415 431 Bułgaria 413 428 439 Chile 411 434 406 Kazachstan 432 Czarnogóra 399 421 391 419 Jordania 384 Malezja 420 Argentyna 381 Trinidad i Tobago 414 Kolumbia 370 405 410 403 365 388 Kostaryka 407 Katar 318 387 Albania 394 Kirgistan 311 386 389 377 371 376 368 Peru 375 Panama 331 2003 – 41 krajów 2006 – 57 krajów 2009 – 65 krajów 2012 – 64 kraje

Pozycja Polski na skali matematycznej - świat 2003 2006 2009  2012 Kraj lub region Średni wynik Hongkong (Chiny) 550 Tajwan 549 Szanghaj (Chiny) 600 613 Finlandia 544 548 Singapur 562 573 Korea 542 547 555 561 Holandia 538 546 560 Liechtenstein 536 531 543 554 Japonia 534 Szwajcaria 530 541 Macao (Chiny) Kanada 532 527 Belgia 529 525 535 523 Australia 524 Nowa Zelandia 522 526 Estonia 521 520 519 Czechy 516 518 Islandia 515 Polska Dania 514 513 Francja 511 510 Niemcy Szwecja 509 506 512 Wietnam Austria 505 507 Irlandia 503 Słowenia 504 501 Słowacja 498 502 Norwegia 495 497 500 Luksemburg 493 496 490 Wielka Brytania 499 Węgry Hiszpania 485 492 494 Łotwa 483 491 USA

Pozycja Polski na skali matematycznej – UE 2003 2006 2009 2012 Kraj Unii Europejskiej Średni wynik Finlandia 544 548 541 Holandia 523 538 531 526 Estonia 521 Belgia 529 520 515 519 Czechy 516 Niemcy 513 Polska 518 Dania 514 512 Francja 511 510 503 Szwecja 509 Austria 505 Słowenia 501 506 504 497 Irlandia Słowacja 502 496 500 498 495 499 Norwegia 494 Luksemburg 493 Wielka Brytania 490 492 Łotwa 491 Węgry Hiszpania 485 489 Portugalia 487 483 466 Litwa 486 Włochy 482 Grecja 445 480 479 Chorwacja 467 478 477 462 471 459 460 453 Rumunia 415 Bułgaria 428 413 427 439 23 p.

Poziomy umiejętności matematycznych 358 420 482 545 605 668 < 1 1 2 3 4 5 6 6,8% 3,3% 5,0% 2,3% 20,5% 14,4% 16,7% 10,4%

Odsetek uczniów na poziomie 1 i poniżej w UE 2012 14,4% 2009 20,5%

Odsetek uczniów na poziomach 5 i 6 w UE 16,7% 2012 2009 10,4%

Postęp w zadaniach wiążących 2003-2012 Przewaga Polski 2012 Przewaga OECD 2003 Przewaga Polski Przewaga OECD

Rozumowanie – główna słabość z 2003 r.

Matematyka – podsumowanie Polscy uczniowie uzyskali największą poprawę wyniku w latach 2003- 2012 wśród krajów europejskich. Ta zmiana zaszła przede wszystkim pomiędzy rokiem 2009 a 2012. Wraz z uczniami z Holandii, Estonii i Finlandii polscy 15-latkowie znaleźli się w grupie najlepszych w Unii Europejskiej. Polscy uczniowie poprawili swoje wyniki w zadaniach wymagających umiejętności złożonych: rozumowania i argumentacji oraz tworzenia strategii rozwiązania. Poprawa ta dotyczy zarówno uczniów o najwyższych, jak i o najniższych umiejętnościach matematycznych. Odsetek polskich uczniów na najniższych poziomach umiejętności zmniejszył się z 20,5% w 2009 roku do 14,4% w 2012 roku. Odsetek uczniów na poziomach najwyższych wzrósł z 10,4% w 2009 roku do 16,7% w 2012 roku. W żadnym innym kraju na świecie wzrost ten nie był tak duży.

Rozumowanie w naukach przyrodniczych (scientific literacy)

Rozumowanie w naukach przyrodniczych Obejmuje trzy składowe: rozpoznawanie zagadnień naukowych wyjaśnianie zjawisk przyrodniczych w sposób naukowy interpretację oraz wykorzystanie wyników i dowodów naukowych Badane od 2000 r., ale główna dziedzina pomiaru dopiero w 2006 r. W 2006 r. wykorzystano 103 zadania, 53 z nich powtórzyły się w badaniach w latach 2009 i 2012

PISA a podstawa programowa Wśród zadań wykorzystywanych w latach 2006, 2009 i 2012: 25 sprawdzało wiadomości i umiejętności z biologii po 6 z fizyki, chemii i geografii 11 dotyczyło ogólnych zasad metody naukowej 2 dotyczyły techniki Najważniejsze elementy rozumowania naukowego pojawiają się w kształceniu powszechnym w podstawie programowej przyrody (klasy IV-VI szkoły podstawowej) i biologii (gimnazjum).

Wyniki dla wszystkich krajów

Wyniki dla krajów Unii Europejskiej

Polska i OECD Polska Od pierwszego badania w 2000 r. Polska sukcesywnie poprawia swoje wyniki względem krajów OECD Uwaga: wyniki z lat 2000-2003 nie są w pełni porównywalne z tymi z lat 2060-2012 z uwagi na odrębne skalowanie OECD

Poprawa wyników wszystkich uczniów Od 2006 r. sukcesywnie spada odsetek uczniów poniżej poziomu 3., a wzrasta na poziomie 3. i wyższych Brak statystycznie istotnej różnicy między wynikami dziewcząt i chłopców

Odsetki uczniów najsłabszych i najlepszych w krajach UE Polska ma niski odsetek uczniów zagrożonych wykluczeniem (spadek z 17,0% w 2006 roku do 9,0% w roku 2012). Wzrósł odsetek uczniów na najwyższych poziomach umiejętności (z 6,8% w 2006 roku do 10,8% w 2012 roku).

Zadania – poprawa wyników W 2012 r. polscy uczniowie poprawili swoje wyniki w rozwiązywaniu 46 zadań z 53 użytych w badaniu Wyjaśnianie

Zadania – wyniki dla Polski i OECD W porównaniu ze średnią dla krajów OECD, polscy uczniowie rozwiązywali lepiej 41 zadań Przewaga Polski Przewaga OECD Wyjaśnianie Rozpoznawanie Interpretacja

Wyniki a zmiany statusu społeczno-ekonomicznego Nawet po uwzględnieniu statusu społeczno-ekonomicznego wzrost wyników polskich uczniów należy do najwyższych na świecie. Zaszedł on przede wszystkim w latach 2009-2012

Rozumowanie w naukach przyrodniczych - podsumowanie Polscy uczniowie osiągnęli wynik 526 p. (wzrost o 28 p.) a Polska awansowała do czołówki w badaniu PISA. Polska ma niski odsetek uczniów zagrożonych wykluczeniem (spadek z 17,0% w 2006 roku do 9,0% w roku 2012). Wzrasta odsetek uczniów na najwyższych poziomach umiejętności (z 6,8% w 2006 roku do 10,8% w 2012 roku). Nie stwierdzono statystycznie istotnej różnicy między wynikami dziewcząt i chłopców. Uczniowie lepiej rozwiązywali zadania odnoszące się do wszystkich przedmiotów przyrodniczych i głównych składowych rozumowania w naukach przyrodniczych.

Czytanie i interpretacja (reading literacy)

Czytanie i interpretacja Aktywne nastawienie do tekstu Samodzielność w odbiorze tekstu Umiejętność zinterpretowania tekstu Wyszukiwanie informacji: 9 zadań Interpretacja tekstu: 24 zadania Refleksja i ocena: 10 zadań W tym 16 zadań otwartych

Różnica Polska - OECD

PISA a podstawa programowa Do najważniejszych umiejętności zdobywanych przez ucznia w trakcie kształcenia ogólnego na III i IV etapie edukacyjnym należą: czytanie – umiejętność rozumienia, wykorzystywania i refleksyjnego przetwarzania tekstów, w tym tekstów kultury, prowadząca do osiągnięcia własnych celów, rozwoju osobowego oraz aktywnego uczestnictwa w życiu społeczeństwa; Preambuła do podstawy programowej kształcenia ogólnego

Wyniki dla wszystkich krajów

Wyniki dla krajów Unii Europejskiej Białe tło oznacza kraje, których wynik nie był istotnie różny od przeciętnego w krajach OECD, jasnym kolorem wyróżniono kraje o wynikach lepszych, a ciemnym – gorszych od średniego wyniku.

Odsetki uczniów na poszczególnych poziomach umiejętności w Polsce w kolejnych latach badania

Odsetek uczniów na poziomie 1 i poniżej w UE Unia Europejska uznała spadek odsetka uczniów zagrożonych wykluczeniem do wartości poniżej 15% za priorytet edukacyjny. Rok 2000: 23,2% Rok 2003: 16,8% Rok 2006: 16,2% Rok 2009: 15,0% Rok 2012: 10,6%

Odsetek uczniów na poziomach 5 i 6 w UE Rok 2000: 5,9% Rok 2003: 8,0% Rok 2006: 11,6% Rok 2009: 7,2% Rok 2012: 10,0 %

Odsetek chłopców i dziewcząt osiągających wyniki na poziomach 1 i poniżej w czytaniu i interpretacji 2000: dziewczęta 497 pkt, chłopcy 461 2012: dziewczęta 539 pkt, chłopcy 497 pkt Różnica 2000: 36 pkt 2012: 42 pkt

Różnice między dziewczętami a chłopcami Średni wynik OECD 2012 Dziewczęta: 515 pkt (w Polsce 539pkt) Chłopcy: 478 pkt (w Polsce 497 pkt) Średnia różnica między dziewczętami a chłopcami w OECD: 38 pkt (w Polsce 42 pkt)

Różnice między dziewczętami a chłopcami w czytaniu i interpretacji w odniesieniu do średniego wyniku uczniów w krajach biorących udział w badaniu w roku 2012

Podsumowanie W badaniu umiejętności czytania i interpretacji (reading literacy) uczniowie polscy znaleźli się wśród najlepszych w UE. Średni wynik z czytania polskich uczniów poprawił się o 18 punktów. Znacznie zmniejszył się odsetek uczniów mających bardzo niski poziom umiejętności, czyli zagrożonych wykluczeniem społecznym: w zakresie czytania w 2012 r. wyniósł 10,6% (w 2009 r. – 15%). Wzrosła grupa uczniów o najlepszych wynikach. W czytaniu do 10,2% (w 2009 r. – 7,2%). Polscy uczniowie radzą sobie z wyszukiwaniem informacji, refleksją i oceną, natomiast więcej problemów mają z interpretacją tekstów.

Przemiany w polskiej oświacie w świetle międzynarodowych badań PISA 1999-2012

Zmiany w wynikach PISA 2000-2012 Czytanie i interpretacja Matematyka Nauki przyrodnicze

Logika przemian polskiej edukacji Stopniowa zmiana sposobu nauczania – rozumowanie, argumentacja zmiana sposobu nauczania 2008 – Przygotowanie nowej podstawy programowej; przygotowanie założeń do nowego nadzoru pedagogicznego Marzec 2009 – badanie PISA Wrzesień 2009 – Nowa podstawa programowa zaczyna wchodzić do szkół, rok po roku; zaczyna obowiązywać nowa ewaluacja pracy szkół Maj 2010 – Wdrożenie obowiązkowej matury z matematyki Wrzesień 2010 – Nowy informator egzaminacyjny (z udziałem IBE) Wrzesień 2011 – Przykładowy zestaw zadań egzaminacyjnych (z udziałem IBE) Grudzień 2011 – Diagnoza IBE kompetencji gimnazjalistów Marzec 2012 – badanie PISA Kwiecień 2012 – Nowy egzamin gimnazjalny Maj 2015 – nowa formuła matury (ten sam rocznik)

Nowa formuła egzaminów zewnętrznych   Sprawdzian Egz. gimnazjalny Egz. maturalny trzy filary wiedzy: język polski matematyka język obcy ponadto: kontekst przyrodniczy i historyczny: w zadaniach z języka polskiego i matematyki; język jako narzędzie poznawania świata  pozostałe obszary: historia i wos przedmioty przyrodnicze głęboka specjalizacja: wos, historia fizyka, chemia geografia, biologia oraz pozostałe przedmioty dla których w podstawie programowej określony został rozszerzony zakres kształcenia

Mapa kompetencji społecznych XXI wieku Przygotowane przez amerykańskie organizacje, Partnerstwo na rzecz Umiejętności XXI Wieku i Narodową Radę ds. Studiów Społecznych krytyczne myślenie i rozwiązywanie problemów, kreatywność i innowacyjność, komunikowanie, współpraca w ramach grupy/społeczności, alfabetyzm informacyjny (umiejętność wyszukiwania, analizowania i zarządzania informacją), alfabetyzm medialny (umiejętność korzystania z cyfrowych mediów), sprawność posługiwania się narzędziami technologii informacyjno-komunikacyjnej (czyli ICT), elastyczność i adaptacyjność (umiejętność dostosowywania się do zmieniających się warunków), inicjatywa i samodecydowanie o swoim życiu, umiejętność funkcjonowania w zróżnicowanym i wielokulturowym środowisku, produktywność, umiejętności liderskie i odpowiedzialność.

EU Member States’ Innovation Performance Source: Innovation Union Scoreboard

PISA i przemiany polskiej edukacji 2000 – uczniowie szkół ponadpodstawowych, absolwenci 8-letniej podstawówki Polska poniżej średniej OECD 2003 r. - drugi rocznik uczniów kończących gimnazjum Polska na poziomie średniej OECD 2006 r. i 2009 r. 2012 – pierwszy rocznik, który w gimnazjum uczył się według nowej podstawy programowej kształcenia ogólnego. Polska powyżej średniej OECD