Odwiedziło nas
1273463 gości

   





EWD

 

 

Co to jest EWD?
Czym jest metoda edukacyjnej wartości dodanej (EWD)?

Chcielibyśmy, by każda szkoła bardzo dobrze uczyła, by to, do której szkoły uczęszcza uczeń, nie wyznaczało jego szans na dobre wykształcenie. To stan idealny, do którego warto dążyć, ale w rzeczywistości szkoły znacząco różnią się wynikami nauczania. Dobitnie ujawniają to wyniki krajowych egzaminów. Jednolite testy pozwalają spojrzeć nauczycielom, uczniom, rodzicom oraz samorządom na wyniki nauczania w szerokiej perspektywie. Porównywalność wyników w skali całej Polski umożliwia przyjrzenie się osiągnięciom szkolnym z punktu widzenia kraju, województwa czy gminy. Jednak obraz nauczania szkolnego widziany tylko przez pryzmat wyników końcowych nauczania jest dalece niepełny. Czy wyniki egzaminów końcowych są wystarczającą miarą tego, jak dobrze uczy dana szkoła? Czy rankingi szkół ze względu na średni wyniki egzaminacyjny mają sens? Zdecydowanie nie. Równie ważny, a nawet ważniejszy jest postęp, jaki robią uczniowie przez kilka lat nauki w danej placówce.

Wyniki egzaminacyjne uczniów zależą od wielu czynników niezależnych od szkoły, takich jak uprzednie osiągnięcia uczniów, materialne i kulturowe zasoby rodzinne czy genetycznie uwarunkowane zdolności. Jeżeli tak, to wyniki egzaminacyjne mogą być w wielu wypadkach wysoce zawodnymi wskaźnikami tego, czy dana szkoła dobrze naucza. Znacznie lepszym wskaźnikiem efektywności nauczania będą miary postępu poczynionego przez uczniów podczas nauki w danej szkole. Postęp ten w sposób poprawny statystycznie pozwala wyznacza metoda edukacyjnej wartości dodanej. Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. by można je zastosować, potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie. Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów (sprawdzian w klasie VI szkoły podstawowej jako miara na wejściu, egzamin gimnazjalny jako miara na wyjściu) oraz szkół maturalnych (egzamin gimnazjalny jako miara na wejściu, egzamin maturalny jako miara na wyjściu).

Metoda EWD nie „dodaje wartości” wynikom testów egzaminacyjnych. Najbardziej wyrafinowane analizy nie zmienią faktu, że im rzetelniejsze i bardziej trafne testy, tym miary EWD zbudowane na ich wynikach są lepsze.

Do czego może służyć metoda EWD?

Przeprowadzane w sposób jednolity w skali kraju egzaminy szkolne pełnią wiele funkcji. Trzy najważniejsze to: wyznaczanie stopnia spełniania przez uczniów wymagań programowych, ewaluacja pracy szkół oraz monitorowanie procesów edukacyjnych. Metoda edukacyjnej wartości dodanej jest ważnym instrumentem statystycznym wykorzystywania wyników egzaminacyjnych do ewaluacji pracy szkół.

Metoda edukacyjnej wartości dodanej może służyć przede wszystkim szkołom. To dyrektorzy i nauczyciele mogą dzięki właściwej analizie wyników egzaminacyjnych zobaczyć mocne i słabe strony nauczania w swojej placówce. Wnikliwe przyjrzenie się rezultatom testów egzaminacyjnych dostarcza ważnych przesłanek do formułowania planów rozwoju szkoły, pozwala ocenić skuteczność już podjętych działań. Ewaluacja prowadzona przez samą szkołę w celu poprawy swojego funkcjonowania to najważniejszy obszar wykorzystania wyników egzaminacyjnych, a tym samym i metody edukacyjnej wartości dodanej. Beneficjentami skutecznej autoewaluacji stają się uczniowie, którzy mają szansę uczyć się w skuteczniej nauczających szkołach. Wiele szkół gimnazjalnych jest już zaawansowanymi użytkownikami metody edukacyjnej wartości dodanej, co roku korzysta z prostej aplikacji komputerowej Kalkulator EWD dostępnej na stronie projektu.

Metoda edukacyjnej wartości dodanej może być wykorzystywana przez nadzór pedagogiczny. Porównywalne wyniki egzaminów mogą być wykorzystywane w ewaluacji zewnętrznej szkół i do typowania szkół wymagających wsparcia oraz szkół mogących być kopalnią dobrych praktyk. Użycie metody edukacyjnej wartości dodanej umożliwia skupienie uwagi na tym, co w nauczaniu najważniejsze, czyli na postępach uczniów w danym cyklu nauczania. Już od 2009 roku dostępne są on-line wieloletnie wskaźniki egzaminacyjne dla około 6 tysięcy gimnazjów, a od 2010 roku dla ponad 3 tysięcy liceów ogólnokształcących i techników.

Kolejnym potencjalnym użytkownikiem metody edukacyjnej wartości dodanej są samorządy. Bez wchodzenia w kompetencje nadzoru pedagogicznego mogą one monitorować efektywność nauczania w szkołach na swoim terenie.

W końcu metoda edukacyjnej wartości dodanej dostarcza wskaźników, które mogą być przydatne dla rodziców i uczniów przy wyborze szkoły. Które liceum w moim mieście ma nie tylko najwyższe wyniki maturalne, ale daje również daje duże szanse na postęp? To ważne pytania dla absolwenta gimnazjum i jego rodziców. Czytelna, graficzna postać wskaźników egzaminacyjnych prezentowanych na stronie projektu pozwala nawet laikowi szybko zorientować się, która z rozpatrywanych szkół skuteczniej naucza. Oczywiście dla rodziców i uczniów wyniki egzaminacyjne powinny być tylko jedną z przesłanek wyboru szkoły, być może nie najważniejszą.

Funkcja ewaluacyjna egzaminów krajowych to jego racja bytu w systemie oświaty. Metoda EWD to jeden z instrumentów, który może być używane przy analizie wyników egzaminacyjnych w procesie ewaluacji szkół.

 

 

Jak obliczano wskaźniki
Jak szacujemy EWD?

Gdyby wszystkie szkoły w Polsce pracowały z uczniami o tym samym poziomie uprzednich osiągnięć szkolnych, wyniki egzaminu końcowego byłyby dobrą miarą efektywności. Ale tak nie jest. Metoda EWD pozwala uwzględnić zróżnicowanie szkół ze względu na zasoby „na wejściu”. W wypadku gimnazjów najlepszą, dostępną miarą zasobów na wejściu są wyniki uczniów na sprawdzianie w klasie VI. Rezultaty tego testu mówią nie tylko o poziomie osiągnięć szkolnych ucznia na progu gimnazjum, ale są też „nośnikiem” informacji o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki sprawdzianu są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu gimnazjalnego.

Wskaźnik EWD dla szkoły mówi o tym, na ile wysokie/niskie wyniki egzaminu końcowego uzyskali jego absolwenci w porównaniu do uczniów w w całej Polsce o analogicznych wynikach na sprawdzianie. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.

Statystyczną ideę szacowania wskaźników EWD dobrze ilustrują dwa poniższe wykresy.

To tak zwane wykresy rozrzutu. na obu widzimy zależność statystyczną między wynikiem na sprawdzianie w klasie VI szkoły podstawowej (oś pozioma) a wynikami egzaminu gimnazjalnego trzy lata później (oś pionowa). Dla przykładu wybrano wykresy pokazujące zależność dla sprawdzianu w 2003 roku i egzaminu gimnazjalnego w części matematyczno-przyrodniczej trzy lata później, czyli w 2006 roku.

Małe punkciki to graficznie przedstawione wyniki ponad 400 tysięcy gimnazjalistów zdających w 2006 roku egzamin. Linia (zwana linią regresji) pokazuje zależność statystyczną między wynikami na sprawdzanie i egzaminie gimnazjalnym w skali całego kraju. na tak sporządzone wykresy naniesiono dodatkowe, kolorowe punkty symbolizujące wyniki dla dwóch wybranych do analizy szkół. Najpierw skupmy uwagę na wykresie po lewej stronie. Punkty czerwone, to wyniki uczniów w szkole A, punkty zielone to wyniki w szkole B. Która szkoła lepiej naucza? Gdybyśmy skupili uwagę tylko na wynikach końcowych, bez wahania powiedzielibyśmy, że szkoła B. Średnia arytmetyczna wyników egzaminu gimnazjalnego w tej szkole to około 36 punktów, średnia w szkole a to raptem 22 punkty. Ale zwróćmy uwagę, że szkoła B pracowała z uczniami o bardzo wysokich wynikach na sprawdzianie, szkoła a miała uczniów o znacznie niższym poziomie uprzednich osiągnięć. Jak to wziąć pod uwagę w ocenie pracy szkoły? Wystarczy odnieść wyniki na egzaminie gimnazjalnym do średnich rezultatów uzyskiwanych w kraju przez uczniów o danej liczbie punktów na sprawdzianie trzy lata wcześniej. Te punkty odniesienia wskazuje linia regresji. Zobaczmy, że zarówno wyniki szkoły A, jak i szkoły B lokują się powyżej tej linii. Oznacza to, że obie uczą bardziej efektywnie, niż przeciętne gimnazjum w kraju, uczniowie mają w obu szkołach szansę na ten sam postęp. Choć pod względem wyników końcowych szkoły dzieliła przepaść, to pod innym ważnym – a z punktu widzenia ewaluacji szkoły ważniejszym – względem są takie same. w obu notujemy dodatnią edukacyjną wartość dodaną.

Przenieśmy uwagę na wykres po prawej stronie. na nim naniesiono wyniki dwóch innych szkół, na czerwono gimnazjum C, na zielono gimnazjum D. i znów ze względu na wyniki końcowe, jedna szkoła (C) jest wyraźnie gorsza od drugiej (D). Ale analiza EWD wskazuje, że to szkoła C (czerwone kropki) efektywniej naucza. Wyniki uczniów w tej szkole lokują się powyżej linii statystycznie przewidywanego wyniku. Natomiast wyniki w szkole D są poniżej tej linii, co oznacza efektywność nauczania poniżej przeciętnej dla kraju (mówimy wtedy o ujemnym EWD).

W praktyce wskaźniki EWD dla szkół szacuje się w trochę bardziej złożony sposób, ale ogólny idea pozostaje bez zmian.
Dlaczego wskaźniki trzyletnie?

W szacowaniu wskaźników wykorzystujemy wyniki z trzech kolejnych lat. Dlatego mówimy o wskaźnikach trzyletnich. Sposób liczenia trzyletnich wskaźników dobrze pokazuje poniższy wykres.

Co roku odrzucane są dane z najstarszego uprzednio uwzględnionego rocznika, a dodawane są wyniki aktualne.

Obliczanie trzyletnich wskaźników uzasadnione jest z kilku powodów. Najważniejszy to fakt, że wyniki egzaminacyjne obarczone są niepewnością pomiarową. Im większą pulą danych dysponujemy, tym mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Używając wyników z trzech kolejnych lat, zyskujemy trzy razy więcej danych, a duża ilość informacji oznacza większą precyzję szacowania. Ewaluacja szkoły nie jest dzięki temu uzależniona od chwilowych zmian, jednorazowych „statystycznych kaprysów” zwiększających lub zmniejszających wartość wskaźników.

Jednak wskaźniki trzyletnie mają też swoją wadę – są mniej wrażliwe na realne zmiany dokonujące się w krótkim czasie. Dlatego szkoła nie powinna poprzestawać na analizie wskaźników wieloletnich i w ramach analiz wewnątrzszkolnych powinna obliczać za pomocą Kalkulatora EWD miary jednoroczne.

Jakie dane wykorzystywane są do szacowania wskaźników?

Do szacowania wskaźników wykorzystujemy wyniki testów egzaminacyjnych w wersji standardowej dla uczniów zdających w terminie głównym. do 2011 roku w analizach nie uwzględniano wyników uczniów drugorocznych. Od trzylatki 2010-2012 do szacowania EWD używa się również wyników uczniów o przedłużonym o rok cyklu kształcenia. Włączenie tych uczniów jest możliwe ponieważ opracowano specjalny sposób szacowania EWD uwzględniający specyfikę tej kategorii uczniów.

Na jakiej skali prezentowane są wyniki?

Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musimy więc je sprowadzić do porównywalnej postaci.

W pierwszej fazie wyniki każdej edycji egzaminu tak przekształcono, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczono na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Zakładany rozkład wyników egzaminacyjnych po normalizacji i standaryzacji wygląda następująco:

Zwróćmy uwagę, że dzięki standaryzacji wyniki można łatwo interpretować ilościowo. Wiadomo, że 100 to zawsze wynik średni w kraju, 115 to wynik przewyższający przeciętną krajową o jedno odchylenie standardowe, dodatkowo wiemy z własności rozkładu normalnego, że wynik wyższy od 115 uzyskało w kraju około 16% zdających. Zastosowana procedura umożliwia wykorzystywanie w ewaluacji szkół wyników z różnych lat.

Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej.

Od trzylatki 2010-2012 wyniki sprawdzianu i egzaminu gimnazjalnego są skalowane za pomocą nowoczesnej techniki pomiarowej IRT. Pozwala to na bardziej efektywne szacowanie poziomu umiejętności uczniów na podstawie surowych wyników egzaminacyjnych. Ta nowa procedura skalowania nie zmienia interpretacji prezentowanych wyników.

Jak odczytywać wykresy?
Dlaczego w ewaluacji szkoły należy uwzględniać zarówno wynik egzaminacyjny jak i wskaźnik EWD?

Wynik egzaminacyjny i wskaźnik EWD to miary komplementarne, łącznie dają pełniejszą informację o szkole. Konsekwencją tego, że uwzględniamy zarówno wynik egzaminacyjny jak i wskaźnik EWD jest sposób pokazywania wyniku szkoły – pozycja szkoły prezentowana jest w układzie współrzędnych. Oś pozioma oznacza średni trzyletni wynik egzaminacyjny szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły.

By uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły prezentowana jest nie jako punkt, a jako obszar w kształcie elipsy. Jak już wspominaliśmy wyniki wszelkich pomiarów, też testów egzaminacyjnych, cechuje niepewność pomiarowa. Lokując gimnazjum na wykresie należy wziąć to pod uwagę. Robimy to wyznaczając dla każdego gimnazjum obszar, w którym z 95% pewnością znajduje się gimnazjum ze względu na dwa interesujące nas wskaźniki: wynik egzaminu i EWD. Rezygnacja z dokładnego (tzw. punktowego) szacowania interesujących nas wartości nie jest wynikiem asekuranctwa, czy „statystycznej bojaźliwości”, jest normalną procedurą statystyczną stosowaną wszędzie tam, gdzie na podstawie wartości szacunkowych musimy formułować odpowiedzialne oceny. Wielkość elipsy, czyli niepewność szacowania wskaźników dla szkoły, zależy przede wszystkim od liczby informacji. Im większą liczbą wyników egzaminacyjnych dysponujemy, tym mniejsza niepewność i mniejsza elipsa.

Opis położenia elipsy (szkoły) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie pięciu punktów odniesienia.

Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność.

Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania.
Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności.
Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania.
Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.

Powyższe punkty odniesienia opatrzone umownymi nazwami mają pomóc w interpretacji, a nie kategoryzacji szkół. Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach egzaminacyjnych. w tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio.

Jak odczytywać wykresy?

By ułatwić statystyczną interpretację pozycji gimnazjum, w układzie współrzędnych wyrysowano dwie elipsy. Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% gimnazjów. Środkiem symetrii tych elips jest punkt (100;0).

Przykład 1.
Gimnazjum A. Część matematyczno-przyrodnicza

Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną (część matematyczno-przyrodnicza egzaminu). Tak będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi (100;0). Jeżeli obszar ufności (zielona elipsa) zawiera punkt (100;0), mamy do czynienia z tego typu szkołą. Szkoła neutralna, to placówka statystycznie przeciętna. Chcąc jednak uniknąć określeń „przeciętna, średnia”, proponujemy dla szkół o średniej wyników egzaminacyjnych zbliżonej do średniej krajowej i wskaźniku EWD bliskiemu zero nazwę „szkoła neutralna”. Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej.

Przykład 2.
Gimnazjum B i C. Część matematyczno-przyrodnicza

Co różni Gimnazjum B i C? Wyniki końcowe. Średnie dla tych gimnazjów są na wymiarze wyniku egzaminacyjnego oddalone o około 10 punktów (2/3 odchylenia standardowego). Co natomiast je łączy? Ponadprzeciętna efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak powiedzieć, bo obszary ufności dla obu szkół znajdują się ponad linią poziomą oznaczającą zerową wartość EWD (oś pozioma). Dotychczasowe sposoby analizowania wyników egzaminacyjnych ulokowałyby te szkoły w odległych staninach i nie przyszłoby nam do głowy, że te placówki coś może łączyć. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było przed okiem obserwatora nieuzbrojonego w odpowiednie instrumenty statystyczne ukryte.

Na koniec pragniemy przestrzec użytkowników naszej strony, że dla niektórych gimnazjów mogą pojawić się następujące komunikaty:
Pojawia się wykres, pod wykresem komentarz

W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brakuje ponad 10% danych. Może to być wynikiem problemów z połączeniem wyników gimnazjalnych ze sprawdzianem. w związku z tym wyznaczenie pozycji szkoły na wykresie może być mniej precyzyjne.

Pojawia się wykres, pod wykresem komentarz

W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej dysponujemy tylko wynikami dla 2 lat. w związku z tym wyznaczenie pozycji szkoły na wykresie może być mniej precyzyjne.

Brak wykresu, pojawia się tylko komentarz
W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brak danych dla tego gimnazjum.
Brak wykresu, pojawia się tylko komentarz

W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej dla analizowanego okresu dla tego gimnazjum dysponujemy mniej niż 30 wynikami.

Brak wykresu, pojawia się tylko komentarz

W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brak danych dla tego gimnazjum dla ostatniego roku.

Wyniki naszej szkoły na tle gminy i powiatu Ostrołęka:

 

ZA LATA 2009 - 2011
ZA LATA 2010 - 2012
ZA LATA 2011 - 2013
 
 

12 Grudnia 2017
Imieniny obchodzą:
Adelajda, Aleksander,
Dagmara
Do końca roku szkolnego zostało 191 dni.
©Społeczna Szkoła Podstawowa STO im. ks. Jana Twardowskiego w Ostrołęce 2007 | Na górę