Data

Následující text krátce představuje proces sběru a zpracování dat v šetření PIAAC a uvádí odkazy na datové zdroje a technickou dokumentaci. Nástroje a metodické postupy využívané při šetření jsou připraveny skupinou mezinárodních výzkumných institucí, které koordinují sběr dat v zúčastněných zemích a dohlíží nad dodržováním společných standardů kvality. Úloha těchto institucí je níže stručně nastíněna.

Proces vývoje nástrojů dotazování

Mezinárodní výzkum dospělých (PIAAC) je koncipován tak, aby umožňoval srovnání všech zúčastněných zemí. Na vývoji jak úloh, tak dotazníku se na základě analytických záměrů šetření PIAAC podílí odborné skupiny složené z představitelů předních světových výzkumných institucí: GESIS (Leibniz Institute for the Social Sciences), ROA (the Research Centre for Education and the Labour Market) a ETS (Educational Testing Service). Zúčastněné země mají možnost předkládat v počátečních fázích své podněty a později úlohy a dotazník připomínkovat.

V rámci kognitivních úloh není mezi zúčastněnými zeměmi možná žádná obsahová odchylka, naproti tomu v dotaznících je v omezených a odůvodněných případech dovoleno adaptovat varianty odpovědí s cílem přizpůsobit je národnímu prostředí. Všechny tyto adaptace však musí zachovávat jednotnou mezinárodní strukturu variant odpovědí, aby bylo možné adaptace převést do společného schématu (které je poté aplikováno ve výsledných datových souborech). Je tak možné např. vypustit nerelevantní možnost odpovědi nebo do otázky na rodný jazyk zařadit ty nejtypičtější v dané zemi. Nejvýraznější adaptace země provádějí v otázkách k dosaženému stupni vzdělání. Každá země si stanovuje vlastní kategorie odpovídající místnímu vzdělávacímu systému, avšak tyto kategorie musí odpovídat mezinárodní klasifikaci ISCED. Jednotlivé státy si také v dotaznících mohou přidat omezené množství dílčích otázek, které jsou podstatné pro národní kontext.

Výsledné schválené verze úloh a dotazníků v anglickém jazyce jsou předány národním realizačním týmům, které zajistí jejich překlad. Proces překladu probíhá dle mezinárodně stanovené metodiky s vysokými nároky na přesnost překladů a pod mezinárodním dohledem (společnost cApStAn), včetně několika kol verifikací a úprav prvotních překladů. U překladu kognitivních textů jsou nastaveny postupy a kontroly směřující k zachování psychometrických vlastností úloh v překladech ve srovnání se zdrojem.

Sběr dat a zpracování dat

Sběr dat se ve výzkumu PIAAC řídí společnými standardy, aby srovnatelnost dat napříč zeměmi byla založena nejen na společných nástrojích sběru dat, ale také na společných způsobech jejich administrace. Tyto standardy vycházejí ze současné nejlepší praxe sběru dat v akademických a administrativních výběrových šetřeních. Zúčastněné země se zavazují tyto standardy dodržovat a jejich naplňování průběžně při realizaci dokládají. Standardy k prvnímu cyklu výzkumu PIAAC jsou níže dostupné ke stažení (kromě zásad, postupů a doporučení pro sběr obsahuje dokument také obecné informace o výzkumu PIAAC, jeho cílech a metodologii).

Výběrový soubor respondentů, kteří jsou osloveni k účasti, je sestaven pomocí metod náhodného výběru. Mezi jednotlivými zeměmi se liší konkrétní typ využitého náhodného výběru vzhledem k různosti dostupných opor a možností, avšak plná náhodnost výběru je základní podmínkou. Zúčastněné země sestavují své výběrové designy za konzultací statistické společnosti Westat, která následně dohlíží nad realizací výběrového postupu.

Dotazník je vyplňován prostřednictvím osobního rozhovoru tazatele s respondentem, kognitivní testy vyplňuje respondent samostatně na přenosném počítači. K dotazování se využívá jednotná počítačová aplikace vyvinutá společností ETS. Průběh sběru dat je za asistence společnosti Westat po celou dobu monitorován, aby bylo dosaženo žádoucí návratnosti v podskupinách a zajištěno dodržování předepsaných postupů práce tazatelů.

Zúčastněné země mají při zpracování dat na starosti zakódování otevřených odpovědí do mezinárodních klasifikací (zejména povolání do ISCO-08, odvětví průmyslu do ISCED, dále například rodný jazyk respondenta či země narození) a základní přípravu a kontrolu databáze získaných údajů. Další kontrola a zpracování databáze probíhá v asociaci IEA (International Association for the Evaluation of Educational Achievement), následně jsou v ETS zkonstruovány výsledné skóry v testovaných doménách a výpočet vah zajišťuje Westat.

Datové soubory

OECD umožňuje volně využívat datové soubory z prvního cyklu výzkumu PIAAC. Na webu OECD jsou datové soubory za jednotlivé zúčastněné země volně ke stažení, včetně souboru za Českou republiku. Soubory zahrnují proměnné z dotazníku včetně odvozených proměnných, vyhodnocené odpovědi na jednotlivé kognitivní úlohy, celkové skóry dosažené ve třech testovaných doménách (čtenářská gramotnost, numerická gramotnost, řešení problémů), váhy i paradata (např. časové značky). Kromě dat z dotazníků a úloh jsou k dispozici další pomocné soubory a nástroje: číselníky (přehled proměnných a jejich hodnot), tabelace proměnných či scripty pro práci s daty.

Dokumentace

Metodické postupy sběru dat, průběh terénních prací i výsledná data jsou zdokumentovány ve dvou typech materiálů. Prvním z nich je velmi podrobná technická zpráva Technical Report of the Survey of Adult Skills (PIAAC), která je dostupná pouze v anglickém jazyce. Finální verze byla vydána v roce 2019, v letech 2013 a 2016 byly publikovány dvě předběžné zprávy. V dokumentech ke stažení níže je uveden odkaz na nejnovější verzi zprávy, ostatní lze stáhnout na webu OECD.

Druhým typem technické dokumentace jsou tzv. průvodce (Reader’s Companion), které tvoří vždy přílohu mezinárodní závěrečné zprávy prezentující výsledky výzkumu PIAAC (na tomto webu jsou zprávy dostupné v sekci Publikace). Závěrečné zprávy byly vydány postupně ve třech edicích v letech 2013, 2016 a 2019, tedy po ukončení dané vlny sběru dat v rámci prvního cyklu. Do novějších edic byly doplněny výsledky za země účastnící se dalších kol. Edice z roku 2016 tak obsahuje vyhodnocení zemí zapojených v první a druhé vlně, edice z roku 2019 již zemí zapojených v první až třetí vlně, tedy ze všech zemí prvního cyklu. První edice průvodce z roku 2013 byla rovněž přeložena do češtiny pod názvem Výzkum dovedností dospělých PIAAC: Průvodce výzkumem (níže ke stažení).