Pojďme projekty vyhodnocovat průběžně, ne až na konci!

Inko, vy o sobě říkáte, že nejste jen „sběratelka dat“, ale spíše „průvodkyně organizací procesem učení“. Jak byste toto své poslání vysvětlila někomu, kdo o evaluaci slyší poprvé?

V některých případech, když třeba mluvím s mládeží, si říkám ohlížečka. Pomáhám lidem ohlížet se za tím, co se jim dosud podařilo, a zároveň se zamyslet, jak by to třeba šlo udělat jinak, aby výsledek přinesl více pozitivních změn a méně těch negativních. Evaluace je komplexnější vyhodnocení, kdy se snažíme vyslyšet různé lidi, kteří jsou zapojení – například u neformálního vzdělávání učitele, žáky, lektory i rodiče –, a informace z různých zdrojů a rozličnými způsoby ověřovat. Ohlížíme se zpátky, ale díváme se i na širší kontext, protože to, co fungovalo v minulosti, už dnes kvůli změnám ve společnosti nemusí fungovat, a proto je potřeba najít jiné cesty.

V neziskovém sektoru se evaluace někdy vnímá jako „nutné zlo“ nebo formalita pro dárce na konci projektu. Proč je podle vás škoda nechat si ji až na úplný závěr?

Protože už se toho tolik nemusíte dozvědět, a hlavně s tím už toho moc nenaděláte. Když máte tříletý projekt a zjistíte na konci, že jste se zaměřili na špatnou cílovou skupinu nebo jste zvolili nevhodnou strategii, vlastně jste tři roky dělali něco, co mělo menší přínos, než kdybyste se včas zamysleli a peníze i lidi využili jinak. Navíc si lidé zpětně věci tolik nepamatují nebo je mají zkreslené. Je dobré zamyslet se nad tím, co chceme vyhodnocovat, hned na začátku projektu, aby se data sbírala průběžně a přispívala ke konkrétním rozhodnutím – třeba úpravě vlastní strategie či navázání strategického partnerství.

Když organizace přemýšlí, co vlastně vyhodnocovat, odkud se má odrazit a jak si vybrat ty „správné“ otázky?

Existují seznamy, jako má OECD DAC, tedy mezinárodní rámec evaluačních kritérií, kde jsou otázky na potřebnost projektu, priority aktérů nebo efektivnost, tedy nakolik se nám podařilo dosáhnout cílů či zda šel projekt udělat levněji. Sledují se i dlouhodobé přínosy a to, nakolik jsou udržitelné i poté, co přestaneme být v projektu aktivně angažovaní. Nejpraktičtější je ale sednout si a říci si v projektovém týmu: Zodpovězení jaké otázky nám fakt nejvíc pomohlo? Co by zajímalo nás, co naše donory a co by třeba přesvědčilo ministerstvo školství, aby naši metodiku doporučilo? Jaké informace by ovlivnily další chod událostí? Můžeme tak dojít k mocným otázkám, které nás nejvíce posunou.

Pokud chceme například posilovat kritické myšlení mládeže, může nám pomoci otázka: „Které skupiny jsou nejvíce náchylné k dezinformacím?“ Když zjistíme, že jsou to spíše studenti nematuritních oborů, můžeme si ověřit, jak byly naše metodiky nápomocné právě pro učitele této skupiny. Jak studentstvo reagovalo? Jaké myšlenky si odnesli? Začali něco dělat jinak? Co?

Mimochodem, já nerada říkám slovo ‚dopady‘, protože mi to zní násilně – raději mluvím o přínosech nebo pozitivních a negativních změnách.

Pomáháte strategickým partnerům Benetheo, jako jsou Skautský institut nebo Post Bellum. Co je pro tyto týmy v praxi největším přínosem toho, že se na svou práci podívají vašima očima?

Ne nutně mýma očima, spíše jde o to, že se zastaví a přemýšlí o tom, jak nejlépe zjistit, jestli jejich program skutečně funguje, pro koho, jak, proč, v jakém kontextu. Spousta organizací dělá věci tak, jak byla vždycky zvyklá – vydávají tiskové zprávy nebo dělají školení. Když se ale zastaví, mohou si říct: Co nám to vlastně přineslo? Je tisková zpráva ta správná cesta, jak se dostat do médií? Jaké máme alternativy? U Skautského institutu například hledáme nejlepší způsob, jak podpořit mladé lidi, aby se angažovali v místní komunitě, u Post Bellum zase, jak podpořit učitele, aby jejich výuka byla jiná než klasický dějepis nebo občanská výchova. Diskutovali jsme třeba, že pokud chceme proměnit postoje žáků, že něco mohou změnit, musíme začít nejdříve u učitelů a jejich postojů. Jaké bychom si tedy přáli ideální učitele? To byla jedna z otázek, kterou jsme si kladli ještě před začátkem programu, než jsme začali vymýšlet evaluační metodiku.

Často využíváte metody, které pracují s příběhy lidí – například „Metodu nejvýznamnější změny“. Jak může jeden konkrétní lidský příběh pomoci organizaci pochopit, jestli funguje správně?

Ty příběhy sbíráme metodicky a různorodě. Unikum příběhu je v tom, že detailně vysvětlí, co se dělo, proč a v jakém kontextu, jak změna fungovala, nebo i jak nefungovala. Každý si tak lépe představí, o čem projekt či program je. Například v Indii se zjistilo v rámci svépomocných skupin, že když si ženy začaly samy vydělávat, vedlo to v konkrétních případech k nárůstu násilí v rodinách, protože muži to neunesli. To vám statistika o počtu proškolených neřekne. Z příběhů pak můžeme mapovat nejčastější faktory úspěchu a neúspěchu – třeba že zapojení mužů a komunitních lídrů je zásadní.

Jak může evaluace pomoci týmu v situaci, kdy se projekt nevyvíjí podle plánu a je potřeba rychle změnit směr?

To je přesně ono. Ideální je sednout si s lidmi v týmu a zmapovat to z různých pohledů, případně se zeptat externích organizací a dalších lidí v oboru na zpětnou vazbu. Evaluace pomáhá analyzovat minulost, ale i kontext a potenciální kroky dál – to, co fungovalo před pěti lety, dnes nemusí fungovat, protože učitelé jsou více přetížení nebo se změnila legislativa. Pomáhá organizaci reagovat včas a nejet dál v něčem, co už nesedí.

Jak tedy zajistit, aby výsledky evaluace neskončily „v šuplíku“, ale staly se živou součástí každodenního rozhodování?

V první řadě by to neměly být moje výsledky, ale zjištění celého týmu. Závěry a doporučení by měla vytvořit organizace a lidé zapojení do projektu společně. Když za konkrétními rozhodnutími lidé stojí a vědí, proč je společně učinili, je větší šance, že je budou realizovat. Ideální je, když je evaluace zapracovaná do projektu od začátku tak, že si jí lidé ani nevšímají – třeba formou pravidelných setkání, kde si učitelé říkají, co jim ve výuce fungovalo a co ne, co tedy zkusí příště. Obdobná reflexe může proběhnout i u žactva, tedy co si z konkrétní hodiny odnáší, jaké otázky si kladou nebo do jakých aktivit by se chtěli sami pustit a podobně. Pak se tomu ani nemusí říkat evaluace, aby si to někdo nepletl s auditem. Je to vlastně průběžné učení se, které může ušetřit čas i peníze.

Mluvíte o vytváření „bezpečného prostoru“ pro diskusi. Jak v praxi docílíte toho, aby se lidé v týmu nebáli mluvit otevřeně i o neúspěších?

Snažím se nejdříve zjistit dynamiku a vztahy v týmu. Pokud je tam nějaký konflikt nebo hodně dominantní osoba, mluvím s nimi nejdříve individuálně. Pak připravím hlavní zjištění anonymně, bez jmenování, abychom je mohli reflektovat jako tým. Ptám se lidí, co by jim pomohlo cítit se bezpečně – někdy pomůže absence zápisu, jindy to, že se sejdeme v příjemném prostředí a bavíme se nejdříve neformálně, než otevřeme náročnou diskusi.

Také se snažím vytvářet prostor, kdy se o zjištění z evaluace mohou bavit ti mocní, například zástupci ambasády či programu, i ti bezmocní, tedy například znevýhodněné ženy či osoby s postižením. Již předem informuji o možnosti se zapojit, hledám vhodné místo přijatelné pro všechny strany, snažím se, aby se zapojili např. i rodiče malých dětí, snažím se zajistit tlumočníka a podobně. Na místě dávám prostor všem – podporuji různé pohledy a příběhy, které nám dohromady ukazují pestřejší realitu. Kdo nechce mluvit v plénu, má možnost přispívat v malých skupinách po 4 nebo 5 lidech. Zažila jsem tak velmi otevřenou diskusi například paní z České školní inspekce, ředitele a romské maminky s malými dětmi. Bylo to přitom poprvé, co se vůbec potkali.

Kdybyste měla oslovit ředitelku nebo ředitele malé neziskovky, kteří mají z evaluace respekt, co byste jim vzkázala?

Začněte drobnými kroky. Jen tím, že si v týmu sednete a řeknete si: Co se nám opravdu podařilo a čím to bylo? Co se nedařilo a proč? Jak to víme? A co okolí – jaké se objevují nové trendy? Co tedy uděláme? Takhle jednoduchá reflexe vám může ukázat základní přínosy evaluace. A možná zjistíte, že nemáte dost dat, a v ten moment dává smysl oslovit někoho externího, pokud si sami nevíte rady. Existuje Česká evaluační společnost, kde můžete poptat evaluátory, kteří vám pomohou. Důležité je uvědomit si, že evaluace je tu pro váš prospěch, ne jako kontrola.