Příloha č. 1 k usnesení Rady HMP č. 0068 ze dne 22.1.2002

Závěrečná zpráva k výzkumu

Vyhodnocení efektivity projektů protidrogové prevence pro rok 2000 a návrh standardizace postupu hodnocení účinnosti

PhDr. Zdeněk Kučera
Ing. Miluše Kasíková

Praha, červenec 2001

I.	Úvod

Studie „Vyhodnocení efektivity projektů protidrogové prevence pro rok 2000 a návrh standardizace postupu hodnocení účinnosti“ je pokusem o odpověď na potřebu magistrátu vyhodnotit smysluplnost vynakládání prostředků na protidrogovou prevenci na území hlavního města Prahy. Na 45 dotovaných projektů bylo v roce 2000 vynaloženo více než 12 milionů Kč. 

Vzhledem k tomu, že podobná studie zaměřená na systematické vyhodnocení projektů financovaných magistrátem se dosud nerealizovala, mají naše zjištění povahu jakési výchozí (baseline) studie, na kterou by měla navazovat pravidelně prováděná šetření efektivity. Zjistili jsme současně, že na řadě pracovišť jsou v poměrně pokročilé fázi úvahy o tom, jak by bylo možno evaluaci provádět, případně jsou k dispozici data, která často nejsou zpracována. 

Hodnocení efektivity preventivních programů, a to nejen v oblasti protidrogové prevence, je samozřejmou součástí projektů, jejichž výsledky jsou publikovány v renomovaných odborných časopisech, ale i ve zprávách, které snesou přísnější měřítka srovnatelnosti. Návrh evaluace, vztažené k různým etapám realizace projektu (hodnocení projektové dokumentace resp. plánu, procesu implementace, jakož i úrovně dosažení stanovených cílů) je dokonce předpokladem přidělení prostředků na uskutečnění programu. Vzhledem k tomu, že publikování výsledků preventivních či edukativních programů u nás rozhodně není pravidlem, nebývá často ani projekt navrhován tak, aby jeho výsledky byly jednoduše měřitelné; indikátory účinnosti resp. naplnění cílů musí proto často být navrhovány až ex post a zpravidla se sníženou nadějí na dosažení přijatelné validity. Popsaná situace vede většinou k tomu, že projekty, a to ve všech fázích jejich realizace, jsou hodnoceny na základě impresí, spíše než nějaké, alespoň částečné kvantifikace; dokonce ani systematické využívání kvalitativních metodologií není běžné.

Poměrně příkré hodnocení preventivních programů, pokud jde o měřitelnost jejich efektů, má obecnější platnost, vyjádřitelnou např. citačním indexem domácích prací, referujících o preventivních programech. Byť by počet článků, publikovaných v mezinárodních periodicích rozhodně neměl být cílem přidělování prostředků na protidrogovou prevenci, přijetí pravidel, která umožňují jistou exaktnost hodnocení, by mělo být požadavkem zadavatele.

Z hlediska účelnosti vynakládání prostředků na protidrogovou prevenci je pravidelné a standardizované vyhodnocování efektivity klíčové. Předkládaná závěrečná zpráva není míněna pouze jako jednorázové zhodnocení projektů realizovaných v průběhu jednoho roku, ale současně i jako pokus o zavedení pravidel hodnocení účinnosti jednotlivých skupin programů. Projekt je proto završen doporučeními, jak by měly být formulovány cíle projektů, jakož i postupy k jejich dosahování tak, aby byly měřitelné. 

Finanční audit, resp. revize, která tvoří druhou část hodnocení realizovaných projektů, by se měla stát podkladem pro hodnocení účelnosti vynakládaných prostředků a vyústit v doporučení, jak by po formální stránce měla být vedena účetní agenda schválených programů. 

II. Východiska a charakteristika podkladů

1.	Základní rámec studie

Základní teoretický rámec pro hodnocení předložených projektů představuje model navržený Christophem Krogerem (Kroger, Winter, Shaw, 1998), který se uplatňuje v řadě mezinárodních studií a je základem poměrně jednoduchého manuálu vydaného Evropským monitorovacím centrem pro drogy a drogové závislosti v roce 1998. Tento manuál, doporučený k využití rovněž v rámci Phare studií, byl východiskem základního konceptu evaluace, který byl poté dekomponován do podoby řady ratingových škál, které ve svém úhrnu tvoří podklad pro celkové zhodnocení projektu.

Evaluace je vnímána v intencích tohoto modelu jako proces, který se realizuje na několika rovinách nebo spíše v několika sukcesívních krocích: 
(a) evaluace plánovací procedury
(b) deskriptivní evaluace, opírající se o tzv. „out-put“ proměnné
(c) formativní evaluace, založená na tzv. „out-take“ proměnných
(d) výzkum efektivity, opírající se o tzv. „out-come“ proměnné.

V prvém kroku (evaluace plánovací procedury) je možno hodnotit především míru, do níž se projekt zakládá na analýze potřeb, které má uspokojovat („needs assessment“) a jakým způsobem jsou formulovány cíle, definovány cílové skupiny a zvoleny prostředky vedoucí k předpokládanému dosažení plánovaného záměru.

V druhém kroku (deskriptivní evaluace) zpravidla nabízíme monitoring realizovaných aktivit a hodnotíme korespondenci toho, co řešitel projektu nabízí definované cílové skupině („out-put“) se záměry a rovněž zjišťujeme, do jaké míry jsou jeho informace věrohodné.

Podstatou třetího kroku (formativní evaluace) je zpravidla posouzení, v jaké míře řešitel projektu získává informace o vlastní implementaci programu (tzv. „feed-forward“ výzkum), ať už od cílové skupiny programu, nebo jako výsledek reflexe členů týmu, kteří program realizují. Jedná se zpravidla o informace o krátkodobých efektech nebo o hodnocení vztažené k jednotlivým aktivitám („out-take“).

Konečně ve čtvrtém kroku (výzkum efektivity) se hodnotí skutečný dopad („out-come“) realizovaných aktivit na cílovou skupinu, a to zpravidla z hlediska dlouhodobějšího. Kriticky důležitá je v tomto ohledu operacionalizace stanovených cílů a povaha snahy kvantifikovat dopad realizovaných aktivit.

2.	Zadání

Zadavatel studie formuloval jeho očekávané výstupy jako zhodnocení účelnosti vynakládaných prostředků. Vzhledem k tomu, že formulace požadavků na doložení efektivity při vypisování grantů, ani protokol projektové dokumentace nezakládají konkrétní potřebu vypracovat byť jednoduchý výzkumný design, bylo obtížné očekávat v závěrečných zprávách výsledky, které by se blížily závěrům evaluačních šetření. Takový stav značně ztěžuje možnost provedení studie, která by snesla přísnější pravidla vědeckého zkoumání.

Druhým zadáním poskytovatele grantu bylo provedení finančního auditu na základě dodaných podkladů. Nejednalo se, a ani se nemohlo jednat o finanční audit v přísném slova smyslu, vzhledem k nízkému rozpočtu, kompetencím realizátorů projektu, jakož i jejich kvalifikaci: Finanční audit by předpokládal zapojení licencovaného auditora nebo auditorské firmy.

3.	Soubor

Studovaným souborem je celkem 45 programů protidrogové prevence dotovaných Magistrátem hlavního města Praha v roce 2000. Programy je možno rozdělit do skupin podle typu prevence, na niž jsou zaměřeny, tj. na projekty primární, sekundární a terciární prevence. V tomto smyslu také budeme hodnotit jednotlivé skupiny projektů, byť v některých se kombinují prvky více forem prevence.

4.	Charakteristika výchozích podkladů

Řešitelé měli k dispozici 6 respektive 7 základních dokumentů, které byly východiskem pro jejich práci: (a) projekty, (b) vstupní oponentské posudky, (c) darovací smlouvy (d) dodatkové darovací smlouvy tam, kde byly dodatečné prostředky přiděleny, (e) průběžné zprávy řešitelů, (f) závěrečné zprávy a (g) vyúčtování nákladů na realizaci programů. Ne vždy byly všechny doklady pro řešitele k dispozici, ať už proto, že nebyly poskytovateli zaslány, nebo proto, že nebyly vystaveny.

(a)	Projekty
Projekty předkládané k posouzení v rámci schvalovacího řízení byly zpracovány podle jednotné osnovy. Z hlediska jejich evaluace je relevantní sekce A, v níž jsou zejména stanoveny cíle, definovány cílové skupiny a navržen způsob a metody realizace projektu; krom toho v této sekci měli řešitelé navrhnout způsob hodnocení efektivity a rovněž konkrétní hodnotitelné výstupy. Sekce C přináší návrh rozpočtu dle jednotlivých definovaných položek a rovněž srovnání nákladů v průběhu několika posledních let.

(b)	Vstupní oponentské posudky
V oponentských posudcích oponenti z řad uznávaných odborníků na problematiku protidrogové prevence posuzovali projekty celkem šesti třípoložkovými ratingovými škálami zaměřenými na: (a) formální úroveň zpracování projektu, (b) potřebnost realizace projektu, (c) stanovení cílů projektu, (d) prostředky k dosažení stanovených cílů, (e) způsob hodnocení efektivity projektu [pro tyto dimenze bylo použito třípoložkové škály „odpovídající“ (2), „vyhovující“ (1) a „nevyhovující“ (0) se sumárním skórem nabývajícím hodnot 0-10] a (f) adekvátnost rozpočtu obsahu a cíli projektu [se škálou nabývající hodnot „reálný“, „nadhodnocený“, podhodnocený“]. Kromě toho měli oponenti rating doplnit verbálním doporučením či výhradami a závěrečným vyjádřením s použitím třípoložkové škály „podpořit v plné výši“ – „podpořit částečně“ – „nepodpořit“.

(c)	Darovací smlouvy
Grantové prostředky jsou z magistrátu převáděny řešitelům formou darovací smlouvy. Touto smlouvou je řešitel zavázán některé požadavky, jejichž splnění je možno učinit rovněž předmětem hodnocení; kromě umožnění kontroly správnosti využití přidělených prostředků držitele grantu zavazuje k povinnosti vést odděleně účetnictví grantu

(d)	Dodatkové darovací smlouvy
V případech kladně vyřízených žádostí o dodatečnou dotaci již schváleného grantu byla s řešitelem (držitelem grantu) uzavřena dodatečná darovací smlouva, v níž bylo stanoveno, na které aktivity jsou prostředky alokovány.

(e)	Průběžné zprávy řešitelů
Darovací smlouvou byli řešitelé zavázáni předložit k 1.7. průběžnou zprávu o plnění dotovaného programu. Posuzovatelé bohužel měli k dispozici pouze několik průběžných zpráv než aby bylo možno na jejich základě hodnotit jejich relevanci a kvalitu, jakož i celkové dodržování sjednaných podmínek.

(f)	Závěrečné zprávy
Řešitelé se darovací smlouvou mj. zavázali předložit do 31.1.2001 závěrečnou zprávu, v níž měli provést bilanci splnění úkolů stanovených v předkládaném projektu. Závazná struktura resp. osnova závěrečné zprávy nebyla stanovena, rozsah a kvalita odevzdaných závěrečných zpráv proto byla nesouměřitelná: Někteří řešitelé použili poměrně propracované schéma navržené Meziresortní protidrogovou komisí, jiní vycházeli ze struktury schváleného projektu a konečně ostatní se spokojili se suchým výčtem fakt, která se jim jevila jako nejrelevantnější.

(g)	Vyúčtování nákladů na realizaci programů
Součástí závěrečných zprav bylo vyúčtování nákladů na realizaci programů, které, ve smyslu darovací smlouvy, mělo vykázat vydání v rámci jednotlivých rozpočtových kapitol či položek. Ve velkém počtu případů však řešitelé nedodrželi požadovanou strukturu a nabízeli výkazy nevztahující se bezprostředně k realizovanému projektu.

(h) Další zdroje informací
Dalším zdrojem informací byly především strukturované rozhovory s řešiteli resp. držiteli grantu pověřenými osobami. V rámci těchto rozhovorů byly získávány doplňkové informace a diskutovány mnohé problémy evaluace. V několika případech se uskutečnily rovněž rozhovory s odbornými garanty programu.

III. Cíle studie

Hlavní cíl studie byl stanoven zadavatelem jako posouzení účelnosti vynakládání prostředků na protidrogovou prevenci obecně a na jednotlivé dotované projekty zvláště. V pozdější diskusi byly cíle rozšířeny na vyhodnocení existujících forem evidence účinnosti jednotlivých projektů a jejich skupin a na navržení systému sledování efektivity.

1.	Obecné hodnocení účelnosti vynakládaných prostředků 

Celkové zhodnocení, zda prostředky vynaložené na protidrogovou prevenci v roce 2000 byly vynaloženy účelně, předpokládá posouzení, zda a v jaké míře množina dotovaných projektů koresponduje s koncepcí protidrogové politiky, kterou Magistrát hlavního města Prahy schválil. V tomto smyslu hodnotíme do jaké míry pokrývají projekty oblasti definované v základním dokumentu jako důležité a jakým způsobem je reflektována hierarchizace úloh definovaných v této politice. Především jsme zkoumali v jaké míře jsou zastoupeny prevence primární, sekundární a terciární.

2.	Evaluace jednotlivých projektů a jejich skupin

Cílem evaluace ve smyslu zadání bylo především zhodnocení, zda řešitelé splnili cíle schváleného projektu a jsou schopni doložit hodnověrnými daty, že cílů bylo skutečně dosaženo. Na jedné straně jsme se tedy zaměřili na faktickou implementaci, na straně druhé, jaké formy evidence a jak formalizovaná data předkládají. Kromě toho bylo záměrem hodnocení posouzení jednotlivých skupin projektů podle typu prevence.

3.	Finanční audit

Cílem finančního auditu bylo především ověření, zda prostředky přidělené darovací smlouvou byly použity v souladu s touto smlouvou, zejména pokud jde o stanovené rozpočtové položky a zda účetnictví je transparentní a ověřitelné.

4. Doporučení pro systematickou evaluaci programů protidrogové prevence

Vzhledem k tomu, že řešitelé grantových projektů financovaných Magistrátem nebyli dosud zavázáni systematicky sledovat efektivitu vlastní práce, kladli jsme si za cíl formulaci některých obecných doporučení, jak evaluaci víceméně rutinně provádět a navrhnout některá východiska pro formulaci víceméně obligatorního systému hodnocení efektivity do budoucna.

IV. Metodologie

Základní metodologický problém realizované studie spočívá ve skutečnosti, že její zadání se uskutečnilo v době, kdy byla implementace hodnocených projektů uzavřena. Z tohoto důvodu nebylo možno stanovit předem výzkumný design tak, aby jednotliví zadavatelé byli zavázáni k sběru dat, která by bylo možno v souladu s tímto projektem hodnotit. Byli jsme proto nuceni spolehnout se jednak na standardní výstupy dohodnuté se zadavatelem, nebo jím schválené, jednak na rozhovory. Hlavním podkladem naší analýzy byla více či méně systematicky shromažďovaná data jednotlivými řešiteli. Na existující údaje proto musel být až ex post připraven a použit rámec zjišťování ve shodě s cíli studie. 

V intencích klasického dělení na evaluaci interní a externí se v našem případě jedná o reflexi interní evaluace, kterou prováděli nebo měli provádět sami řešitelé. K hodnocení kvality dat i reality, ke kterou data odkazují jsme použili celkem 23 ratingových škál, s kterými pracoval jediný posuzovatel. V tomto smyslu je hodnocení jistě zatíženo rizikem individuálního pohledu (individual bias), na druhé straně jsme se snažili definicí hodnot na jednotlivých škálách hodnocení co nejvíce objektivizovat. Pokud jde o „finanční audit“ používali jsme obvyklých postupů, kterých se používá při finančních hodnoceních, ovšem s tou výhradou, že nebylo v silách hodnotitelů provést skutečnou finanční kontrolu založenou na revizi účetních knih a originálů účetních dokumentů. 
V našem hodnocení, jsme se principiálně zaměřili na vybrané dimenze, a to bez ohledu na skutečnost, zda se jedná o hodnocení deskriptivní, formativní nebo sumativní:
•	povaha evidence (doložitelnosti dat)
•	povaha operacionalizace dat
•	úroveň kvantifikace dat 
•	validita dat
•	reliabilita dat
Těchto pět základních charakteristik či dimenzí vypovídá o přístupu řešitelů k snaze doložit zadavateli smysluplnost vynakládání veřejných prostředků.

Hodnocení finančních zpráv bylo formalizováno do podoby 7 ratingových škál tak, abychom byli schopni provádět alespoň hrubé komparace jednotlivých projektů a jejich skupin. Konečně jsme mezi kvantitativní data zařadili i hodnocení předložených projektů, které prováděli před jejich schválením oponenti. 

A: Evaluace plánovací procedury
U evaluace plánovací procedury jsme navrhli celkem čtyři ratingové (posuzovací) škály, zaměřené na:
(a)	posouzení potřebnosti projektu (Needs Assessment)
(b)	adekvátnost stanovených cílů
(c)	definici cílových skupin 
(d)	koherenci cílů a prostředků
Smyslem posouzení plánovací procedury bylo zjištění, zda a do jaké míry je samotná formulace úkolu zakotvena v analýze faktického stavu, na který nabízí přiměřenou odpověď stanovením reálných cílů a adekvátních prostředků.

B: Deskriptivní evaluace („out-put“ proměnné)
Evidenci realizovaných aktivit jsme hodnotili rovněž prostřednictvím čtyř škálových dimenzí:
(a)	formy evidence
(b)	forma kvantifikace
(c)	validita dat
(d)	reliabilita dat
U této formy evaluace jsme se zaměřili to, jak jsou realizované aktivity doložené resp. doložitelné a v jaké míry je tato evidence založena na kvantifikovatelných datech, která jsou posouzena pokud jde o jejich validitu (tj. dokládají skutečnosti, které si realizátor programu předsevzal doložit) a reliabilitu (tj. spolehlivost).

C: Evaluace formativní („out-také“ proměnné)
Rovněž u evaluace formativní jsme navrhli čtyři posuzovací škály:
(a)	forma kvantifikace
(b)	validita dat
(c)	reliabilita dat
(d)	reflexívní zkušenost
U formativní evaluace jsme hodnotili především snahu řešitelů o získávání zpětné vazby při implementaci programu, resp. způsoby reflektování tohoto procesu v týmu, který se na implementaci podílel.

D: Výzkum efektivity („out-come“ proměnné)
Efektivita realizovaných projektů byla hodnocena pomocí osmi škál:
(a)	operacionalizace cílů intervence
(b)	forma kvantifikace
(c)	charakter používaných dat
(d)	časový horizont evaluace
(e)	validita dat
(f)	reliabilita dat
(g)	zasažení cílové populace
(h)	dosažení cílů projektu
Výzkum zaměřený na hodnocení dopadu („out-come“) bývá někdy nazýván evaluací v užším slova smyslu. Zaměřili jsme se především na způsob operacionalizace záměrů a míru kvantifikace, na zjištění, zda přístup je založen spíše na kazuistickém či skupinovém přístupu, zda se jedná o hodnocení longitudinální či krátkodobé a konečně zda bylo u definovaných cílových skupin dosaženo zamýšlených efektů.
	
	E: Hodnocení závěrečné zprávy a strukturovaného interview s řešitelem
	Každou z předložených závěrečných zpráv jsme hodnotili podle dvou kriterií a jednou škálou jsme posoudili rovněž užitečnost strukturovaného rozhovoru s řešitelem:
(a)	hodnocení obsahové adekvátnosti zprávy
(b)	hodnocení formální úrovně závěrečné zprávy
(c)	hodnocení interview s řešitelem

	F: Oponentský posudek
	Do hodnotícího protokolu projektu jsme začlenili rovněž formalizované hodnocení předložené aplikace oponentem při vstupní oponentuře:
(a)	hodnocení formální úrovně
(b)	potřebnost realizace projektu
(c)	stanovení cílů
(d)	prostředky k dosažení cílů
(e)	způsob hodnocení efektivity
(f)	celkové hodnocení projektu

G: Formální hodnocení finanční zprávy
Celkem 7 posuzovacích škál bylo navrženo k formalizovanému hodnocení závěrečných finančních zpráv:
(a)	oddělené vedení účtu
(b)	strukturovanost
(c)	transparentnost
(d)	dodržení rozpočtových položek
(e)	timing
(o) hodnotitelnost
(suma) celkové hodnocení (0-5)
Uvedené dimenze představují dekompozici celkového posouzení závěrečných finančních zpráv. Nebylo naším záměrem hodnotit adekvátnost vynaložených nákladů („cost-effect“), ale pouze dodržení formálních pravidel, k němuž se navíc řešitelé zavázali v darovací smlouvě.

V. Výsledky

	Všechny sledované projekty, hodnocené individuálně pomocí posuzovacích škál jsme srovnali podle 23 ratingů, zaměřených na zhodnocení použitých postupů k měření efektivity a podle 7 škál formálního hodnocení účetnictví; ratingy jsem doplnili o hodnocení oponenty. Projekty jsme navíc rozdělily podle typu prevence do tří skupin – primární, sekundární a terciární prevence. Vzhledem k tomu, že několik projektů se zaměřovalo na více typů prevence, skórují v našich tabulkách vícekrát a počet posuzovaných projektů je pro tyto účely vyšší než absolutní počet programů. Po vyřazení dvou projektů, které se nerealizovaly je celkový počet hodnocených programů 48, z toho 14 zaměřených na primární prevenci, 18 na sekundární prevenci a 16 na prevenci terciární. V následujících tabulkách přinášíme rozložení četností v jednotlivých sledovaných dimenzích s ohledem na typ prevence.

1.	Evaluace plánovací procedury (rating „A“)

	Čtyři následující tabulky shrnují výsledky ratingu plánovací procedury. Prvá tabulka uvádí souhrn hodnocení, do jaké míry se dotované projekty opírají o analýzu potřeb, které mají svou implementací uspokojovat. 

Tab. č. 1

A: EVALUACE PLÁNOVACÍ PROCEDURY									
(a) Posouzení potřebnosti projektu (Needs Assessment)							
									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
1- Potřebnost projektu není zdůvodněna	0	0%	0	0%	0	0%	0	0%	
2 - Potřebnost projektu je zdůvodněna nedostatečně	2	14%	4	22%	0	0%	6	11%	
3 - Potřebnost zdůvodněna odkazem na kontinuitu programu	4	29%	2	11%	1	6%	7	17%	
4 - Potřebnost projektu zdůvodněna obecně	6	43%	5	28%	7	44%	18	39%	
5 - Potřebnost projektu  je specificky zdůvodněna	2	14%	7	39%	8	50%	17	33%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Z tabulky vyplývá, že pouze ve třetině případů (33 %) byly projekty zdůvodněny takovou analýzou potřeb, která byla vůči nabízené službě specifická, jinými slovy analýzou, která zakládala potřebu právě předkládaného projektu. Další poměrně velká část projektů (39 %) se opírala o analýzu nespecifickou, tedy takovou, která nabízela také jiná než programem navrhovaná řešení, např. odkazem na velkou prevalenci drogové závislosti. Zvláštní kategorii představují zdůvodnění projektu odkazem na kontinuitu programu, tedy na samotný fakt jeho předchozí existence, aniž by bylo provedeno skutečné vyhodnocení účinnosti (17 %). Jednotlivé skupiny projektů se výrazně liší: Na jednom pólu jsou projekty terciární prevence, které se výrazně častěji opírají o specifické analýzy a na straně druhé projekty primární prevence, které více než ostatní (29 %) poněkud tautologicky odkazují k samotnému faktu trvání jako důvodu realizace.

	Druhá tabulka shrnuje, do jaké míry jsou v projektech stanoveny cíle, které je možno považovat za adekvátní, tedy jednak jako potřebné a dosažitelné, a rovněž za měřitelné.

Tab. č. 2

A: EVALUACE PLÁNOVACÍ PROCEDURY									
(b) Adekvátnost stanovených cílů									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
1 - Cíle stanoveny neadekvátně	3	21%	3	17%	0	0%	6	12%	
2 - Cíle stanoveny adekvátně a jako částečně měřitelné	10	72%	12	66%	14	87%	36	76%	
3 - Cíle stanoveny jako adekvátní a měřitelné	1	7%	3	17%	2	13%	6	12%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze menšina (12 %) se zaměřuje na naplňování cílů, které jsou současně potřebné, dosažitelné, ale i měřitelné. Opět narážíme na rozdíl mezi skupinou projektů primárně preventivních, které častěji definují cíle vágně a jako obtížně měřitelné (pouze 7 % v nejvyšší kategorii) a skupinou projektů terciární prevence (kde je v této kategorii 21 % projektů).

	Tabulka č. 3 ilustruje způsob, jakým jsou definovány cílové skupiny projektu, tj. v jaké míře je zasažení cílových skupin realistické a současně smysluplné při způsobu, jakým jsou vymezeny cíle programu a navrženy metody implementace.

Tab. č. 3

A: EVALUACE PLÁNOVACÍ PROCEDURY									
(c) Definice cílových skupin									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
1 - Cílové skupiny definovány neadekvátně	1	7%	1	6%	0	0%	2	4%	
2 - Cílové skupiny definovány vyhovujícím způsobem	12	86%	10	56%	10	64%	32	67%	
3 - Cílové skupiny definovány odpovídajícím způsobem 	1	7%	7	38%	6	36%	14	29%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze u necelé třetiny posuzovaných projektů (29 %) jsme mohli konstatovat, že cílové skupiny byly definovány „odpovídajícím způsobem“, tj. realisticky a smysluplně. Podobně jako u předchozích ratingů, i tentokráte zaznamenáváme výrazně méně pozitivních případů u projektů primární prevence a – tentokráte – více u obou zbývajících typů prevence.

	Konečně tabulka č. 4 shrnuje ratingy týkající se koherence cílů a prostředků, neboli posouzení, zda a s jakou pravděpodobností zvolené metody mohou vést k naplnění stanovených cílů 

Tab. č. 4

A: EVALUACE PLÁNOVACÍ PROCEDURY									
(d) Koherence cílů a prostředků									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
1 - Koherence neexistuje	1	7%	2	12%	0	0%	3	6%	
2 - Koherence existuje v částečné podobě	8	57%	8	44%	7	44%	23	48%	
3 - Koherence cílů a prostředků v adekvátní míře	5	36%	8	44%	9	56%	22	46%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze o necelé polovině (46 %) projektů můžeme říci, že zvolené postupy odpovídají způsobu formulace cílů. Výrazně vyšší je koherence cílů a prostředků u projektů terciární prevence (56 % skóruje v kategorii adekvátní míry koherence) oproti projektům primární prevence (pouze 36 % v této kategorii) s tím, že projekty sekundární prevence stojí uprostřed.

	Souhrn evaluace plánovací procedury: Můžeme konstatovat, že celkově jsme pouze menšinu dotovaných projektů (v jednotlivých dimenzích 12-46 %) mohli považovat za připravenou tak, že snese přísnější měřítka kladená na plánovací proceduru. Zjistili jsme dále, že podstatně lépe při evaluaci plánovací procedury obstály projekty terciární prevence a hůře naopak projekty prevence primární; projekty sekundární prevence v tomto spektru zaujímají pozici uprostřed. Řešitelům ve všech skupinách, zejména však v kategorii primární prevence je musíme doporučit větší pozornost, kterou je třeba přípravě projektů věnovat. Zvláštní pozornost si zaslouží doporučení více se zaměřit na měřitelnost stanovených cílů, což platí pro všechny skupiny projektů.

2.	Deskriptivní evaluace (rating „B“)

	Čtyři následující tabulky přinášejí souhrn deskriptivní evaluace, neboli hodnocení zda a do jaké míry řešitelé shromáždili adekvátní informace, které dokládají proces implementace projektu. Tzv. „out-put“ proměnné představují jistou formu monitoringu aktivit realizovaných v rámci schváleného projektu.

	Tabulka č. 5 shrnuje informace o tom, do jaké míry disponují jednotliví řešitelé věrohodnými daty či formami evidence realizovaných aktivit.

Tab. č. 5

B: DESKRIPTIVNÍ EVALUACE ("OUT-PUT" PROMĚNNÉ)						
(a) Formy evidence									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	1	7%	2	11%	0	0%	3	6%	
1 - Evidence aktivit neexistuje	2	14%	2	11%	0	0%	4	8%	
2 - Existuje částečná evidence aktivit	5	36%	9	50%	9	56%	23	48%	
3 - Existuje přiměřená forma evidence aktivit	6	43%	5	28%	7	44%	18	38%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze 38 % řešitelů (!) informovalo srozumitelným a věrohodným způsobem o realizovaných aktivitách, jakkoli právě tuto formu evaluace musíme považovat za elementární. U této dimenze zaznamenáváme lepší výsledek u řešitelů, kteří realizovali projekty terciární, ale i primární prevence. naproti tomu více než pětina (!) řešitelů projektů primární a sekundární prevence buďto nenabídla žádnou evidenci, nebo závěrečné zprávy nebyly v této dimenzi hodnotitelné.

	Tabulka č. 6 přináší informace o úrovni kvantifikace údajů, které jsou formou evidence realizovaných aktivit.

Tab. č. 6

B: DESKRIPTIVNÍ EVALUACE ("OUT-PUT" PROMĚNNÉ)							
(b) Forma kvantifikace									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	5	36%	6	33%	0	0%	11	23%	
1 - Jakákoli kvantifikace chybí	0	0%	0	0%	0	0%	0	0%	
2 - Kvantifikace ne zcela adekvátní	7	50%	5	28%	10	63%	22	46%	
3 - Adekvátní kvantifikace	2	14%	7	39%	6	37%	15	31%	
Celkem	14	100%	18	100%	16	100%	48	100%	
	
	Pouze 31 % řešitelů předložilo evidenci svých aktivit ve formě, kterou je možno považovat za kvantifikovanou adekvátním způsobem. Jistou formu kvantifikace nabídli tři čtvrtiny (77 %) všech řešitelů, ale všichni řešitelé projektů terciární prevence. Naopak nejméně případů adekvátní kvantifikace jsme zaznamenali u řešitelů projektů primární prevence.

	Následující dvě tabulky přinášejí informace o našem ratingu validity a reliability dat deskriptivní povahy předložených držiteli grantů.

Tab. č. 7

B: DESKRIPTIVNÍ EVALUACE ("OUT-PUT" PROMĚNNÉ)								
(c) Validita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	6	43%	6	33%	2	13%	14	29%	
1 - Prezentovaná data nelze považovat za validní	2	14%	1	6%	4	25%	7	15%	
2 - Prezentovaná data lze považovat za částečně validní	2	14%	5	28%	3	19%	10	21%	
3 - Prezentovaná data lze považovat za validní	4	29%	6	33%	7	43%	17	35%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 8

B: DESKRIPTIVNÍ EVALUACE ("OUT-PUT" PROMĚNNÉ)								
(d) Reliabilita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	6	43%	6	33%	2	12%	14	30%	
1 - Prezentovaná data nelze považovat za reliabilní	2	14%	1	6%	4	25%	7	15%	
2 - Prezentovaná data lze považovat za částečně reliabilní	2	14%	5	28%	3	19%	10	20%	
3 - Prezentovaná data lze považovat za reliabilní	4	29%	6	33%	7	44%	17	35%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Validita a reliabilita deskriptivních dat není příliš vysoká: Pouze více než pětina řešitelů předložila data, která lze hodnotit jako validní a více než třetina údaje, které jsou reliabilní. Tyto výsledky jsou do značné míry způsobeny faktem, že poměrně velké počty projektů nebyly v této dimenzi hodnotitelné, ať už proto, že zprávy nebyly předloženy, nebo neobsahovaly žádná data vztahující se k této dimenzi. Data s nejvyšší mírou validity a reliability předložili řešitelé projektů terciární prevence

	Souhrn deskriptivní evaluace: Deskriptivní evaluace, tj. víceméně strukturovaná evidence průběhu implementace programu, představuje základní rovinu hodnocení realizace projektu. Skutečnost, že 14 % řešitelů (a každý pátý řešitel grantu primární prevence!) nepředložilo žádná data, která adekvátním způsobem kvantifikují evidenci o proběhlých aktivitách, je alarmující. Poměrně příznivější výsledky opět nabízejí řešitelé projektů terciární prevence, podstatně méně příznivé pak řešitelé zbývajících dvou typů projektů. Jistým vysvětlením uvedených rozdílů může být skutečnost, že zejména u projektů zaměřených na redukci rizik (harm reduction) se evidence výměnných programů přirozeně předpokládá.

3.	Evaluace formativní (rating „C“)

	Ve čtyřech dimenzích jsme prováděli rovněž evaluaci formativní (či „na proces orientovanou“), zaměřenou především na získávání zpětné vazby v průběhu implementace programu („out-take“). Zpětná vazba mohla být získávána jak dotazováním reprezentantů cílové skupiny, tak strukturovanou reflexí řešitelů. Sledovanými proměnnými mohly být jak krátkodobé změny na úrovni znalostí či postojů, tak hodnocení jednotlivých komponent programu. Cílem formativního výzkumu je především zlepšování programu v průběhu jeho realizace.

	Tři následující tabulky ilustrují využití kvantifikujícího přístupu k zjišťování zpětné vazby k implementaci programu.

Tab. č. 9

C: EVALUACE FORMATIVNÍ ("OUT-TAKE" PROMĚNNÉ)								
(a) Forma kvantifikace									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	8	57%	17	95%	9	56%	34	71%	
1 - Jakákoli kvantifikace chybí	3	22%	1	5%	5	31%	9	19%	
2 - Kvantifikace navržena, ale nerealizována	1	7%			2	13%	3	6%	
3 - Kvantifikace ne zcela adekvátní	1	7%					1	2%	
4 - Adekvátní kvantifikace	1	7%					1	2%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 10

C: EVALUACE FORMATIVNÍ ("OUT-TAKE" PROMĚNNÉ)							
(b) Validita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	12	86%	18	100%	16	100%	b	96%	
1 - Prezentovaná data nelze považovat za validní	1	7%					1	2%	
2 - Prezentovaná data lze považovat za částečně validní	1	7%					1	2%	
3 - Prezentovaná data lze považovat za validní	0	0%					0	0%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 11

C: EVALUACE FORMATIVNÍ ("OUT-TAKE" PROMĚNNÉ)							
(c) Reliabilita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	13	93%	18	100%	16	100%	47	98%	
1 - Prezentovaná data nelze považovat za reliabilní	0	0%					0	0%	
2 - Prezentovaná data lze považovat za částečně reliabilní	1	7%					1	2%	
3 - Prezentovaná data lze považovat za reliabilní	0	0%					0	0%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze jeden program (projekty primární prevence) nabízí data, která jsou kvantitativní, ať už částečně nebo úplně, a pouze jeden z nich používá data, která lze hodnotit jako alespoň částečně validní a reliabilní. Jeden řešitel, jak vyplynulo z rozhovorů, o kvantifikaci dat formativního charakteru uvažuje: Dotazníky již administroval a nemá data zatím zpracována; dva další již metodologii připravují.

Tab. č. 12

C: EVALUACE FORMATIVNÍ ("OUT-TAKE" PROMĚNNÉ)							
(d) Reflexivní zkušenost									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	10	71%	5	28%	7	44%	22	46%	
1 - Reflexivní zkušenost není uplatněná	0	0%	1	5%	1	6%	2	4%	
2 - Reflexivní zkušenost je nesystematicky využívána	1	7%	3	17%	1	6%	5	10%	
3 - Reflexivní zkušenost je systematicky využívána	3	22%	9	50%	7	44%	19	40%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Celkem 40 % řešitelů (polovina z těch, kteří realizovali program v oblasti sekundární prevence) sděluje, že tým realizátorů používá systematicky příležitostí k reflektování průběhu implementace programu a shromažďování evidence o odezvě na jednotlivé programové komponenty. Takovými příležitostmi nejčastěji bývají supervizní setkání, pravidelné porady týmů apod. Málokdy ovšem realizátoři programu svá pozorování či reflexe strukturují nebo formalizují např. do podoby ratingů. 

	Přičteme-li k těmto údajům ještě případy, kdy je „reflexívní zkušenost“ používána nesystematicky, jedná se o polovinu projektů, které jsou průběžně hodnoceny tímto způsobem. 

	Souhrn formativní evaluace: Celkově je možno říci, že formativní výzkum jako důležitá forma evaluace se v projektech prevence drogových závislostí vyskytuje výjimečně. Schůzky reflexivních týmů, které jsou již v grantových aplikacích prezentovány jako forma vyhodnocování účinnosti preventivních programů bychom mohli považovat za přijatelnou formu evaluace v případě, že by jejich výstupy byly založeny na jisté formě operacionalizace používaných termínů a formalizace nástrojů, např. v podobě ratingových škál.

4.	Výzkum efektivity (rating „D“)
	
	Výzkum efektivity se zaměřuje na sledování změn na úrovni chování, které je přímo spojeno s cíli daného projektu. Jednotlivé projekty byly posuzovány podle osmi dimenzí, z nichž šest se vztahovalo přímo k posouzení dat prezentovaných řešiteli a poslední dvě dimenze spíše k inferenci, založené na celé zprávě a rozhovoru s řešitelem.

Tab. č. 13

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)							
(a) Operacionalizace cílů intervence									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	11	79%	10	55%	5	31%	26	54%	
1- Operacionalizace zcela chybí	3	21%	2	11%	6	38%	11	23%	
2 - Operacionalizace naznačena, ale nerealizována	0	0%	1	6%	2	12%	3	6%	
3 - Operacionalizace částečně realizována	0	0%	4	22%	2	12%	6	12%	
4 - Operacionalizace realizována	0	0%	1	6%	1	7%	2	5%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 14

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)								
(b) Forma kvantifikace									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	12	86%	11	61%	7	44%	30	63%	
1 - Jakákoli kvantifikace chybí	2	14%	1	6%	5	31%	8	17%	
2 - Kvantifikace ne zcela adekvátní	0	0%	5	27%	3	19%	8	17%	
3 - Adekvátní kvantifikace	0	0%	1	6%	1	6%	2	3%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Pouze dva projekty můžeme hodnotit jako adekvátní, pokud jde o operacionalizaci cílů stanovených řešiteli a jejich další kvantifikaci. Dalších osm můžeme považovat za částečně vyhovující pokud jde o měřitelnost dosažení cílů a jejich faktické měření. Celkem tedy můžeme mluvit zhruba o pětině (22 %) všech projektů, které splňují jistá, víceméně arbitrárně stanovená kritéria operacionalizace a kvantifikace. Skutečnost, že takový pokus jsme ani nezaznamenali u čtyřech pětin držitelů grantu je velmi nepříznivá. Nejvíce snahy o měření efektivity projektu zaznamenáváme, vcelku pochopitelně, u projektů zaměřených na sekundární prevenci, zaráží přesto, že ani v jednom případě jsme se nesetkali s pokusem o měření efektivity u projektů primární prevence navzdory tomu, že některé z nich se realizují již řadu let.

Tab. č. 15

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)						
(c) Charakter používaných dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	13	93%	12	67%	12	75%	37	77%	
1 - Data založená na individuálním hodnocení	1	7%	1	6%	1	7%	3	6%	
2 - Data založená na skupinovém hodnocení	0	0%	1	6%	2	11%	3	6%	
3 - Data založená na kombinaci obou přístupů	0	0%	4	21%	1	7%	5	11%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Podle Toningena (1995) jsme se zaměřili, především u projektů sekundární prevence, na zjištění, zda data, která jsou oporou posuzování celkové efektivity, jsou založena na datech individuálních (kazuistické evidenci) nebo skupinových (hodnocení terapeutické změny dle definovaných kritérií). Z podkladů, které byly k dispozici a z rozhovorů s řešiteli vyplynulo, že všichni, kteří výzkum realizovali, kombinovali přístup individuální a skupinový.

Tab. č. 16

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)							
(d) Časový horizont evaluace									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	14	100%	12	66%	12	75%	38	79%	
1 - Hodnocení krátkodobých efektů	0		3	17%	3	19%	6	13%	
2 - Hodnocení dlouhodobých efektů	0		0		0	0%	0	0%	
3 - Hodnocení krátkodobých i dlouhodobých efektů	0		3	17%	1	6%	4	8%	
Celkem	14	100%	18	100%	16	100%	48	100%	

		Z deseti projektů, u nichž bylo možno hodnotit časovou dimenzi efektivity byly čtyři projekty zaměřeny na sledování jak krátkodobých, tak dlouhodobých efektů a šest na krátkodobé. Při jednoleté periodicitě přidělování grantu nepřekvapuje, že jsme nezaznamenali ani jeden případ grantu hodnotícího dlouhodobé efekty projektu; na druhé straně jsme mohli předpokládat, že u pokračujících grantů by pokusy o sledování dlouhodobějšího horizontu budou jisté pokusy existovat.

Tab. č. 17

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)								
(e) Validita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	14	100%	14	78%	14	86%	42	88%	
1 - Prezentovaná data nelze považovat za validní	0		0	0%	0		0	0%	
2 - Prezentovaná data lze považovat za částečně validní	0		1	5%	0		1	2%	
3 - Prezentovaná data lze považovat za validní	0		3	17%	2	14%	5	10%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 18

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)								
(f) Reliabilita dat									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	14	100%	14	78%	14	88%	42	88%	
1 - Prezentovaná data nelze považovat za reliabilní	0		0	0%	0		0	0%	
2 - Prezentovaná data lze považovat za částečně reliabilní	0		0	0%	0		0	0%	
3 - Prezentovaná data lze považovat za reliabilní	0		4	22%	2	12%	6	12%	
Celkem	14	100%	18	100%	16	100%	48	100%	
	
	Pouze každý desátý řešitel předložil data týkající se efektivity, která lze považovat za validní a jen každý přibližně osmý data reliabilní, což výrazně snižuje celkovou hodnotitelnost projektů dotovaných v roce 2000. 

Tab. č. 19

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)							
(g) Zasažení cílové populace									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	3	21%	5	22%	1	0%	9	19%	
1 - Nedostatečné	0	0%	1	6%	0	0%	1	2%	
2 - Částečné	7	50%	4	22%	4	29%	15	31%	
3 - Uspokojivé	4	29%	8	50%	11	71%	23	48%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 20

D: VÝZKUM EFEKTIVITY ("OUT-COME" PROMĚNNÉ)								
(h) Dosažení cílů projektu									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	1	7%	4	22%	0	0%	5	10%	
1 - Nesplnění cílů	1	7%	1	6%	0	0%	2	4%	
2 - Částečné splnění cílů	5	36%	5	28%	4	25%	14	29%	
3 - Cílů dosaženo dle výpovědi řešitele	4	29%	3	16%	10	62%	17	36%	
4 - Cílů dosaženo dle závěrečné zprávy	3	21%	5	28%	2	13%	10	21%	
Celkem	14	100%	18	100%	16	100%	48	100%	
	Na základě posouzení informací ze všech dostupných zdrojů (závěrečné zprávy, rozhovory s řešiteli, vyjádření oponentů, rozhovory s garanty apod.) jsme hodnotili zda a do jaké míry byla oslovena cílová populace projektu a dosaženo cíle projektu. Je třeba zdůraznit, že při tomto hodnocení jsme nebrali v úvahu, zda řešitelé formulovali adekvátní či měřitelné cíle, nebo zda cílové skupiny byly definovány přiměřeným způsobem. V tomto smyslu můžeme konstatovat, že téměř v 80 % případů se podařilo zasáhnout cílovou populaci a v 57 % případů splnit stanovené cíle. Přitom jen u 21 % případů je možno říci, že splnění cílů můžeme vyvozovat z textu závěrečné zprávy a z dat, která zde byla prezentována. Problémem tedy je operacionalizace cílů a jejich skutečné měření.

	Souhrn výzkumu efektivity: Podle očekávání jsme nejméně přijatelné výsledky zaznamenali u sledování dlouhodobějších efektů intervence, a to navzdory skutečnosti, že mnozí držitelé grantu na identický projekt žádají příspěvek opakovaně. Překvapuje, že pouze u dvou projektů jsme nalezli přiměřenou formu operacionalizace a kvantifikace záměrů ovlivnit nějakým způsobem realitu. Nejméně příznivá je situace u projektů primární prevence, jakkoli v literatuře můžeme najít řadu inspirací pro pokusy i v této oblasti.

5.	Hodnocení závěrečné zprávy a strukturovaného interview s řešitelem (rating „E“)

	Celkové hodnocení závěrečné zprávy a strukturovaného rozhovoru s řešitelem odhlíželo od sledování dílčích dimenzí a soustředilo se na hodnocení celostní. Rozhovor s řešitelem sloužil k doplnění údajů uvedených ve zprávě, rating se zaměřil především na to, zda pokryl všechny relevantní otázky.

Tab. č. 21

E: HODNOCENÍ ZÁVĚREČNÉ ZPRÁVY A STRUKTUROVANÉHO INTERVIEW				
S ŘEŠITELEM									
(a) Hodnocení obsahové adekvátnosti zprávy								
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	2	14%	4	22%	0	0%	6	13%	
1 - Obsah zprávy neodpovídá struktuře projektu	3	21%	4	22%	5	31%	12	25%	
2 - Obsah zprávy částečně koresponduje s  projektem	3	21%	2	12%	5	31%	10	21%	
3 - Obsah zprávy odpovídá struktuře projektu	6	44%	8	44%	6	38%	20	41%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 22

E: HODNOCENÍ ZÁVĚREČNÉ ZPRÁVY A STRUKTUROVANÉHO INTERVIEW				
S ŘEŠITELEM									
(b) Hodnocení formální úrovně závěrečné zprávy								
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	2	14%	4	22%	0	0%	6	13%	
1 - Nevyhovující	3	21%	4	22%	5	31%	12	25%	
2 - Vyhovující	6	44%	2	11%	5	31%	13	27%	
3 - Uspokojivá	1	7%	5	28%	3	19%	9	19%	
4 - Velmi dobrá	2	14%	3	17%	3	19%	8	16%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 23

E: HODNOCENÍ ZÁVĚREČNÉ ZPRÁVY A STRUKTUROVANÉHO INTERVIEW				
S ŘEŠITELEM									
(c) Hodnocení interview s řešitelem									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Interview se nerealizovalo	2	14%	4	22%	1	6%	7	15%	
1 - Interview se realizovalo, ale nepokrylo všechny relevantní otázky	2	14%	6	33%	6	38%	14	29%	
2 - Interview se realizovalo a pokrylo všechny relevantní otázky	10	72%	8	45%	9	56%	27	56%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Souhrn hodnocení závěrečné zprávy a strukturovaného interview s řešitelem: Třemi posuzovacími škálami byla hodnocena závěrečná zpráva a rozhovor s posuzovatelem. V tomto hodnocení se samozřejmě největší měrou jednalo o posuzování, které bylo patrně nejobtížněji objektivizovatelné; naše hodnocení je proto třeba interpretovat v tomto smyslu. Podle našeho názoru pouze 41 % řešitelů předložila zprávy, které svým obsahem odpovídají předloženému projektu a 38 % výstupů z realizace projektu je třeba považovat buď za nehodnotitelné nebo nevyhovující (!). Po formální stránce je rovněž 38 % projektů (tedy více než třetina) buď nehodnotitelných nebo nevyhovujících

6.	Oponentský posudek (rating „F“)

Do celkového hodnocení jsme zahrnuli rovněž hodnocení, které realizovali před přidělením grantu oponenti určení Protidrogovou komisí MHMP. Následující tabulky přinášejí hodnocení v jednotlivých dimenzích a na závěr jejich sumarizaci.

Tab č. 24

F: OPONENTSKÝ POSUDEK									
(a) Hodnocení formální úrovně									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nevyhovující	5	36%	5	28%	4	24%	14	30%	
1 - Vyhovující	6	43%	5	28%	6	38%	17	35%	
2 - Odpovídající	3	21%	8	44%	6	38%	17	35%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 25

F: OPONENTSKÝ POSUDEK									
(b) Potřebnost realizace projektu									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nevyhovující	1	7%	1	6%	1	6%	3	6%	
1 - Vyhovující	6	43%	4	22%	3	19%	13	27%	
2 - Odpovídající	7	50%	13	72%	12	75%	32	67%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 26

F: OPONENTSKÝ POSUDEK									
(c) Stanovení cílů									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nevyhovující	1	7%	1	6%	1	6%	3	6%	
1 - Vyhovující	5	36%	3	17%	4	25%	12	25%	
2 - Odpovídající	8	57%	14	77%	11	69%	33	69%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 27

F: OPONENTSKÝ POSUDEK									
(d) Prostředky k dosažení cílů									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nevyhovující	3	21%	2	11%	1	6%	6	12%	
1 - Vyhovující	5	36%	6	33%	7	44%	18	38%	
2 - Odpovídající	6	43%	10	56%	8	50%	50	50%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 28

F: OPONENTSKÝ POSUDEK									
(e) Způsob hodnocení efektivity									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nevyhovující	3	21%	3	17%	2	12%	8	17%	
1 - Vyhovující	9	64%	11	61%	11	69%	31	65%	
2 - Odpovídající	2	15%	4	22%	3	19%	9	18%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 29

F: OPONENTSKÝ POSUDEK									
(f) Celkové hodnocení projektu									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0	1	7%	1	6%	1	6%	3	6%	
1	0	0%	0	0%	0	0%	0	0%	
2	1	8%	1	6%	0	0%	2	4%	
3	0	0%	0	0%	0	0%	0	0%	
4	2	14%	1	6%	1	6%	4	8%	
5	3	21%	0	0%	1	6%	4	8%	
6	0	0%	2	11%	2	12%	4	8%	
7	2	14%	4	22%	5	32%	11	23%	
8	2	14%	4	22%	2	12%	8	17%	
9	2	14%	2	11%	2	13%	6	13%	
10	1	8%	3	16%	2	13%	6	13%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	Souhrn oponentských posudků: Ze souhrnu oponentských posudků vyplývá, že např. téměř třetině (30 %) řešitelů byly přiděleny granty i přesto, že jejich aplikace nevyhovovaly po formální stránce a pouze u 69 % projektů byly odpovídajícím způsobem definovány cíle. Schválena byla navíc více než desetina (11 %) projektů, u nichž zvolené prostředky neodpovídaly proponovaným cílům; v případě projektů primární prevence to byla dokonce více než pětina (21 %!). Z našeho hlediska stojí za pozornost zejména fakt, že pouze v 9 případech byl řešitelem navrhovaný způsob hodnocení shledán jako odpovídající; v případě primární prevence to bylo dokonce 21 %. Pokud jde o celkový rating úspěšných grantových žádostí, konstatujeme, že to bylo pouze 50 % projektů primární prevence (oproti 82 % u sekundární a terciární prevence), které získaly celkové bodové ohodnocení vyšší než 6 bodů (z 10 možných).

7.	Formální hodnocení finanční zprávy (rating „G“)

Celkově sedm dimenzí hodnocení závěrečných finančních zpráv představuje dekompozici posouzení, které se mohlo realizovat na základě dostupných dokumentů a s relativně omezenými prostředky, které měli hodnotitelé k dispozici.

Tab. č. 30

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(a) Oddělené vedení účtu									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Zpráva nedodána	3	21%	5	28%	2	13%	10	21%	
1 - Ano	7	50%	2	11%	3	17%	12	25%	
2 - Ne	4	29%	11	61%	11	70%	26	54%	
Celkem	14	100%	18	100%	16	100%	48	100%	

	V celé jedné pětině (21 %!) případů nebyly závěrečné finanční zprávy vypisovateli grantu vůbec dodány a pouze čtvrtina řešitelů vedla odděleně účetnictví tak, jak je k tomu zavazovala darovací smlouva; v tomto smyslu je možno hovořit o nedodržení smlouvy u tří čtvrtin držitelů grantu se všemi právními konsekvencemi, které z tohoto konstatování vyplývají. Největší kázeň při respektování příslušného ustanovení darovací smlouvy projevili řešitelé grantů primární prevence (50 % oproti 11 % resp. 17 % u zbývajících typů prevence).

Tab. č. 31

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(b) Strukturovanost									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Zpráva nedodána	3		5	28%	2	12%	10	21%	
1 - Ano	6	43%	7	38%	7	44%	20	42%	
2 - Ne	5	36%	6	34%	7	44%	18	37%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 32

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(c) Transparentnost									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Zpráva nedodána	3	21%	5	28%	2	13%	10	21%	
1 - Ano	5	36%	3	17%	4	25%	12	25%	
2 - Ne	6	43%	10	55%	10	62%	26	54%	
Celkem	14	100%	18	100%	16	B	48	100%	

Tab. č. 33

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(d) Dodržení rozpočtových položek									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Zpráva nedodána	3	21%	5	28%	2	13%	10	21%	
1 - Ano	9	64%	7	39%	6	37%	22	46%	
2 - Ne	2	15%	6	33%	8	50%	16	33%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 34

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(e) Timing									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Zpráva nedodána	3	22%	5	28%	2	13%	10	21%	
1 - Ano	8	56%	13	72%	11	69%	32	67%	
2 - Ne	3	22%			3	18%	6	12%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Tab. č. 35

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY									
(o) Hodnotitelnost									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
1 - Ano	11	79%	13	73%	15	94%	39	81%	
2 - Ne	3	21%	5	27%	1	6%	9	19%	
Celkem	14	100%	18	100%	16	100%	48	100%	

U dalších dimenzí musíme konstatovat, že pouze čtvrtina předkladatelů předložila finanční zprávu, která byla v dostatečné míře transparentní, tj. dávala hodnotitelům příležitost konfrontovat navrhovaný rozpočet s faktickým způsobem využití přidělených prostředků. Celá třetina držitelů grantu nedodržela rozpočtové položky tak, jak byly potvrzeny darovací smlouvou a stejné procento řešitelů nedodrželo další důležitý bod darovací smlouvy, tj. včasné dodání závěrečné zprávy.

Tab. č. 36

G: FORMÁLNÍ HODNOCENÍ FINANČNÍ ZPRÁVY							
(suma) Celkové hodnocení 0-5									
	Primární	Sekundární	Terciární	Celkem	
Hodnota	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0	3	21%	5	28%	5	31%	13	27%	
1	3	21%	6	34%	4	25%	13	27%	
2	1	8%	0	0%	1	6%	2	4%	
3	1	8%	4	22%	2	12%	7	15%	
4	3	21%	1	6%	1	6%	5	10%	
5	3	21%	2	10%	3	20%	8	17%	
Celkem	14	100%	18	100%	16	100%	48	100%	

Celkové hodnocení finanční zprávy, vyjádřené součtem bodových ohodnocení v pěti nedůležitějších dimenzí nevyznívá rovněž příznivě pro schválené projekty: pouze 17 % řešitelů předložilo zprávu, která obstála při hodnocení ve všech dimenzích, které jsme považovali za obligatorní. Oproti jiným sledovaným proměnným dopadlo hodnocení finanční zprávy nejpříznivěji pro projekty primární prevence. Následující tabulka ilustruje vztah mezi celkovým hodnocením finanční zprávy a velikostí grantu, vyjádřenou množstvím přidělených prostředků (nízkorozpočtový grant 0-90.000, grant se středním rozpočtem 91-300.000 a vysokorozpočtový 301.000 a více). Z tabulky vyplývá paradoxní zjištění, že držitelé nejnižších grantů vykazují buď nejvyšší kázeň pokud jde o adekvátní vedení účetní agendy (33%) nebo naopak kázeň nejnižší (40 %). Vysvětlením může být skutečnost, že v případech, kdy žadatelé obdrželi výrazně méně prostředků než žádali, nepovažovali za důležité vést pečlivě účetnictví. Na druhé straně je nepříjemným konstatováním, že držitelé grantů s nejvyšším rozpočtem s nejmenší pravděpodobností předkládali adekvátně připravenou závěrečnou zprávu.
Tab. č. 37

CELKOVÉ HODNOCENÍ FINANČNÍHO AUDITU									
				ROZPOČET						
 	Nehodnotitelné	0-90 tisíc	91-300 tisíc	301 tisíc a více	Celkem	
Hodnocení finančního auditu	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0	1	100%	6	40%	5	26%	1	8%	13	27%	
1			4	27%	5	26%	4	31%	13	27%	
2					2	11%			2	4%	
3					1	5%	6	45%	7	15%	
4					4	21%	1	8%	5	10%	
5			5	33%	2	11%	1	8%	8	17%	
Celkem	1	100%	15	100%	19	100%	13	100%	48	100%	

Konečně poslední tabulka přináší údaje o souvislosti mezi velikostí grantu a splněním cílů definovaných v projektu. Podobně jako u předchozí tabulky se nejedná o lineární závislost, nicméně můžeme konstatovat, že v případě projektů s vysokým rozpočtem (nad 300 tisíc Kč) se s větší pravděpodobností můžeme spolehnout na splnění cílů, které si řešitelé vytkli.

Tab. č. 38

DOSAŽENÍ CÍLŮ PROJEKTU											
				ROZPOČET						
	Nehodnotitelné	0-90 tisíc	91-300 tisíc	301 tisíc a více	Celkem	
Dosažení cílů projektu	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	Abs.	Rel.	
0 - Nehodnotitelné	1	100%	1	7%	2	11%	1	8%	5	10%	
1 - Nesplnění cílů			2	13%	0	0%	0	0%	2	4%	
2 - Částečné splnění cílů			4	27%	10	52%	0	0%	14	29%	
3 - Cílů dosaženo dle výpovědi řešitele			8	53%	3	16%	6	46%	17	35%	
4 - Cílů dosaženo dle závěrečné zprávy					4	21%	6	46%	10	22%	
Celkem	1	100%	15	100%	19	100%	13	100%	48	100%	

VI. Shrnutí

Naše zjištění je možno shrnout následovně:

1.	Celkově lze říci, že úroveň zjišťování efektivity protidrogové prevence je nízká
2.	Dokládání efektů realizovaných projektů není systematicky vyžadováno
3.	Ve všech modalitách zjišťování efektů preventivních aktivit existují rezervy
4.	Řešitelé mnohdy nedodržují vlastní projekt pokud jde o sledování efektivity
5.	Existuje řada případů, kdy nejsou dokonce dodržovány podmínky darovací smlouvy
6.	Projekty primární prevence výrazně zaostávají pokud jde o kvalitu předkládaných dokumentů a dat
7.	Projekty nízkorozpočtové s větší pravděpodobností předkládají lépe zpracované zprávy, vysokorozpočtové projekty spíše dosahují stanovených cílů
8.	Chybí soustavná kultivace oblasti výzkumu efektivity různých forem prevence
9.	Chybí systematická spolupráce s akademickými a školskými institucemi disponujícími výzkumným potenciálem
10.	Nepracuje se na standardizaci metod a procedur sběru dat potřebných k vyhodnocování efektivity jednotlivých forem preventivního působení
11.	Na řadě pracovišť chybí základní znalosti literatury z oblasti sledování účinnosti prevence
12.	Chybí původní publikace zaměřené na sledování efektů protidrogové prevence
13.	Vytváří se falešná distinkce mezi implementací programu a sledováním jeho efektivity, která je beze zbytku delegovatelná „specialistům“
14.	Chybí povinnost dokládat efektivitu projektů realizovaných řešitelem v minulosti (zejména u pokračujících projektů)
15.	Minimální pozornost je věnována operacionalizaci a potenciálu kvantifikovat vlastní aktivity s využitím validních a reliabilních dat
16.	Není využíván potenciál existujícího systému hodnocení:
•	Oponentské posudky nejsou respektovány
•	Darovací smlouvy nejsou vynucovány
•	Data shromažďovaná řešiteli nejsou dostatečně využívána
•	Závěrečné zprávy nejsou systematicky analyzovány
•	Drogoví koordinátoři nereferují dostatečně o jednotlivých projektech 
17.	 Finanční zprávy nasvědčují tomu, že deklarovaná „pravidla hry“ nejsou namnoze respektována a řešitelé nedodržují ustanovení darovací smlouvy

VII. Doporučení

Doporučení systému hodnocení efektivity programů protidrogové prevence bylo jedním ze zadání pro řešitele tohoto grantového úkolu. Jedná se samozřejmě o doporučení velmi předběžná, která musí být dále diskutována především s těmi, kteří sami preventivní programy realizují na straně jedné a těmi, kteří prostředky na implementaci programů poskytují. Naše doporučení jsou tedy spíše jen vymezením okruhů témat a problémů, která bude třeba převést do podoby více či méně standardizovaných procedur. Naše návrhy zahrnují následující doporučení:

1.	Zavedení systému rutinního vyhodnocování realizovaných projektů, který bude vyžadovat zadavatel
2.	Standardizace metodologie pro jednotlivé typy a formy prevence; pro jednotlivé typy prevence by měly být ustaveny týmy, připravující jednotlivé postupy
3.	Využití ratingového schematu použitého u tohoto grantu jako možné východisko úvah o standardizaci postupů při systematickém sledování efektivity protidrogové prevence
4.	Vyžadování „supervidované interní evaluace“ při aplikaci předkládané magistrátu, tj. návrh procedury, která by vycházela z postupů, připravených jednotlivými pracovními skupinami
5.	Posilování role vstupní oponentury, tj. respektování doporučení oponentů ve větší míře než tomu bylo dosud
6.	Zavedení institutu závěrečné oponentury, která by měla implikace pro schvalování projektů pro další období
7.	Zavedení povinnosti doložit efektivitu dosavadní realizace preventivních projektů, zejména tam, kde se jedná o projekty dlouhodobé
8.	Posílení role protidrogových koordinátorů při hodnocení projektů a jejich realizaci v místě jejich působení
9.	Vytváření výzkumných týmů zaměřených na sledování efektivity a vypisování grantů na toto téma
10.	Systematická spolupráce s výzkumnými a školskými pracovišti při realizaci výzkumných záměrů, mj. formou diplomových resp. doktorských prací
11.	Aplikace řešitelů ve výzkumných grantových agenturách (Grantová agentura ČR, Interní grantová agentura MZ ČR apod.)
12.	Pokud jde o standardizaci finanční agendy, navrhujeme:
•	Zavedení syntetického účtu tzv. „samostatného konta“
•	Vyúčtování rozděleno dle jednotlivých položek finanční rozvahy - povinně
•	Předkládání kopií dokladů obligatorně