Nykyisillä arviointimittareilla vaikuttavuudesta saadaan hyvin erilaista ja eritasoista tietoa. Terveyden ja hyvinvoinnin laitoksella kehitetään mittareita, jossa asiakkaiden ja palvelujen käyttäjien ääni on mukana entistä vahvemmin.
Järjestöjen, yhdistysten ja kuntien tuottamia palvelujen arviointia pidetään yhä tärkeämpänä. On meneillään erilaisia kehittämistoimia, joiden avulla pyritään saamaan tietoa palvelujen vaikuttavuudesta. Käytössä olleilla (aika harvoilla) mittareilla vaikuttavuudesta on saatu hyvin erilaista ja eritasoista tietoa. Lyhyen aikavälin mittaamisella ei juurikaan saada esiin muutoksia asiakkaiden tilanteissa saatikka tietoa siitä, millaiset tekijät ovat vaikuttaneet muutosten aikaansaamiseen. (Karjalainen & Kotiranta 2010.) Asiakkaiden ja palvelujen käyttäjien äänen tulisi olla mukana arvioinnissa ja vaikuttavuuden mittaamisessa aivan toisessa määrin kuin se tänään on.
Useimmat tulosmittarit keskittyvät asiakkaan henkilökohtaisessa tilanteessa tapahtuvien muutosten seuraamiseen: onko toimintakyky parantunut tai onko taloudellisessa tilanteessa tapahtunut muutoksia. Ympäristön, rakenteiden tai muiden sosiaalisten tekijöiden vaikutuksia asiakkaiden ongelmiin ei ole huomioitu kovin hyvin, vaikka niillä on suurin vaikutus ongelmien syntymiseen. Mittaamisen kohdistaminen vain asiakkaan ”oireisiin” (esim. itsetunto tai masennus) johtaa pitkällä aikavälillä siihen, että työtä aletaan kohdistaa vain yksilöllisiin kysymyksiin sosiaalisten ja ympäristöön liittyvien tekijöiden jäädessä toimenpiteiden ulkopuolelle. Sosiaalipalveluissa palvelujen käyttäjille esimerkiksi palvelujen esteettömyydellä saattaa olla suuri merkitys.
Kansainvälisesti saatavilla on lukuisa joukko valmiita mittareita ja menetelmiä (Ronnby 2010). Nämä mittarit ovat kuitenkin kulttuurisidonnaisia ja niiden suora soveltaminen suomalaisten sosiaalipalvelujen vaikuttavuuden arviointiin on vaikeaa. Terveyden ja hyvinvointilaitoksen Palvelujärjestelmäosasto tutkii, arvioi ja kehittää sosiaali- ja terveyspalvelujärjestelmää ja palveluja sekä menetelmiä ja käytäntöjä. Tavoitteenamme on edistää tutkittuun tietoon perustuvien menetelmien ja hyvien käytäntöjen esiin saamista kunnissa. Arvioinnin osalta pitkä taustatyö jo Stakesin ajoilta mahdollistaa konkreettisten mittaristojen kehittämisen.
Esimerkkinä aikuisille suunnattujen palvelujen vaikuttavuuden arviointi
Aikuisille tarkoitettuja ”sosiaalisia” palveluja annetaan esimerkiksi työvoiman palvelukeskuksissa, päihde-, mielenterveys- ja vammaispalveluissa. Aikuisille suunnattua sosiaalista tukea ja apua tarjotaan lisäksi lukuisilla muillakin areenoilla. (Karjalainen 2010.) Aikuiset ovat suuri ryhmä erilaisissa asumispalveluissa. Myös terveydenhuollon sosiaalityössä tehdään aikuisväestölle suunnattua palvelua, ohjausta ja neuvontaa.
Aikuisille suunnattujen palvelujen vaikuttavuuden arvioinnissa tulee ottaa huomioon palvelujen käyttäjille suunnatut palvelut, niiden tavoitteet, menetelmät ja aiottu tai oletettu vaikuttavuus. Rajavaaran (2007) mukaan vaikuttavuuden arvioinnissa on mahdollista kohdistaa huomio suoritusten seurannaisvaikutuksiin (effect), ideaaliolosuhteissa aikaansaatuihin suoritusten vaikutuksiin (efficacy) tai suorituksen toteuttamiseen käytettävissä olevien inhimillisten ja taloudellisten voimavarojen puitteissa (effectiveness).
Sosiaalipalveluissa ei useinkaan ole mahdollista tehdä tutkimuksia laboratorioon verrattavissa pysyvissä ympäristöissä. Usein on mahdollisuus tarkastella lähinnä toimintojen välittömiä seurannaisvaikutuksia. Tavoitteiden näkökulmasta voi kiinnostaa, miten on mahdollista päästä haluttuihin tavoitteisiin ja saada tavoitteissa asetettua vaikuttavuutta aikaan. (Rajavaara 2006, 85–88.) Tällöin tarvitaan tietoa palveluympäristöstä ja muista palvelutapahtumaan vaikuttavista tekijöistä. Lisäksi tulee tarkastella tietoa, jota asiakastyön toimenpiteissä hyödynnetään. Tarvitaan palvelujen käyttäjien ja asiakkaiden näkemyksiä, jotta työmenetelmiä, toimintoja ja palveluympäristöjä voidaan kehittää vastaamaan paremmin käyttäjien tarpeita.
Tapauskohtaisen arvioinnin mahdollisuudet
Sosiaalipalveluissa konkreettisia vaikuttavuusarvioinnin mittareita on Suomessa väistelty pitkään vedoten juuri alan monisyiseen ja vaikeasti mitattavaan luonteeseen. Tilanne voi johtaa pahimmillaan siihen, että palveluja mitataan ja arvioidaan muiden tieteen- ja hallinnonalojen luomilla mittareilla, joista asiakkaiden ja palvelujen käyttäjien näkökulma puuttuu kokonaan. Lisäksi huolena on sosiaalipalveluissa käytettävän kokemustiedon jääminen mittaamisen ulkopuolelle (Ronnby 2010, 25).
Näkemyksemme on, että arviointi tulee kytkeä osaksi asiakastyötä, jolloin palvelujen käyttäjä tai asiakas ja työntekijät tekevät vaikuttavuuden arviointia tasaveroisen dialogin välityksellä. Tähän on olemassa erilaisia lähestymistapoja, esimerkiksi valtaistava arviointi (empowerment evaluation), BIKVA-arviointi (Brugerinddragelse i Kvalitetsvurdering) tai toimintatutkimukselliset arvioinnin menetelmät (kts. esim. Kivipelto 2008). Nämä ovat kehittämistyössä hyviä työkaluja, mutta esimerkiksi taloudellisten vaikutusten arviointiin ne eivät sovellu kovin hyvin.
Tapauskohtainen arviointi mahdollistaa pidemmällä aikavälillä työntekijän toiminnan seuraamisen samanaikaisesti asiakkaan tavoitteiden rinnalla.
Tällä hetkellä tutkimme parhaillaan tapauskohtaisen arvioinnin mahdollisuuksia sosiaalipalvelujen vaikuttavuuden arvioinnissa. Tapauskohtainen arviointi mahdollistaa pidemmällä aikavälillä työntekijän toiminnan seuraamisen samanaikaisesti asiakkaan tavoitteiden rinnalla. Lisäksi arvioinnista voidaan laatia yksinkertaisia graafisia taulukoita havainnollistamaan asiakkaan tilanteessa tapahtuneita muutoksia ja niihin liittyviä työntekijän toimintoja. Olisi tutkittava myös menetelmän mahdollisuuksia tuoda erilaisten asiakasryhmien saamien palvelujen vaikuttavuus esille.
Tapauskohtainen arviointi on alun perin kehitetty käytännön sosiaalityöntekijöiden työvälineeksi, ei varsinaisesti tutkimusmetodiksi. Sittemmin menetelmää on sovellettu myös tutkimuksellisesti. Tapauskohtainen arviointi kiinnostaa meitä sen vuoksi, että sosiaalipalveluissa on lähes mahdoton soveltaa puhdasta koeasetelmaa, jossa osalle asiakkaista sovellettaisiin jotakin tiettyä menetelmää, kun taas toista asiakasryhmää ei autettaisi. Tapauskohtaisessa evaluaatiossa sovelletaan koeasetelman perusideaa, mutta ilman vertailuryhmää. (Esim. Kazi 1997; Rostila & Mäntysaari 1997.)
Ennen muuta vaikuttavuuden arvioinnin on tuotava näkyväksi asiakkaiden ja palvelujen käyttäjien tarpeet.
Sosiaalipalveluilla voi olla vaikutusta jopa läpi ihmisen elämän, jolloin vaikutukset ovat kauaskantoisia (Kotiranta 2008, 161–165). Näiden syiden vuoksi vaikuttavuuden arvioinnin mittareita on tutkittava ja kehitettävä aidoissa ympäristöissä ja tilanteissa. Mittaaminen ja arviointi voivat parhaillaan tuoda esiin työn tarpeiden, tavoitteiden, menetelmien ja vaikutusten väliset yhteydet. Mittaaminen ja arviointi auttavat kokoamaan tietoa systemaattisesti ja seuraamaan palveluissa tapahtuvaa kehitystä. Systematisoitu ja dokumentoitu tieto auttaa työntekijöitä perustelemaan resurssien ja kehittämisen tarvettaan esimerkiksi päättäjille ja hallintoviranomaisille. Ennen muuta vaikuttavuuden arvioinnin on tuotava näkyväksi asiakkaiden ja palvelujen käyttäjien tarpeet. Tarvitaan heiltä saatavaa tietoa siitä, miten palveluja tulisi kehittää vastaamaan paremmin heidän tarpeitaan. (Kivipelto 2006.)
Lähteet
Karjalainen, Pekka (2010). Aikuissosiaalityö. Teoksessa: Kananoja, Aulikki; Lähteinen, Martti & Marjamäki, Pirjo (toim.) Sosiaalityön käsikirja. Toinen, uudistettu laitos. Helsinki: Tietosanoma, 197–214.
Karjalainen, Pekka & Kotiranta, Tuija (2010). Alustava kartoitus Suomessa aikuissosiaalityössä käytettävistä vaikutusten arvioinnin menettelytavoista. Terveyden ja hyvinvoinnin laitos, Sosiaali- ja terveyspalvelut, Palvelujärjestelmäosasto.
Kazi, Mansoor (1997). Putting Single-Case Evaluation into Practice. Teoksessa Juliet Cheetham & Mansoor A.F. Kazi (toim.) The Working of Social Work. London and Philadelphia: Jessica Kingsley Publishers, 187–199.
Kivipelto, Minna (2006). Sosiaalityön kriittinen arviointi. Sosiaalityön kriittisen arvioinnin perustelut, teoriat ja menetelmät. Seinäjoen ammattikorkeakoulun julkaisusarja A. Tutkimuksia 3.
Kivipelto, Minna (2008). Osallistava ja valtaistava arviointi. Johdatus periaatteisiin ja käytäntöihin. Stakes. Työpapereita 17. Helsinki.
Kotiranta, Tuija (2008). Aktivoinnin paradoksit. Jyväskylä studies in education, psychology and social research 335. Jyväskylä.
Rajavaara, Marketta (2006). Vaikuttavuuden tietokulttuurit. Hallinnon Tutkimus 25 (83), 81–91.
Rajavaara, Marketta (2007). Vaikuttavuusyhteiskunta. Sosiaalisten olojen arvostelusta vaikutusten todentamiseen. Kelan tutkimusosasto. Sosiaali- ja terveysturvan tutkimuksia 84. Helsinki.
Ronnby, Alf (2010). Vaatimus näyttöön perustuvista menetelmistä tukahduttaa sosiaalityötä. Sosiaalitieto 6–7, 24–25.
Rostila, Ilmari & Mäntysaari, Mikko (1997). Tapauskohtainen evaluointi sosiaalityön välineenä. Stakes. Raportteja 212. Helsinki.
Kirjoittaneet Minna Kivipelto, tutkimuspäällikkö, Tuija Kotiranta, kehittämispäällikkö ja Pekka Karjalainen, erikoistutkija Terveyden ja hyvinvoinnin laitos
Julkaistu alunperin Suuntaajassa 1/2010
