본문으로 건너뛰기
장원급제

정책평가와 타당도

실험 설계를 고르고 '중간에 그만둔 사람이 있었다', '평가 대상인 걸 알았다' 같은 일을 켜 보면, 어떤 위협이 남고 어떤 설계가 그걸 막는지 바로 보여요.

한마디로무작위 배정은 '정말 정책 덕인가'를, 무작위 추출은 '다른 곳에도 통하나'를 지켜요.

3D 해설 영상

훈련 덕분일까?: 훈련 뒤 취업률이 30%에서 60%로. 정말 훈련 덕분인지(내적), 다른 곳에도 통할지(외적) 따져요.

훈련 뒤 취업률이 30%에서 60%로. 정말 훈련 덕분인지(내적), 다른 곳에도 통할지(외적) 따져요.

0:00 / 3:06

직접 해 보기

실험 설계 시뮬레이터

○○시가 청년 구직자 면접 코칭 프로그램의 효과를 평가해요. 성과는 모의면접 점수와 6개월 안 취업 여부로 재요. 설계를 고르고, 평가 중에 일어난 일을 켜 보세요. 내적 위협은 ‘정말 코칭 덕인가’를, 외적 위협은 ‘다른 곳에도 통할까’를 흔들어요.

① 실험 설계

비실험

준실험

진실험

대상 집단OXO

비실험한 집단을 정책 전후로 재서 비교해요. 그 사이에 일어난 다른 변화와 정책 효과를 구별하지 못해요.

비교집단이나 무작위 배정이 없어 내적 타당도(효과가 정말 정책 때문인지)가 낮아요. 탐색용으로 쓰여요.

R 무작위 배정 · X 정책(처리) · O 측정

② 평가 중에 일어난 일

시간과 사건

측정

사람 고르기

실험 진행

③ 이 설계로 걸러질까?

남는 위협 내적 2 · 외적 1 (일부만 걸러지는 것 포함)

  • ✕남아요역사 요인 내적실험 기간에 정책과 상관없는 사건이 일어나 결과에 영향을 줘요.비교집단이 없어 같은 기간의 외부 사건 효과를 빼낼 수 없어요.
  • ✕남아요검사 요인 내적사전검사를 치른 경험 때문에 사후검사 점수가 달라져요.전후 점수 차이에 사전검사를 치른 경험의 몫이 섞여요.
  • ✕남아요호손 효과 외적실험 대상이라는 걸 알고 평소와 다르게 행동해요. 실험 밖 현실로 일반화하기 어려워요.대상자가 평가받는 걸 알면 어느 설계에서나 생겨요. 대상자가 모르는 자료로 재면 줄어요.

다른 설계를 눌러 보면서 같은 일이 걸러지는지 비교해 보세요. 내적 위협은 설계에 따라 달라지지만, 외적 위협은 대부분 설계로는 막지 못해요.

설계별로 한눈에 보기

표는 옆으로 밀면 진실험까지 보여요.

위협 \ 설계비실험비실험비실험준실험준실험진실험진실험진실험
내적역사 요인남아요남아요걸러져요걸러져요남아요걸러져요걸러져요걸러져요
내적성숙 효과남아요남아요일부만걸러져요걸러져요걸러져요걸러져요걸러져요
내적검사 요인해당 없음남아요해당 없음걸러져요걸러져요걸러져요해당 없음걸러져요
내적도구 요인해당 없음남아요걸러져요걸러져요일부만걸러져요걸러져요걸러져요
내적회귀 요인남아요남아요남아요일부만걸러져요걸러져요걸러져요걸러져요
내적선발 요인남아요해당 없음남아요일부만해당 없음걸러져요걸러져요걸러져요
내적상실 요인남아요일부만남아요일부만일부만일부만일부만일부만
내적선발과 성숙의 상호작용해당 없음해당 없음남아요남아요해당 없음걸러져요걸러져요걸러져요
내적모방(오염) 효과해당 없음해당 없음남아요남아요해당 없음남아요남아요남아요
외적호손 효과남아요남아요남아요일부만일부만남아요남아요남아요
외적크리밍 효과남아요남아요남아요남아요남아요남아요남아요남아요
외적다수처리 간섭남아요남아요남아요남아요남아요남아요남아요남아요
외적표본의 대표성 부족남아요남아요남아요남아요남아요남아요남아요남아요
외적검사와 처리의 상호작용해당 없음남아요해당 없음남아요남아요남아요걸러져요걸러져요

○ 걸러져요 · △ 조건에 따라 남아요 · ✕ 남아요 · – 해당 없음. 캠벨과 스탠리(1963)의 표를 국내 교재 용어로 옮겨 정리했어요. 교재마다 △와 ○ 표시가 조금씩 달라요.

네 가지 타당도와 신뢰도

쿡과 캠벨(1979)이 나눈 정책평가의 타당도예요. 타당도는 평가가 제대로 됐는지 따지는 잣대예요. 같은 면접 코칭 평가에 하나씩 질문을 던져 봐요.

  • 구성적 타당도재려는 개념을 제대로 재고 있나? '취업 역량'을 모의면접 점수 하나로 재도 될까?
  • 통계적 결론의 타당도효과를 찾아낼 만큼 정밀하고 충분한가? 참가자가 10명뿐이면 효과가 있어도 못 찾을 수 있어요(제2종 오류).
  • 내적 타당도그 효과가 정말 이 정책 때문인가? 물류센터 개장 덕분은 아닐까?
  • 외적 타당도다른 대상·장소·때에도 통할까? 한 대학 졸업생에게 통한 코칭이 다른 지역 구직자에게도 통할까?

신뢰도와 타당도: 과녁으로 보기

측정 결과의 일관성
겨냥한 곳

신뢰도 높음 · 타당도 높음늘 같은 곳을, 그것도 중심을 맞혀요. 신뢰도와 타당도가 모두 높아요.

위에서 실험 설계를 고르고, 가운데에서 평가 중에 일어난 일을 켜고 꺼 보세요. 위협마다 '걸러져요·일부만·남아요'가 나와요. 아래 표는 설계별로 무엇을 막는지 한꺼번에 보여 주고, 맨 아래 과녁으로 신뢰도와 타당도의 관계를 확인해요.

핵심 정리

타당도는 평가에 던지는 네 가지 질문이에요

구청의 면접 코칭을 받은 청년들의 합격률이 올랐다고 해 봐요. 쿡과 캠벨은 이렇게 물어요. '면접 실력'을 제대로 쟀나(구성적 타당도), 효과를 찾아낼 만큼 정밀했나(통계적 결론의 타당도), 오른 게 정말 코칭 때문인가(내적 타당도), 다른 곳·다른 때에도 통할까(외적 타당도). 통계적 결론의 타당도가 낮으면 효과가 없는데 있다고 보거나(제1종 오류), 있는데 없다고 보는(제2종 오류) 일이 생겨요.

'정말 정책 때문일까'를 흔드는 것들

코칭 기간에 마침 대기업 채용이 늘었다면, 합격률이 오른 건 코칭 덕이 아닐 수 있어요. 이런 외부 사건을 역사 요인이라 하고, 이처럼 다른 원인이 끼어드는 것을 내적 타당도 위협이라고 해요. 성숙(저절로 변함), 검사(사전검사를 치른 경험이 영향을 줌), 도구(재는 방법이 바뀜), 회귀(극단값이 평균으로 돌아감), 선발(두 집단이 처음부터 다름), 상실(중도 탈락), 선발과 성숙의 상호작용, 모방(통제집단이 처리를 따라 함)도 있어요. 이걸 막는 가장 강한 도구는 무작위 배정과 통제집단이에요.

'다른 곳에서도 통할까'를 흔드는 것들

참가자들이 평가받는 중이라는 걸 알고 평소보다 열심히 했다면, 실제 사업에서는 같은 효과가 안 날 수 있어요(호손 효과). 성과가 좋을 사람만 골라 실험해도 효과가 부풀려져요(크리밍 효과). 다수처리 간섭(여러 처리를 함께 받아 효과가 섞임), 표본의 대표성 부족, 사전검사와 처리의 상호작용도 외적 타당도를 흔들어요. 무작위 '배정'은 내적 타당도를, 무작위 '추출'은 외적 타당도를 지켜요. 주의: 크리밍과 호손을 내적 요인으로도 함께 드는 교재가 있어요.

진실험 · 준실험 · 비실험

지원자를 제비뽑기로 둘로 나눠 한쪽만 코칭하면 진실험이에요. 무작위로 배정한 통제집단이 있어 내적 타당도가 가장 높지만, 비용·윤리 문제와 호손 효과 때문에 실행하기 어렵고 외적 타당도가 떨어질 수 있어요. 준실험(비동질적 통제집단, 단절적 시계열, 회귀불연속 설계)은 무작위 배정 없이 비교해 현실에서 쓰기 쉽지만 선발 요인에 약해요. 비실험(단일집단 사전사후 설계 등)은 역사·성숙·검사 요인을 거의 막지 못해요.

신뢰도와 타당도는 달라요

잴 때마다 늘 2kg씩 덜 나오는 체중계는 값이 일정하니 신뢰도는 높지만, 실제 몸무게를 못 재니 타당도는 낮아요. 신뢰도는 여러 번 재도 같은 결과가 나오는 일관성, 타당도는 재려는 것을 정확히 재는 정도예요. 신뢰도는 타당도의 필요조건이라 신뢰도가 낮으면 타당도도 낮지만, 신뢰도가 높다고 타당도까지 높은 건 아니에요. 신뢰도는 재검사법, 동형검사법, 반분법, 내적 일관성(크론바흐 알파)으로 따져요.

평가는 언제, 무엇을 위해 하느냐로 이름이 달라요

코칭이 진행되는 도중에 강의 방식을 고치려고 하면 형성평가, 끝난 뒤 의도한 효과가 났는지 판단하면 총괄평가예요(스크리븐). 평가성 사정은 본격적인 평가에 앞서 평가가 가능하고 쓸모 있는지 따지는 예비 평가예요(홀리). 메타평가는 이미 한 평가의 질과 방법을 주로 다른 평가자가 다시 따지는 '평가에 대한 평가'예요. 평가 설계·진행 중에 하거나 평가자 스스로 하는 메타평가도 있어요.

이렇게 외워요

  • 내적 아홉: 역성검도 · 회선상 · 상모

    역사 · 성숙 · 검사 · 도구 / 회귀 · 선발 · 상실 / 선발과 성숙의 상호작용 · 모방

  • 배정은 안, 추출은 밖

    무작위 배정 → 두 집단을 같게 → 내적 타당도 / 무작위 추출 → 표본이 모집단을 닮게 → 외적 타당도

  • 평가의 때

    평가성 사정(평가 전) → 형성평가(집행 중, 고치려고) → 총괄평가(집행 뒤, 효과 판단) → 메타평가(주로 평가가 끝난 뒤, 평가를 평가)

암기 카드

외운 카드 0 / 9

남은 카드 9장. ‘다시 볼래요’를 누르면 맨 뒤로 가요.

OX 퀴즈

0 / 8 풀었어요
  1. 1

    무작위 추출은 내적 타당도를, 무작위 배정은 외적 타당도를 높인다.

  2. 2

    호손 효과는 주로 외적 타당도를 떨어뜨리는 요인이다.

  3. 3

    진실험설계는 일반적으로 준실험설계보다 내적 타당도가 높다.

  4. 4

    단일집단 사전사후 설계로도 성숙 효과를 통제할 수 있다.

  5. 5

    측정의 신뢰도가 높으면 타당도도 반드시 높다.

  6. 6

    형성평가는 정책이 끝난 뒤 그 효과를 판단하려고 실시한다.

  7. 7

    메타평가는 이미 이루어진 평가를 대상으로 하는 평가다.

  8. 8

    비동질적 통제집단 설계는 무작위 배정을 하지 않아 선발 요인에 취약하다.

행정학 자료 전체의 카드와 OX를 한 번에 풀려면 행정학 카드·OX 모아 풀기로 가요.

근거

  • Campbell & Stanley (1963) Experimental and Quasi-Experimental Designs for Research
  • Cook & Campbell (1979) Quasi-Experimentation: Design and Analysis Issues for Field Settings
  • Scriven (1967) The Methodology of Evaluation · Wholey (1979) Evaluation: Promise and Performance · Stufflebeam (2001) The Metaevaluation Imperative
  • 설계별 통제 여부(○·△·✕)는 위 문헌과 국내 행정학 교재의 공통 정리를 바탕으로 했어요. 교재마다 표시가 조금씩 달라요.
  • 면접 코칭·체중계 예시는 학습용으로 지어낸 거예요.
  • 7급 행정학 출제 범위는 인사혁신처·각 시도 공고문 확인

학습을 돕는 자료예요. 법령과 제도는 바뀔 수 있으니 시험 직전에는 공식 자료로 다시 확인하세요.

행정학 다른 개념

국가직 7급 개념 전체 보기