정책평가와 타당도
한마디로무작위 배정은 '정말 정책 덕인가'를, 무작위 추출은 '다른 곳에도 통하나'를 지켜요.
3D 해설 영상

훈련 뒤 취업률이 30%에서 60%로. 정말 훈련 덕분인지(내적), 다른 곳에도 통할지(외적) 따져요.
직접 해 보기
실험 설계 시뮬레이터
○○시가 청년 구직자 면접 코칭 프로그램의 효과를 평가해요. 성과는 모의면접 점수와 6개월 안 취업 여부로 재요. 설계를 고르고, 평가 중에 일어난 일을 켜 보세요. 내적 위협은 ‘정말 코칭 덕인가’를, 외적 위협은 ‘다른 곳에도 통할까’를 흔들어요.
| 대상 집단 | O | X | O |
|---|
비실험한 집단을 정책 전후로 재서 비교해요. 그 사이에 일어난 다른 변화와 정책 효과를 구별하지 못해요.
비교집단이나 무작위 배정이 없어 내적 타당도(효과가 정말 정책 때문인지)가 낮아요. 탐색용으로 쓰여요.
R 무작위 배정 · X 정책(처리) · O 측정
③ 이 설계로 걸러질까?
남는 위협 내적 2 · 외적 1 (일부만 걸러지는 것 포함)
- ✕남아요역사 요인 내적실험 기간에 정책과 상관없는 사건이 일어나 결과에 영향을 줘요.비교집단이 없어 같은 기간의 외부 사건 효과를 빼낼 수 없어요.
- ✕남아요검사 요인 내적사전검사를 치른 경험 때문에 사후검사 점수가 달라져요.전후 점수 차이에 사전검사를 치른 경험의 몫이 섞여요.
- ✕남아요호손 효과 외적실험 대상이라는 걸 알고 평소와 다르게 행동해요. 실험 밖 현실로 일반화하기 어려워요.대상자가 평가받는 걸 알면 어느 설계에서나 생겨요. 대상자가 모르는 자료로 재면 줄어요.
다른 설계를 눌러 보면서 같은 일이 걸러지는지 비교해 보세요. 내적 위협은 설계에 따라 달라지지만, 외적 위협은 대부분 설계로는 막지 못해요.
설계별로 한눈에 보기
표는 옆으로 밀면 진실험까지 보여요.
| 위협 \ 설계 | 비실험 | 비실험 | 비실험 | 준실험 | 준실험 | 진실험 | 진실험 | 진실험 |
|---|---|---|---|---|---|---|---|---|
| 내적역사 요인 | 남아요 | 남아요 | 걸러져요 | 걸러져요 | 남아요 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적성숙 효과 | 남아요 | 남아요 | 일부만 | 걸러져요 | 걸러져요 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적검사 요인 | 해당 없음 | 남아요 | 해당 없음 | 걸러져요 | 걸러져요 | 걸러져요 | 해당 없음 | 걸러져요 |
| 내적도구 요인 | 해당 없음 | 남아요 | 걸러져요 | 걸러져요 | 일부만 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적회귀 요인 | 남아요 | 남아요 | 남아요 | 일부만 | 걸러져요 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적선발 요인 | 남아요 | 해당 없음 | 남아요 | 일부만 | 해당 없음 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적상실 요인 | 남아요 | 일부만 | 남아요 | 일부만 | 일부만 | 일부만 | 일부만 | 일부만 |
| 내적선발과 성숙의 상호작용 | 해당 없음 | 해당 없음 | 남아요 | 남아요 | 해당 없음 | 걸러져요 | 걸러져요 | 걸러져요 |
| 내적모방(오염) 효과 | 해당 없음 | 해당 없음 | 남아요 | 남아요 | 해당 없음 | 남아요 | 남아요 | 남아요 |
| 외적호손 효과 | 남아요 | 남아요 | 남아요 | 일부만 | 일부만 | 남아요 | 남아요 | 남아요 |
| 외적크리밍 효과 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 |
| 외적다수처리 간섭 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 |
| 외적표본의 대표성 부족 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 | 남아요 |
| 외적검사와 처리의 상호작용 | 해당 없음 | 남아요 | 해당 없음 | 남아요 | 남아요 | 남아요 | 걸러져요 | 걸러져요 |
○ 걸러져요 · △ 조건에 따라 남아요 · ✕ 남아요 · – 해당 없음. 캠벨과 스탠리(1963)의 표를 국내 교재 용어로 옮겨 정리했어요. 교재마다 △와 ○ 표시가 조금씩 달라요.
네 가지 타당도와 신뢰도
쿡과 캠벨(1979)이 나눈 정책평가의 타당도예요. 타당도는 평가가 제대로 됐는지 따지는 잣대예요. 같은 면접 코칭 평가에 하나씩 질문을 던져 봐요.
- 구성적 타당도재려는 개념을 제대로 재고 있나? '취업 역량'을 모의면접 점수 하나로 재도 될까?
- 통계적 결론의 타당도효과를 찾아낼 만큼 정밀하고 충분한가? 참가자가 10명뿐이면 효과가 있어도 못 찾을 수 있어요(제2종 오류).
- 내적 타당도그 효과가 정말 이 정책 때문인가? 물류센터 개장 덕분은 아닐까?
- 외적 타당도다른 대상·장소·때에도 통할까? 한 대학 졸업생에게 통한 코칭이 다른 지역 구직자에게도 통할까?
신뢰도와 타당도: 과녁으로 보기
신뢰도 높음 · 타당도 높음늘 같은 곳을, 그것도 중심을 맞혀요. 신뢰도와 타당도가 모두 높아요.
위에서 실험 설계를 고르고, 가운데에서 평가 중에 일어난 일을 켜고 꺼 보세요. 위협마다 '걸러져요·일부만·남아요'가 나와요. 아래 표는 설계별로 무엇을 막는지 한꺼번에 보여 주고, 맨 아래 과녁으로 신뢰도와 타당도의 관계를 확인해요.
핵심 정리
타당도는 평가에 던지는 네 가지 질문이에요
구청의 면접 코칭을 받은 청년들의 합격률이 올랐다고 해 봐요. 쿡과 캠벨은 이렇게 물어요. '면접 실력'을 제대로 쟀나(구성적 타당도), 효과를 찾아낼 만큼 정밀했나(통계적 결론의 타당도), 오른 게 정말 코칭 때문인가(내적 타당도), 다른 곳·다른 때에도 통할까(외적 타당도). 통계적 결론의 타당도가 낮으면 효과가 없는데 있다고 보거나(제1종 오류), 있는데 없다고 보는(제2종 오류) 일이 생겨요.
'정말 정책 때문일까'를 흔드는 것들
코칭 기간에 마침 대기업 채용이 늘었다면, 합격률이 오른 건 코칭 덕이 아닐 수 있어요. 이런 외부 사건을 역사 요인이라 하고, 이처럼 다른 원인이 끼어드는 것을 내적 타당도 위협이라고 해요. 성숙(저절로 변함), 검사(사전검사를 치른 경험이 영향을 줌), 도구(재는 방법이 바뀜), 회귀(극단값이 평균으로 돌아감), 선발(두 집단이 처음부터 다름), 상실(중도 탈락), 선발과 성숙의 상호작용, 모방(통제집단이 처리를 따라 함)도 있어요. 이걸 막는 가장 강한 도구는 무작위 배정과 통제집단이에요.
'다른 곳에서도 통할까'를 흔드는 것들
참가자들이 평가받는 중이라는 걸 알고 평소보다 열심히 했다면, 실제 사업에서는 같은 효과가 안 날 수 있어요(호손 효과). 성과가 좋을 사람만 골라 실험해도 효과가 부풀려져요(크리밍 효과). 다수처리 간섭(여러 처리를 함께 받아 효과가 섞임), 표본의 대표성 부족, 사전검사와 처리의 상호작용도 외적 타당도를 흔들어요. 무작위 '배정'은 내적 타당도를, 무작위 '추출'은 외적 타당도를 지켜요. 주의: 크리밍과 호손을 내적 요인으로도 함께 드는 교재가 있어요.
진실험 · 준실험 · 비실험
지원자를 제비뽑기로 둘로 나눠 한쪽만 코칭하면 진실험이에요. 무작위로 배정한 통제집단이 있어 내적 타당도가 가장 높지만, 비용·윤리 문제와 호손 효과 때문에 실행하기 어렵고 외적 타당도가 떨어질 수 있어요. 준실험(비동질적 통제집단, 단절적 시계열, 회귀불연속 설계)은 무작위 배정 없이 비교해 현실에서 쓰기 쉽지만 선발 요인에 약해요. 비실험(단일집단 사전사후 설계 등)은 역사·성숙·검사 요인을 거의 막지 못해요.
신뢰도와 타당도는 달라요
잴 때마다 늘 2kg씩 덜 나오는 체중계는 값이 일정하니 신뢰도는 높지만, 실제 몸무게를 못 재니 타당도는 낮아요. 신뢰도는 여러 번 재도 같은 결과가 나오는 일관성, 타당도는 재려는 것을 정확히 재는 정도예요. 신뢰도는 타당도의 필요조건이라 신뢰도가 낮으면 타당도도 낮지만, 신뢰도가 높다고 타당도까지 높은 건 아니에요. 신뢰도는 재검사법, 동형검사법, 반분법, 내적 일관성(크론바흐 알파)으로 따져요.
평가는 언제, 무엇을 위해 하느냐로 이름이 달라요
코칭이 진행되는 도중에 강의 방식을 고치려고 하면 형성평가, 끝난 뒤 의도한 효과가 났는지 판단하면 총괄평가예요(스크리븐). 평가성 사정은 본격적인 평가에 앞서 평가가 가능하고 쓸모 있는지 따지는 예비 평가예요(홀리). 메타평가는 이미 한 평가의 질과 방법을 주로 다른 평가자가 다시 따지는 '평가에 대한 평가'예요. 평가 설계·진행 중에 하거나 평가자 스스로 하는 메타평가도 있어요.
이렇게 외워요
내적 아홉: 역성검도 · 회선상 · 상모
역사 · 성숙 · 검사 · 도구 / 회귀 · 선발 · 상실 / 선발과 성숙의 상호작용 · 모방
배정은 안, 추출은 밖
무작위 배정 → 두 집단을 같게 → 내적 타당도 / 무작위 추출 → 표본이 모집단을 닮게 → 외적 타당도
평가의 때
평가성 사정(평가 전) → 형성평가(집행 중, 고치려고) → 총괄평가(집행 뒤, 효과 판단) → 메타평가(주로 평가가 끝난 뒤, 평가를 평가)
암기 카드
남은 카드 9장. ‘다시 볼래요’를 누르면 맨 뒤로 가요.
OX 퀴즈
- 1
무작위 추출은 내적 타당도를, 무작위 배정은 외적 타당도를 높인다.
- 2
호손 효과는 주로 외적 타당도를 떨어뜨리는 요인이다.
- 3
진실험설계는 일반적으로 준실험설계보다 내적 타당도가 높다.
- 4
단일집단 사전사후 설계로도 성숙 효과를 통제할 수 있다.
- 5
측정의 신뢰도가 높으면 타당도도 반드시 높다.
- 6
형성평가는 정책이 끝난 뒤 그 효과를 판단하려고 실시한다.
- 7
메타평가는 이미 이루어진 평가를 대상으로 하는 평가다.
- 8
비동질적 통제집단 설계는 무작위 배정을 하지 않아 선발 요인에 취약하다.
행정학 자료 전체의 카드와 OX를 한 번에 풀려면 행정학 카드·OX 모아 풀기로 가요.
근거
- Campbell & Stanley (1963) Experimental and Quasi-Experimental Designs for Research
- Cook & Campbell (1979) Quasi-Experimentation: Design and Analysis Issues for Field Settings
- Scriven (1967) The Methodology of Evaluation · Wholey (1979) Evaluation: Promise and Performance · Stufflebeam (2001) The Metaevaluation Imperative
- 설계별 통제 여부(○·△·✕)는 위 문헌과 국내 행정학 교재의 공통 정리를 바탕으로 했어요. 교재마다 표시가 조금씩 달라요.
- 면접 코칭·체중계 예시는 학습용으로 지어낸 거예요.
- 7급 행정학 출제 범위는 인사혁신처·각 시도 공고문 확인
학습을 돕는 자료예요. 법령과 제도는 바뀔 수 있으니 시험 직전에는 공식 자료로 다시 확인하세요.
행정학 다른 개념
- 동기부여 이론 피라미드매슬로 피라미드 위에 ERG, 허즈버그, 맥그리거, 아지리스를 색과 괄호 띠로 겹쳐 보며 어느 욕구가 어느 이론의 무엇인지 익혀요.3D 해설 영상행정학 · 3D 모델 · 7급 공무원
- 정책결정모형 지도합리모형부터 쓰레기통모형까지 아홉 모형을 합리성의 강도와 결정 단위로 한 장에 펼쳐 놓고, 눌러서 학자·가정·비판·시험 함정을 확인해요.3D 해설 영상행정학 · 모형 지도 · 7급 공무원
- 예산제도의 변천과 예산원칙품목별 예산에서 신성과주의까지, 예산제도가 통제 → 관리 → 기획 → 감축 → 책임으로 옮겨 간 흐름을 연표로 따라가고 예산원칙의 예외를 짝 맞추기로 외워요.3D 해설 영상행정학 · 연표·짝 맞추기 · 7급 공무원
- 재정건전성: 국가채무·세계잉여금·결산남은 나랏돈(세계잉여금)을 법 순서대로 나눠 보고, 결산 단계마다 날짜를 맞히고, 어떤 빚이 국가채무에 들어가는지 직접 가려 봐요.3D 해설 영상행정학 · 잉여금 나누기·결산 달력 · 7급 공무원
- 예산과정과 예산집행의 신축성예산을 짜고, 국회가 정하고, 쓰고, 검사받는 날짜를 회계연도별로 계산해 보고, 돈을 옮기거나 다음 해로 넘길 때 누가 허락하는지 상황마다 골라 봐요.3D 해설 영상행정학 · 예산 달력·신축성 판정기 · 7급 공무원
- 공무원의 분류와 인사제도차관, 검사, 경찰청장, 국회의원 보좌관 같은 실제 자리가 경력직·특수경력직 어디에 속하는지 맞혀 보고, 직위분류제 용어를 직급표 위에서 눌러 익혀요.3D 해설 영상행정학 · 분류 지도 · 7급 공무원
- 정책의제설정과 정책유형가상 사례로 의제설정 모형을 고르고, 세 흐름을 흘려 정책의 창을 열고, 정책을 로위·윌슨 유형으로 직접 판정해 봐요.3D 해설 영상행정학 · 의제·유형 판정기 · 7급 공무원
- 행정통제와 정부업무평가통제하는 주체와 방식을 구별하고, 사례에 맞는 평가 종류와 계획 주기를 골라 봐요.3D 해설 영상행정학 · 통제 4분면 분류·평가 종류 판정 · 7급 공무원
- 전자정부와 업무재설계전자정부의 유형과 발전 단계를 구별하고, 사례에 맞는 업무재설계 방식을 골라 봐요.3D 해설 영상행정학 · G2C·G2B·G2G 분류·BPR 판정 · 7급 공무원
- 정책분석: 대안·비용편익·미래예측사업의 비용과 편익을 직접 계산하고, 대안을 고르는 기준과 미래를 예상하는 방법을 구별해요.3D 해설 영상행정학 · 비용편익 계산·예측 기법 · 7급 공무원
- 정책집행과 정책네트워크사례를 읽고 하향식·상향식·통합을 가려 보고, 목표와 수단을 누가 정하는지 옮겨 가며 나카무라·스몰우드 다섯 유형을 찾아요. 철의 삼각에서 이슈네트워크까지, 로위의 정책유형까지 직접 나눠 봐요.3D 해설 영상행정학 · 집행 모형 판정기 · 7급 공무원
- 조직구조 변수와 조직 유형규모·기술·환경을 바꿔 가며 내가 짠 구조(복잡성·공식화·집권화)가 상황에 맞는지 채점받고, 민츠버그 다섯 유형, 기능구조부터 네트워크 조직, 관료제의 역기능까지 직접 눌러 보며 익혀요.3D 해설 영상행정학 · 구조 진단기 · 7급 공무원
- 행정이론의 계보정치·행정이원론부터 신공공서비스론·넛지까지 스무 이론을 시대순으로 펼쳐 놓고, 문장이나 학자만 보고 이론을 맞히고, NPM·뉴거버넌스·신공공서비스 비교표를 가려 가며 외워요.3D 해설 영상행정학 · 계보 지도·드릴 · 7급 공무원
- 시장실패·정부실패와 공공서비스 공급물건을 배제·경합 칸에 직접 놓아 재화 유형을 가르고, 실패 원인에 맞는 처방과 민간위탁 방식을 고르고, 숫자를 바꿔 가며 공공기관 유형을 판정해 봐요.3D 해설 영상행정학 · 재화 분류판·공공기관 분류 · 7급 공무원
- 재정의 3기능과 정부 규모·공공선택론정부가 돈을 쓰는 목적을 가리고, 지출이 커지거나 공공재가 모자라는 이유를 직접 확인해요.3D 해설 영상행정학 · 재정 기능 판정·니스카넨 그래프·투표 실험 · 7급 공무원
- 인사기관·고위공무원단·보수·연금기관과 보수 유형을 직접 분류하고, 고위공무원 평가 기준과 연금의 숫자를 적용해 봐요.3D 해설 영상행정학 · 기관 유형·보수 분류·역량평가·연금 연습 · 7급 공무원
- 기관구성·정부간관계·광역행정시장·의회·시지배인에게 권한을 나눠 주며 기관구성 형태를 가려내고, 사례마다 단체장의 견제 수단, 협의회·조합·특별지방자치단체 같은 협력 방식, 다툼을 맡을 위원회를 직접 골라요.3D 해설 영상행정학 · 기관구성 보드·광역행정 고르기 · 7급 공무원
- 공직윤리: 재산등록·이해충돌·청탁금지와 부패 유형1급 실장의 주식, 형이 낸 허가 신청서, 축의금과 화환, 2시간 강의료 같은 사례를 보고 어느 법이 무엇을 하라고 하는지 먼저 고른 뒤 조문으로 확인해요.3D 해설 영상행정학 · 신고해야 할까?·선물 한도 계산 · 7급 공무원
- 넛지·행동경제학 정책수단정책 장면을 넛지·규제·경제적 유인·정보 제공으로 나누고, 선택설계와 사람의 편향이 어떻게 작동하는지 직접 확인해요.3D 해설 영상행정학 · 넛지 판정·디폴트 실험 · 7급 공무원
- 인사평가의 타당성·신뢰성과 평정 방법평가 장면을 직접 판정하며 타당성·신뢰성, 평정 오류, 직무평가 방법과 역량평가를 한 번에 정리해요.3D 해설 영상행정학 · 평정 오류 찾기·직무평가 판 · 7급 공무원
- 행정가치: 공익·정의와 행정의 기준사례를 본질적 가치와 수단적 가치로 나누고, 공익·정의·형평의 기준을 직접 선택해 봐요.3D 해설 영상행정학 · 가치 분류판·무지의 베일 실험 · 7급 공무원
- 리더십·조직문화·공공봉사동기상황에 맞는 리더십을 고르고, 조직문화와 변화를 설명하고, 공공봉사동기의 유형을 장면에 적용해 봐요.3D 해설 영상행정학 · 리더십 상황 시뮬레이터 · 7급 공무원
- 조직이론의 계보와 거시조직이론 2×2이론을 시대와 관점에 따라 놓고, 사람과 조직을 설명하는 주장을 장면에 적용해 봐요.3D 해설 영상행정학 · 이론 계보 배치·2×2 분류·인간관 판정 · 7급 공무원
- 주인-대리인·정부신뢰·숙의·변화관리맡긴 일에서 생기는 문제를 찾고, 시민의 판단과 조직의 변화를 돕는 방법을 골라 봐요.3D 해설 영상행정학 · 역선택·도덕적 해이 판정·변화관리 순서 · 7급 공무원