사회복지조사론 5강 정리｜신뢰도와 타당도, 좋은 측정도구의 기준

1. 연구는 '무엇을 어떻게 재느냐'에서 시작된다

사회복지조사는 사회현상을 체계적으로 관찰하고, 자료를 모으고, 분석해서 의미 있는 결론을 끌어내는 과정이다.

그런데 우리가 알고 싶은 것은

노인의 외로움, 아동의 자아존중감, 가족의 관계 만족도, 프로그램 참여자의 스트레스 변화처럼

눈에 보이지 않는 추상적인 개념이다.

나무의 키는 줄자로 재면 되지만, 마음은 줄자로 잴 수 없다.

그래서 연구자는 두 단계를 거친다.

• 개념적 정의(Conceptual Definition, , 개념을 말로 풀어 정의하는 것): 예를 들어 '외로움'을 "원하는 만큼의 사회적 관계를 갖지 못했다고 느끼는 주관적 상태"로 정의한다.
• 조작적 정의(Operational Definition, , 관찰·측정 가능한 형태로 바꾸는 것): 외로움 척도의 문항 점수, 대화 상대의 수, 사회활동 참여 횟수처럼 실제로 잴 수 있는 지표로 바꾼다.

이렇게 추상적인 개념을 측정 가능하게 만든 도구가 척도(Scale, 스케일)다.

그러나 도구를 썼다고 결과가 저절로 정확해지지는 않는다.

그 도구가 일관된 결과를 내는지, 재려는 것을 제대로 재는지 따져야 한다. 이 두 가지 기준이 바로 신뢰도와 타당도다.

2. 신뢰도(Reliability, 리라이어빌리티): 얼마나 일관적인가

신뢰도는 같은 대상을 같은 조건에서 반복해 측정했을 때 결과가 얼마나 일관되고 안정적인지를 뜻한다.

같은 물건을 올릴 때마다 무게가 달라지는 저울은 신뢰도가 낮다.

같은 나무의 흉고직경(가슴 높이 둘레 직경)을 잴 때마다 값이 들쭉날쭉하다면, 줄자를 대는 위치나 방법이 흔들린 것이다.

사회복지조사에서도 질문이 모호하거나 조사 방식이 제각각이면 결과를 믿기 어렵다.

신뢰도를 높이는 방법

• 질문의 모호성을 없애고 쉽고 명확하게 쓴다.
• 측정 문항 수를 늘린다. (시험에서는 이렇게 출제된다. 문항이 많을수록 우연한 오차가 서로 상쇄되어 신뢰도가 올라간다.)
• 이미 신뢰도와 타당도가 검증된 기존 도구를 사용한다.
• 조사자를 교육해 조사 방법과 절차를 일관되게 한다.
• 응답 조건과 측정 환경을 가능한 한 같게 유지한다.

다만 현장에서는 비슷한 질문을 지나치게 반복하면 알파 계수만 올라가고 내용은 중복되며, 응답자가 지치기도 한다.

시험에서는 "문항 수를 늘린다"를 신뢰도 향상 방법으로 기억하고,

현장에서는 "목적에 맞는 문항을 적절히 구성한다"로 이해하면 된다.

신뢰도를 확인하는 방법

검사-재검사법(Test-Retest Method,  재검사법)

같은 도구를 같은 대상에게 시간 간격을 두고 두 번 실시해 두 결과의 일관성을 본다.

두 점수의 상관계수가 높을수록 신뢰도가 높다.

• 한계: 간격이 짧으면 첫 번째 응답을 기억해 두 번째에 영향을 주고(검사 효과), 너무 길면 대상자가 실제로 변했을 수 있다. 점수 차이가 도구 때문인지 실제 변화 때문인지 구분하기 어려워진다.

복수양식법(Parallel Forms Method,, 동형검사법)

같은 개념을 재도록 만든 동등한 두 가지 도구(A형·B형)를 같은 대상에게 실시해 비교한다.

• 한계: 두 양식이 정말 동등한지가 관건이다. 난이도나 내용이 다르면 비교 자체가 무의미해진다. 동등한 도구를 두 벌 만드는 일 자체도 어렵다.

반분법(Split-Half Method, 스플릿 해프 메소드)

한 도구의 문항을 두 부분으로 나눠 두 점수가 얼마나 일치하는지 본다.

• 한계: 어떻게 나누느냐에 따라 결과가 달라진다. 또 문항 수가 절반으로 줄어 신뢰도가 낮게 나오므로 스피어만-브라운 공식(Spearman-Brown Formula, 스피어맨 브라운 포뮬러)으로 보정한다.

④ 내적 일관성 분석(Internal Consistency Analysis, 인터널 컨시스턴시 애널리시스)

한 척도 안의 여러 문항이 같은 개념을 일관되게 재는지 본다. 대표 지표가 크론바흐 알파(Cronbach’s α, 크론바흐 알파)다.

• 기준: 일반적으로 .70 이상이면 수용 가능, .80 이상이면 양호, .90 이상이면 매우 높다고 본다. 교재와 학자마다 기준이 조금씩 다르며, 탐색적 연구에서는 .60 이상을 참고 수준으로 인정하기도 한다. 다만 .95를 넘으면 비슷한 문항이 중복되었을 가능성도 살핀다.
• 예시: 여가만족도 연구에서 가족생활 영역 .655, 취미생활 영역 .844, 자기계발 영역 .920이 나왔다면, 가족생활 영역은 기준에 못 미쳐 문항 구성을 다시 살펴야 하고, 취미생활 영역은 양호, 자기계발 영역은 매우 높은 내적 일관성을 보인다고 해석한다.
• 주의: 알파가 높다고 타당한 척도가 되는 것은 아니다. 비슷한 문항을 반복하기만 해도 알파는 올라간다.

평가자 간 신뢰도(Inter-rater Reliability, , 관찰자 간 일치도)

관찰이나 면접처럼 사람이 점수를 매기는 경우, 평가자 여러 명의 판단이 얼마나 일치하는지 본다.

산림치유 현장에서 지도사 두 명이 참여자의 정서 상태를 각각 관찰해 기록할 때를 떠올리면 쉽다.

신뢰도 계수는 일관성을 판단하는 자료일 뿐, 그 도구가 올바른 개념을 재고 있음을 증명하지는 않는다.

3. 타당도(Validity, 밸리디티): 재려는 것을 제대로 재는가

신뢰도가 '일관성'이라면 타당도는 '적절성'이다.

실제 50kg인 사람을 잴 때마다 55kg으로 표시하는 저울은 늘 같은 값을 내므로 신뢰도는 높지만,

정확하지 않으므로 타당도는 낮다.

우울감을 재겠다면서 수면시간만 묻는 것도 마찬가지다. 관련은 있지만 우울감 전체를 대변하지는 못한다.

신뢰도와 타당도의 관계

• 신뢰도가 낮으면 타당한 측정이라 할 수 없다. 신뢰도는 타당도의 필요조건이다.
• 신뢰도가 높아도 타당도는 낮을 수 있다. 신뢰도는 타당도의 충분조건이 아니다.
• 타당도가 높으면 신뢰도도 높다고 본다.

사격 표적에 비유하면 이해가 쉽다.

탄착군이 한곳에 모였지만 과녁 중심에서 벗어나 있으면 신뢰도만 높고 타당도는 낮은 경우다.

중심 근처에 고르게 모여야 둘 다 높은 것이다.

4. 타당도의 유형

4-1. 안면 타당도(Face Validity,  액면 타당도)

전문가가 아닌 일반인이 보더라도 "이 문항들이 재려는 개념을 재는 것 같다"고 느끼는, 겉으로 보이는 타당성이다.

가장 약한 타당도로 보며, 다른 타당도를 대신하지는 못한다.

4-2. 내용 타당도(Content Validity, 컨텐트 밸리디티)

문항이 측정하려는 개념의 내용을 충분하고 적절하게 담고 있는가다.

숲경영체험림 만족도를 조사하면서 "경관이 아름다웠습니까?"만 묻는다면

해설의 전문성, 안전성, 활동의 적절성, 심리적 안정감 같은 요소가 빠진다. 내용 타당도가 낮은 것이다.

검토 순서는 이렇다.

1. 개념을 명확히 정의한다.
2. 개념의 하위 영역을 나눈다.
3. 영역별로 문항을 만든다.
4. 전문가 검토로 누락과 적절성을 확인한다.

전문가의 판단이 중요하지만, 검토했다는 사실만으로 타당도가 입증되지는 않는다. 검토 기준과 절차를 분명히 해야 한다.

4-3. 기준 타당도(Criterion Validity, 크라이티리언 밸리디티)

측정 결과가 적절한 외부 기준과 얼마나 관련되는지 본다.

• 동시 타당도(Concurrent Validity, ): 새 도구의 점수를 같은 시기에 측정한 기존의 검증된 기준과 비교한다. 새로 만든 간이 스트레스 척도를 이미 검증된 표준 스트레스 척도와 함께 실시해 비교하는 경우다.
• 예측 타당도(Predictive Validity, ): 현재 점수가 미래의 결과를 얼마나 잘 예측하는지 본다. 채용검사 점수와 입사 후 직무수행 결과의 관련성이 대표 예다.

핵심은 기준 자체가 적절해야 한다는 점이다.

4-4. 구성 타당도(Construct Validity, 컨스트럭트 밸리디티, 구성개념 타당도)

이론적으로 정의된 추상적 개념을 도구가 제대로 반영하는지 본다.

자아존중감, 우울, 사회적 고립감처럼 눈에 안 보이는 개념에 특히 중요하다.

• 수렴 타당도(Convergent Validity, 컨버전트 밸리디티): 이론상 관련되어야 하는 측정치끼리 실제로 관련되는가.
• 판별 타당도(Discriminant Validity, 디스크리미넌트 밸리디티, 변별 타당도): 이론상 구별되어야 하는 개념끼리 실제로 구별되는가. 자아존중감과 자기애는 일부 관련되지만 같은 개념은 아니다.
• 요인 타당도(Factorial Validity, 팩토리얼 밸리디티): 문항들이 이론에서 예상한 하위 요인으로 묶이는가. 요인분석(Factor Analysis, 팩터 애널리시스)을 쓴다. 산림치유 효과를 정서적 안정, 사회적 관계, 신체활동 만족 세 영역으로 설정했다면 실제 응답에서도 그 구조가 나오는지 본다. 통계 결과만 보지 말고 개념적으로 중요한 문항인지도 함께 판단한다.

5. 내적 타당도와 외적 타당도: 연구 결과를 어디까지 믿을까

앞의 타당도들이 '측정도구'를 따졌다면, 이 둘은 '연구 결과의 해석과 적용 범위'를 따진다.

5-1. 내적 타당도(Internal Validity)

관찰된 결과가 연구자가 확인하려는 원인(개입)에 의한 것이라고 얼마나 타당하게 말할 수 있는가다.

산림치유 프로그램 참여자의 스트레스 점수가 내려갔다고 해서 프로그램 덕분이라 단정할 수 있을까?

마침 쉬었을 수도, 집안 문제가 풀렸을 수도, 다른 치료를 받았을 수도 있다.

내적 타당도의 위협 요인

• 역사 효과(History): 연구 기간에 생긴 외부 사건의 영향
• 성숙 효과(Maturation): 시간이 지나며 자연스럽게 일어나는 변화
• 검사 효과(Testing): 사전검사 경험이 사후검사에 미치는 영향
• 도구 효과(Instrumentation): 측정 도구·방법·조사자가 달라져 생기는 변화
• 통계적 회귀(Regression toward the Mean평균으로의 회귀): 극단 점수를 보인 사람이 다음 측정에서 평균 쪽으로 돌아오는 현상
• 선택 편향(Selection Bias): 비교하는 집단이 처음부터 달랐던 경우
• 탈락(Attrition 또는 Mortality ): 중도 탈락으로 집단 특성이 달라지는 경우
• 선택과 성숙의 상호작용, 처치의 확산·모방(통제집단이 실험집단의 내용을 알게 되는 경우), 인과 방향의 불분명함 등도 위협 요인으로 꼽힌다.

무엇이 통제되고 무엇이 남는가

• 통제집단을 두면, 두 집단이 함께 겪는 역사 효과와 성숙 효과, 검사 효과를 어느 정도 걸러낼 수 있다.
• 무작위 배정을 하면 선택 편향을 줄일 수 있다.
• 그러나 탈락 같은 문제는 무작위 배정만으로 해결되지 않는다. 설계와 실행 전 과정을 함께 점검해야 한다.

5-2. 외적 타당도(External Validity, 엑스터널 밸리디티)

연구 결과를 다른 사람, 장소, 시기, 조건에도 적용할 수 있는가, 즉 일반화 가능성이다.

강원도 한 산림치유 프로그램에서 스트레스 감소가 확인됐다고 해서 모든 연령, 모든 지역, 모든 계절에 그대로 적용할 수는 없다.

외적 타당도의 위협 요인

• 표본의 대표성 부족
• 조사 반응성(Reactivity, 리액티비티): 연구 대상자가 관찰받는다는 사실을 의식해 평소와 다르게 행동하는 현상. 대표적인 것이 호손 효과(Hawthorne Effect, 호손 이펙트)다.
• 사전검사와 처치의 상호작용: 사전검사를 받은 사람만 프로그램에 민감하게 반응하는 경우
• 연구 환경과 실제 현장의 차이

대표성 있는 표본을 확보하고, 다양한 환경에서 반복 연구하는 것이 도움이 된다.

다만 무작위 표본추출을 했다고 외적 타당도가 자동으로 확보되지는 않는다. 표본 크기, 응답률, 환경도 함께 본다.

5-3. 무작위 배정, 무작위 표본추출, 매칭: 시험에서 가장 헷갈리는 부분

• 무작위 배정(Random Assignment, 랜덤 어사인먼트): 이미 모집한 참여자를 실험집단과 통제집단에 무작위로 나눈다. 주된 목적은 집단 간 차이를 줄여 인과관계 해석을 돕는 것이고, 주로 내적 타당도와 관련된다.
• 무작위 표본추출(Random Sampling, 랜덤 샘플링): 모집단에서 연구 대상자를 무작위로 뽑는다. 주된 목적은 대표성이고, 주로 외적 타당도와 관련된다. 화천군 주민 중 조사 대상을 무작위로 뽑는 것이 예다.
• 매칭(Matching, 매칭, 짝짓기): 연령, 성별처럼 중요한 특성이 비슷한 사람끼리 짝을 지어 두 집단에 나눠 넣는 방법이다. 무작위 배정이 어려울 때 집단을 비슷하게 맞추는 대안이다. 다만 짝지은 특성 외의 차이까지 통제하지는 못한다.

임업인에게 익숙한 장면으로 바꿔 보면 이렇다.

시비 효과를 보려고 두릅 묘목을 두 구역에 나눠 심을 때, 한쪽만 토양이 좋은 곳에 두면 비료 효과인지 땅의 차이인지 알 수 없다.

묘목을 두 구역에 무작위로 나눠 심는 것이 무작위 배정이다.

그 결과를 전국 두릅 재배지에 적용해도 되는지는 별개의 문제이고, 이것이 외적 타당도다.

6. 실험집단과 통제집단: 프로그램 효과를 어떻게 확인할까

참여 전후의 변화만 보는 것보다 비교집단을 두면 효과를 훨씬 체계적으로 볼 수 있다.

• 실험집단(Experimental Group, 익스페리멘털 그룹): 효과를 확인하려는 프로그램을 받는 집단
• 통제집단(Control Group, 컨트롤 그룹, 비교집단): 프로그램을 받지 않거나, 기존 서비스 또는 다른 비교 조건을 받는 집단

예시다. 점수가 낮을수록 스트레스가 낮은 척도라고 하자.

• 실험집단: 사전 30점, 사후 22점, 8점 감소
• 통제집단: 사전 29점, 사후 27점, 2점 감소

두 집단의 변화량 차이는 6점이고, 프로그램 효과를 검토할 유용한 단서다.

그러나 이 숫자만으로 통계적으로 유의하다거나 오직 프로그램 때문이라고 확정할 수는 없다.

표본 크기, 사전 차이, 자료의 변동, 다른 요인을 함께 분석해야 한다.

연구윤리도 중요하다. 도움이 될 수 있는 프로그램을 통제집단에게 주지 않는 설계가 적절한지 따져야 한다.

대안으로 대기자 통제집단(Waitlist Control Group, 웨이트리스트 컨트롤 그룹, 연구가 끝난 뒤 프로그램을 제공하기로 하고 기다리게 하는 집단)을 두거나, 기존 서비스를 계속 제공하는 방법이 있다.

신청자가 몰리는 산림치유 프로그램에서는 대기 순번을 그대로 활용할 수도 있다.

7. 산림치유 현장에서 생각해 보는 신뢰도와 타당도

숲에서 사람들을 만나다 보면 표정이 편안해지고, 호흡이 안정되고, 대화가 풀리는 순간을 본다. 소중한 현장 자료다.

그러나 관찰만으로 효과가 입증됐다고 하기는 어렵다.

1. 무엇을 잴지 정한다. 스트레스인지, 정서적 안정인지, 관계 변화인지에 따라 도구가 달라진다.
2. 검증된 도구를 쓴다. 전후에 같은 도구를 쓰고 절차를 일관되게 한다.
3. 비교집단을 둔다. 가능하면 비교집단을 구성하고, 건강 상태, 날씨, 프로그램 시간, 활동 강도 같은 영향 요인도 기록한다.
4. 적용 범위를 신중히 판단한다. 소규모 결과를 모두에게 일반화하지 않는다.

숲경영체험림을 꾸미고 프로그램 효과나 방문객 만족도를 정리할 때도 같은 원리다.

정성스럽게 만든 프로그램일수록 "좋았다"는 느낌에서 멈추지 말고, 근거로 남기는 방법을 알아 두면 든든하다.

8. 5강 핵심 개념 한눈에 정리

• 신뢰도: 측정 결과의 일관성과 안정성. 타당도의 필요조건
• 타당도: 재려는 개념을 얼마나 적절하게 재는가
• 검사-재검사법: 같은 도구를 시간 간격을 두고 반복 측정
• 복수양식법: 동등한 두 도구의 결과 비교
• 반분법: 한 도구의 문항을 둘로 나눠 비교, 스피어만-브라운 공식으로 보정
• 크론바흐 알파: 문항 간 내적 일관성의 대표 지표(.70 이상 수용, .80 이상 양호, .90 이상 매우 높음)
• 평가자 간 신뢰도: 여러 평가자의 판단 일치도
• 안면 타당도: 겉으로 보기에 적절한가
• 내용 타당도: 문항이 개념의 내용을 충분히 담았는가
• 기준 타당도: 외부 기준과의 관련성(동시, 예측)
• 구성 타당도: 이론적 개념의 반영 정도(수렴, 판별, 요인)
• 내적 타당도: 결과의 원인 해석이 타당한가
• 외적 타당도: 결과를 다른 집단·환경에 일반화할 수 있는가
• 무작위 배정: 집단에 나누는 방법, 내적 타당도
• 무작위 표본추출: 모집단에서 뽑는 방법, 외적 타당도
• 실험집단과 통제집단: 개입을 받는 집단과 비교 조건 집단

9. 시험 전에 확인할 내용

1. 신뢰도는 일관성, 타당도는 적절성이다. 신뢰도가 높아도 타당도는 낮을 수 있다.
2. 신뢰도 확인 방법은 검사-재검사법, 복수양식법, 반분법, 내적 일관성 분석이다. 크론바흐 알파는 내적 일관성 지표다.
3. 타당도 유형은 내용, 기준(동시·예측), 구성(수렴·판별·요인)이다. 안면 타당도도 함께 기억한다.
4. 내적 타당도는 원인 해석, 외적 타당도는 일반화 가능성이다.
5. 무작위 배정은 집단 나누기(내적), 무작위 표본추출은 대상 뽑기(외적)다.

10. 스스로 점검하는 확인 문제

문제 1. 같은 도구를 같은 대상에게 시간 간격을 두고 반복 실시하는 방법은?
① 복수양식법 ② 검사-재검사법 ③ 반분법 ④ 내용 타당도
정답: ② 검사-재검사법

문제 2. 크론바흐 알파가 주로 평가하는 것은?
① 연구 결과의 일반화 가능성 ② 실험집단과 통제집단의 차이 ③ 문항 간 내적 일관성 ④ 미래 결과의 예측 정확성
정답: ③ 문항 간 내적 일관성

문제 3. 연구 결과를 다른 지역이나 집단에도 적용할 수 있는지와 가장 직접 관련된 개념은?
① 내적 타당도 ② 외적 타당도 ③ 검사 효과 ④ 반분법
정답: ② 외적 타당도

문제 4. 참여자를 실험집단과 통제집단에 무작위로 배정하는 주된 목적은?
① 모집단 전체를 조사하기 위해 ② 문항 수를 늘리기 위해 ③ 집단 간 체계적 차이를 줄여 인과관계 해석을 돕기 위해 ④ 내적 일관성을 계산하기 위해
정답: ③

문제 5. 신뢰도가 높은 척도는 반드시 타당한가?
정답: 아니다. 신뢰도는 일관성을 말할 뿐이고, 재려는 개념을 제대로 재는지는 따로 검토해야 한다. 신뢰도는 타당도의 필요조건이지 충분조건이 아니다.

문제 6. 연구 참여자가 관찰받는다는 사실을 의식해 평소와 다르게 행동하는 현상으로, 외적 타당도를 위협하는 것은?
정답: 조사 반응성(호손 효과)

맺음말｜좋은 연구는 좋은 질문에서 시작된다

5강을 공부하며 다시 확인했다.

숫자로 표현했다고 모두 객관적인 것은 아니고, 같은 결과가 반복된다고 올바른 측정이라는 보장도 없다.

무엇을 재려는지 분명히 하고, 그에 맞는 도구를 고르고, 결과를 신중하게 해석하는 것이 연구의 기본이다.

 

사람의 마음을 다루는 조사에서는 더욱 그렇다.

사람은 환경에 따라 달라지고, 같은 질문에도 경험에 따라 다르게 답하기 때문이다.

숲에서 만나는 사람들의 변화도 마찬가지다.

편안해진 표정과 따뜻한 대화는 소중한 관찰이지만,

그 의미를 더 깊이 나누려면 체계적인 기록과 적절한 측정, 신중한 검증이 필요하다.

현장에서 발견한 변화를 연구의 언어로 설명하고, 연구에서 얻은 근거를 다시 현장으로 가져오는 것.

 한 강의씩 배우고, 내 언어로 정리하고, 다시 현장과 연결하는 공부. 오늘의 배움도 그렇게 차곡차곡 쌓아 둔다.

 

ㅡ여성임업인루시아🌲