연구방법론(평가도구의 준거/측정과 척도/신뢰도/타당도)

연구방법론

1. 평가도구의 준거

(1) 표준화 : 검사 시행을 위한 절차나 조건상의 일관성 혹은 동일성을 갖추고 있는 것

(2) 신뢰도 : 평가도구가 시간의 경과에도 불구하고 반응의 일관성을 나타내 보이는가에 관한 것

(3) 타당도 : 평가도구가 측정하고자 하는 것을 충실히(정확히) 재고 있는가에 관한 것

(4) 객관도 : 평가자 혹은 채점자 간의 채점이 어느 정도 신뢰할만하고 일관성이 있는가에 대한 것(신뢰도의 일종, ‘검사자의 신뢰도’라고도 불림)

(5) 실용도 : 평가도구가 얼마나 적은 시간과 비용, 노력을 투입하여 얼마나 많은 목표를 달 성할 수 있는가에 대한 것

 

2. 측정과 척도

1) 측정의 의의

- 일정한 규칙에 따라 사물 또는 사건에 대해 숫자를 부여하는 것

 

2) 측정의 과정으로서 개념적 정의와 조작적 정의

(1) 개념적 정의

- 연구의 대상 또는 현상 등을 보다 명확하고 정확하게 표현하기 위해 개념적으로 정의하는 것

- 상징적인 것으로서 의사소통을 가능하게 해 줌

- 문제의 개념적 정의화는 사전적으로 정의를 내리는 것이므로 추상적.주관적인 양상

(2) 조작적 정의

- 개념이 추상적이어서 직접 조사하기 어려운 경우 그것을 측정 가능한 형태로 대체하거나 지수로 정립하는 것

- 추상적인 개념적 정의를 실증적.경험적으로 측정이 가능하도록 구체화하여 정의를 내리는 것으로서, 될 수 있는 한 실행 가능하고 관찰 가능한 것으로 구성개념을 변환한 것

- 조작적 정의의 최종산물은 수량화(계량화)이며 양적 조사에서 중요한 과정에 해당됨

 

3) 척도의 의의

- 일종의 측정도구로서 일정한 규칙에 따라 측정대상에 적용할 수 있도록 만들어진 일련의 체계화된 기호 또는 숫자

- ‘연속성’은 척도의 중요한 속성으로서 실제로 측정대상의 속성과 일대일 대응의 관계를 맺으면서 대상의 속성을 양적 표현으로 전환하도록 함

 

4) 척도의 종류

명명척도 (명목척도)	• 숫자의 차이가 대상에 따라 측정한 속성이 다르다는 것만을 나타내는 척도 예) 축구선수의 등번호
서열척도	• 숫자의 차이가 측정한 속성의 차이에 관한 정보뿐만 아니라 순위관계에 대한 정보도 포함하는 척도 예) 학급 석차
등간척도	• 수치상의 차이가 실제 측정한 속성들 간의 차이와 동일한 숫자집합을 나타내 는 척도 예) 온도 측정
비율척도	• 차이정보, 서열정보, 등간정보 외에 수의 비율에 관한 정보까지 담고 있는 척도 • 등간척도가 지니는 성격에 더하여 절대영점을 가짐으로써 비율의 성격 지님 예) 90, 60, 30kg인 세 사람의 몸무게

 

3. 신뢰도

1) 의의 및 특징

- 개인차, 검사의 문항 수 및 문항반응 수, 검사의 유형, 신뢰도 추정방법 등에 영향을 받음

내적 신뢰도	• 사건이나 현상에 대한 관찰자들 간의 일치도로서, 연구자료의 수집 및 분 석, 해석 상의 일관성 정도 • 다른 연구자들에게 이미 산출된 일련이 구성개념을 제시했을 때 본래의 연구자가 했던 것과 동일한 방식으로 자료와 구성개념을 결부시킬 수 있다면 내적 신뢰도가 높음
외적 신뢰도	• 연구결과에 있어서의 일치도 • 동일한 설계를 바탕으로 다른 연구자들도 동일한 현상을 발견하거나 유사 한 상황에서 동일한 구성개념을 산출한다면 외적 신뢰도가 높음

 

2) 신뢰도의 추정방법

(1) 검사-재검사 신뢰도

- 적용은 간편하나 대부분의 시리검사에서 신뢰도를 찾기 위한 방법으로는 부적합

(2) 동형검사 신뢰도

- 문항수, 문항 표현 방식, 문항 내용 및 범위, 문항 난이도, 검사 지시내용, 구체적인 설명, 시간제한 등 다양한 측면에서 동등성 검증이 중요

(3) 반분신뢰도

- 반분된 항목 수는 적어도 8~10개 정도 필요

(4) 문항내적합치도

- 가능한 한 모든 반분신뢰도를 구한 다음 그 평균값을 신뢰도로 추정하는 방법

- 쿠더와 리처드슨에 의해 처음 개발

- 크론바흐 알팔계수에서 크론바흐 알파 값은 ‘0~1’의 값을 가지며, 값이 클수록 검사 문항들이 동질적이고 신뢰도가 높음

- 반분신뢰도와 같이 단 한 번의 시행으로 신뢰도를 구할 수 있으나, 검사 내용이 이질적인 경우 신뢰도 계수가 낮아짐

(5) 관찰자 신뢰도(채점자 신뢰도)

- 관찰의 안정성을 기초로 한 신뢰도 추정방법

재검사적 관찰자 신뢰도 (관찰자 내 신뢰도)	• 한 사람의 관찰자가 일정한 관찰지침과 절차에 의거하여 동일 측정대상에 대해 시간적 간격에 의한 반복관찰을 시행한 후, 그 결과의 상관관계를 점수로 산정하여 신뢰도를 평가
대안적 관찰자 신뢰도 (관찰자 간 신뢰도)	• 두 사람 이상의 관찰자가 일정한 관찰지침과 절차에 의거하여 독립적인 관찰을 시행한 후, 관찰자 간 관찰의 결과를 점수로 산정하여 신뢰도를 평가

 

4. 타당도

1) 의의 및 특징

- 시간의 경과, 우연한 사건, 실험대상의 탈락, 테스트 효과, 선별요인, 도구요인 등 다양한 요인들에 의해 영향을 받음

내적 타당도	• 어떤 연구에서 종속변인에 나타난 변화가 독립변인의 영향 때문이라고 추 론할 수 있는 정도 • 각 변수 사이의 인과관계를 추론하여 그것이 실험에 의한 진정한 변화에 의한 것으로 판명되는 경우 내적 타당도가 높음
외적 타당도	• 연구의 결과에 의해 기술된 인과관계가 연구대상 이외의 경우로 확대.일반화될 수 있는 정도 • 내적 타당도가 연구결과의 정확성과 관련된 개념이라면, 외적 타당도는 연 구결과의 일반화 가능성의 문제와 연관

 

2) 타당도의 추정방법

(1) 내용타당도(논리적 타당도)

- 검사의 문항들이 그 검사가 측정하고자 하는 내용영역을 얼마나 잘 반영하고 있는지를 나타냄

- 논리적인 분석 과정으로 판단하는 주관적인 타당도로서, 객관적인 자료에 근거하지 않으므로 타당도 계수 산출이 어려움

예) ‘10대 청소년들의 부모에 대한 관심도’ 측정을 위해서는 ‘자신의 부모를 좋아하는지’ 보다 ‘자신의 부모에 대해 얼마나 알고 있는지’ 묻는 문항이 더 적합함

- 안면타당도(액면타당도): 내용타당도가 전문가의 평가 및 판단에 근거한 반면,  안면타당도는 일반인의 일반적인 상식에 준하여 분석함

 

(2) 준거타당도(기준타당도/준거관련타당도)

- 경험적 근거에 의해 타당도를 확인하는 방법

- 이미 전문가가 만들어놓은 신뢰도와 타당도가 검증된 측정도구에 의한 측정결과를 기준으로 함

- 통계적으로 타당도를 평가하는 것으로서, 사용하고 있는 측정도구의 측정값과 기준이 되는 측정도구의 측정값 간의 상관관계에 관심을 둠

- 준거변인에 관한 측정이 행해지는 시기에 따라 동시타당도와 예언타당도로 구분

동시타당도 (공인타당도)	• 새로 제작한 검사의 타당도를 위해 기존에 타당도를 보장받고 있는 검사와 의 유사성 혹은 연관성에 의해 타당도 검증 예) 근무실적이 좋은 재직자가 시험에서도 높은 성적을 얻었다면 해당 시험은 타당도를 갖추었다고 볼 수 있음
예언타당도 (예측타당도)	• 어떠한 행위가 일어날 것이라고 예측한 것과 실제 대상자 또는 집단이 나 타낸 행위 간의 관계를 측정 예) 적성검사에서 높은 점수를 받은 사람들이 입사 후 업무수행이 우수한 것으로 나타났다면 해당 검사는 타당도를 갖추었다고 볼 수 있음

 

(3) 구성타당도(구인타당도/개념타당도)

- 검사가 해당 이론적 구성개념이나 특성을 잘 측정하는 정도

- 객관적인 관찰이 어려운 추상적인 개념(적성, 지능, 흥미, 직무만족, 동기, 외향성 등)을 얼마나 잘 측정하는지를 나타냄

- 심리검사가 포함하고 있는 행동표본들이 실제 그 검사가 측정하고자 하는 구성개념을 잘 반영하는가 하는 것

수렴타당도 (집중타당도)	• 새로 개발한 검사를 기존의 검사들과 비교해서 상관계수를 구하는 방법 • 상관계수가 높을수록 타당도가 높음 예) 지능지수(IQ)와 학교성적 간의 상관계수가 높게 나타났다면 새로운 지능 검사는 지능이라는 개념을 잘 측정한 것으로 볼 수 있음
변별타당도 (판별타당도)	• 다른 특성을 측정하는 다른 종류의 검사와의 상관계수를 구하는 방법 • 상관계수가 낮을수록 타당도가 높음 예) 지능지수(IQ)와 외모의 상관계수가 높게 나타났다면 새로운 지능검사는 지능이라는 개념을 잘 측정하지 못한 것으로 볼 수 있음
요인분석	• 검사를 구성하는 문항들의 상관관계를 분석하여 상관이 높은 문항들을 묶 어주는 통계적 방법 예) 수학과 과학 문항들을 혼합하여 하나의 시험으로 치르는 경우, 수학을 잘하는 학생의 경우 수학 문항들에 대해, 과학을 잘하는 학생의 경우 과학 문항들에 대해 좋은 결과를 나타내 보일 것이므로 해당 문항들은 두 개의 군집, 즉 요인으로 추출될 것임