Chap05. 진단 및 선별검사의 타당도와 신뢰도 평가

진단 및 선별검사의 타당도와 신뢰도 평가

• 질병의 전파와 발생을 이해하기 위해 질병이 있는 집단과 질병이 없는 집단으로 구별
• 기준점(cutoff)은 (통계학적 선택이 아닌) 생물학적 현상에 근거하여 정해야 함
• 대부분의 일반적인 상황에서는 이산분포의 특징을 갖지 않으므로 경계역(gray zone)을 정하기 어렵고 그에 포함되는 대상자들의 구분이 어려움

Validity of Screening Tests (선별검사의 타당도)

검사결과	질병 있음	질병 없음
양성	TP(true positive)	FP(false positive)
음성	FN(false negative)	TN(true negative)

• 검사의 타당도(validity) : 질병의 유무를 판별할 수 있는 능력
• 민감도(sensitivity) : 질병이 있는 사람을 실제 검사에서 질병이 있다고 정확하게 판정할 수 있는 능력
  = TP / TP + FN
• 타당도(specificity) : 질병이 없는 사람을 실제 검사에서 질병이 없다고 정확하게 판정할 수 있는 능력
  = TN / TN + FP
• 거짓 양성(FP) : 선별된 모든 사람에게 검사 수행으로 보건 의료체계 부담과 당사자의 불안 야기
• 거짓 음성(FN) : 효과적 중재가 필요한 심각한 질병일수록 치명적
• 선별검사의 기준 설정은 곧 거짓 양성과 거짓음성의 중요성 문제

 

 

여러 검사방법의 사용

Sequential (Two-stage) Testing (순차적(2단계) 검사)

• 덜 비싸고 덜 위험하고 덜 불편한 검사 먼저 수행 후, 결과가 양성인 사람들에게 추가검사를 시행함으로써 1차 검사결과로 인한 거짓양성의 문제를 줄임

Simultaneous Testing (동시 수행 검사)

• 총 민감도는 검사 A, 검사 B 또는 두 검사 모두 양성
• 총 특이도는 두 검사 모두 음성

 

검사	민감도	특이도
1차 검사	80%	60%
2차 검사	90%	90%
순차적 검사 후	80% $\times$ 90% = 72%	60% + ( 40% $\times$ 90%) = 96%
동시 검사 후	(80% $\times$ 10%) + (80% $\times$ 90%) + (90% $\times$ 20%) = 98%	60% $\times$ 90% = 54%

 

동시적 검사와 순차적 검사의 비교

• 순차적 검사 사용시 첫 검사보다 두번째 검사 수행시 총 민감도 감소, 총 특이도 증가
• 동시 검사 사용시 퉁 민감도 증가, 총 특이도 감소

 

 

Predictive Value of a Test (검사의 예측치)

• positive predictive value(양성 예측치) : 검사결과가 양성일 때, 실제로 질병이 있을 가능성
  = TP / TP + FP
• negative predictive value(음성 예측치) : 검사결과가 음성일 때, 실제로 질병이 없을 가능성
  = TN / FN + TN

예측치와 질병유병률의 관계

• 유병률이 높을수록 양성 예측치 높음
• 고위험군 대상시 선별 프로그램 효과적
• 같은 검사라도 위험군(유병률)의 고저에 따라 다른 예측치를 가지므로 검사의 결과는 대상자가 포함된 인구집단의 유병률을 고려해서 해석되어야 함

검사의 양성 예측치와 특이도의 관계

• 특이도의 증가는 민감도 증가보다 더 큰 예측치의 증가를 가져옴
• 일반적으로 유병률이 낮으므로(드문 질병) 동일한 변화 시 더 많은 영향을 미치기 때문

 

 

Reliability(Repeatability) of Tests (검사의 신뢰도(반복성))

개체 내 변이

Intraobserrer Variation(관찰자내 변이)

• 각 대상자 내에서의 변이
• 같은 관찰자가 수행한 두 개의 관찰 사이에서 발생(시점의 차이)
• 판독을 하는 주관적 요소가 클수록 높음

Interobserrer Variation관찰자간 변이

• 검사를 판독하는 사람들 간의 변이
• 두 검사자의 검사결과의 차이에서 발생
• 일치의 정도를 양적 크기로의 표현 필요

 

전체적인 일치백분율

판정	관찰자1: 양성	관찰자1: 음성	관찰자1의 판정 확률
관찰자2: 양성	$a$ (45)	$b$ (10)	55(%)
관찰자2: 음성	$c$ (15)	$d$ (30)	45(%)
관찰자2의 판정확률	60(%)	40(%)	100

• 전체적인 일치백분율 = 두 관찰자 모두 일치된 결과 수 / 총 판독수 x 100

$$= \frac{a + d}{ a + b + c + d } \times 100 (\text{%})$$

• 일반적인 검사의 대부분은 음성결과이므로 두 관찰자 모두 음성으로 판정한 경우는 제외하고 일치백분율 계산. 즉, 두 관찰자에 의한 각 쌍의 결과 중 적어도 하나가 양성 판독일 때

$$일치백분율 = \frac{a} {a + b + c} \times 100 (\text{%})$$

 

Kappa statistics (카파 통계량)

$Kappa$

$$= \dfrac{\text{관찰자의 판정의 일치 정도가 우연에 의한 일치보다 얼마나 더 큰가?}}{\text{두 관찰자가 최대의 일치를 보이려면 우연에 의한 일치로부터 얼마나 더 일치해야 하는가?}}$$

$$= \dfrac{\text{(관찰된 일치백분율) - (우연에 의해 기대된 일치백분율)}} {\text{100 % - (우연에 의해 기대된 일치백분율)}}$$

• 관찰된 일치백분율 = 45 + 30 / 100 = 75%
• 우연에 의해 기대된 일치백분율
  
  = ( 관찰자1의 양성 판정 확률 $\times$ 관찰자2의 양성 판정 확률 ) + ( 관찰자1의 음성 판정 확률 $\times$ 관찰자2의 음성 판정 확률 )
  
  = (60% $\times$ 55%) + (40% $\times$ 45%) = 51%

 

 

타당도와 신뢰도의 관계

신뢰할 수 있지만 타당하지 않다고 가정한 검사 결과 그래프                        타당하지만 신뢰할 수 없다고 가정한 검사결과 그래프

신뢰할 수 있으면서 타당하다고 가정한 검사결과 그래프

 

• 한 집단에 대해 타당함 $\neq$ 개인에게 적용시 타당함
• 검사의 신뢰도나 반복성이 낮을 때, 각 개인에 대한 검사의 타당성 낮음
• 진단과 선별 검사의 질 평가시 집단의 타당도와개인의 타당도 간의 차이 고려