Độ tin cậy (Reliability)

Khi bạn đánh giá ai đó, ví dụ như khả năng nói bằng lời, một phần của biến số/biến thiên giữa các chủ thể thể hiện/nói lên phương sai của (a) cấu trúc thực tế (khả năng nói bằng lời) (điểm “thực”), và (b) một phần của lỗi, không liên quan tới cấu trúc mà bạn quan tâm.

Độ tin cậy là tỉ lệ phương sai nằm trong phần điểm “thực”.

Độ tin cậy = phương sai điểm thực/phương sai

Chúng ta không bao giờ biết được điểm thực thực sự, vì vậy chúng ta chỉ có thể dự đoán độ tin cậy.

Độ tin cậy khi làm lại test (test - retest) khi bạn làm cùng test trên cùng chủ thể, sau một khoảng thời gian ngắn) là một cách để dự đoán độ tin cậy. Nó dựa vào ý tưởng cho rằng điểm “thực” của chủ thể sẽ không thay đổi nhiều trong một hay hai tuần, mặc dù lỗi là mặc định, vì vậy tương quan giữa hai khoảng thời gian là do điểm thực, và vì vậy tương quan làm lại test ước đoán độ tin cậy.

Chia đôi độ tin cậy (khi bạn mặc định chia một test thành hai phần, và nửa tổng số mục thuộc về một phần, nửa còn lại thuộc về phần khác, và tính độ tương quan giữa hai phần) cũng như khi ước đoán độ tin cậy, và dựa vào ý tưởng rằng cái gì là chung (ví dụ cái gì liên quan đến nhau) giữa hai phần sẽ là điểm thực.

Cách tốt nhất để ước đoán độ tin cậy là thong qua phân tích yếu tố

-----------------------------------------

when you assess someone, say on verbal ability, part of the variability between subjects represents variance on the (a) actual construct (verbal ability) ("true" score), and (b) part is error, unrelated to the construct in which you are interested.

reliability is the proportion of the variance that is part of the "true score".

reliabilty=true score variance / variance

we can never know the actual true score, so we can only estimate reliability.

test - retest reliability (when you give the same people the same test twice, over a short time periond) is one way of estimating reliability. it is based on the idea that a subject's "true" score will not change much in a week or two, whereas the error is random, so the correlation between the two time points is due to the true

score, and hence the test-retest correlation estimates reliability.

split half reliability (when you randomly split a test into two parts, half of the items on one part, the other half of the items on the other part, and correlate the two halves) also estimates reliability, and is based on the idea that what is common (i.e., what correlates) between the two halves will be true score.

the best way to estimate reliability is through factor analysis.

(Bahr Weiss)