연구방법론 기본 개념

📚 연구방법론 기본 개념 

✅  Empirical Research process 

(1) Research Question 

연구자가 특정 상황에 대한 의문점을 질문으로 기술한다.

• 특정 현상에 대해서 구체적인 문제를 제시해야 함 (모호해서는 X)

• 기존의 연구 사례들을 다양하게 고려해서 연구질문을 도출해야 함 

• 2개 이상의 변수들 간의 관계를 다루어야 한다. 

• 실증적 연구를 통해서 해결 가능해야 한다. 

 

(2) Hypothesis

: 연구 질문에 대한 가설을 설정한다. 가설은 2개 이상의 변수에 대한 잠정적인 설명을 의미한다. 

• 연구 문제의 구체화 

• 실증적으로 검증 가능해야 함 

• 잠정적인 방향과 대답을 제시할 수 있어야 함 

 

(3) Study Design

: 가설을 검증하기 위한 구체적인 전략을 수립한다

• 연구 자원을 효율적으로 사용해야 함 

• 연구의 implication 및 한계 고려 

• reliability, validity 확보 방안 고려 

 

(4) Observation of Variables 

: 관련변수를 정의하고 측정한다. 

• 여러 종류의 변수를 적절하게 사용해야 한다. 

독립변수	다른변수(종속변수)의 변화의 원인이 되는 변수
종속변수	특정변수(독립변수)의 변화의 결과로 인해 변하는 변수
Mediator/Intervening 매개변수	독립변수와 종속변수의 관계를 설명하는데 도움이 되는 변수
Moderator 조절변수	독립변수와 종속변수의 관계에 영향을 미치는 변수

 

(5) Relationship among Variables 

: 가설에서 설정한 변수들 간의 관계를 통계 분석을 통해서 실증적으로 검증한다. 

• 과학적인 방법(통계분석)을 통해서 객관적인 관계 입증 필요 

• 상관관계가 인과관계가 아님을 유의 

 

(6) Conclusions 

: 연구의 결론 도출 

• Strategy-related constraint : 연구를 모든 맥락에 일반화 할 수 없음 

• Decision errors :

1종오류: 참인 귀무가설을 기각하는 오류. 실제로 관계가 존재하지 않지만, 관계가 있다고 연구결과가 도출

2종오류: 거짓인 귀무가설을 채택하는 오류. 실제로 관계가 존재하는데, 관계가 없다고 연구결과가 도출

 

 

---

✅Reliability vs Validity 

 

📌Reliability(신뢰성) :

측정을 반복했을 때 동일한 측정값을 얻는 정도를 의미한다.

reliability를 평가하는 방법들

 

• test-retest

• Parallel Forms

• Internal consistency

• split halves

• inter-rater reliability

• uni-dimensional reliability 

 

📌Validity(타당성) :  

측정하려는 개념을 얼마나 정확하게 측정한 정도를 의미한다.

 

• content validity (내용 타당도) :  측정도구가 측정하고자 하는 내용을 얼마나 충실하게 측정하고 있는지 

 

• criterion-related validity (기준 타당도) : 측정한 결과가 이미 타당성이 입증된 기존의 측정도구 또는 경험적 사실과 비교해서 얼마나 정확한지

 

• construct validity (구성 타당도) : 측정한 결과가 이론 또는 개념을 얼마나 정확하게 측정하는가

→ 수렴타당도, 판별 타당도, 이해 타당도로 구성 

 

• convergent validity(수렴 타당도) : 서로 다른 방법으로 동일한 개념을 측정했을 때, 각 측정결과의 상관관계가 높으면 수렴타당도가 높은 것 

 

• discriminant validity (판별 타당도) : 동일한 방법으로 서로 다른 개념을 측정했을 때, 각 측정결과의 상관관계가 낮으면 판별 타당도가 높은 것

 

• predictive validity (예측타당도) : 측정도구로 현재 데이터를 확보하고 시간이 지난 후에 미래의 대상을 얼마나 잘 예측하는 지 

 

• concurrent validity (동시 타당도) : 측정도구가 현재 대상의 상태를 얼마나 잘 측정하는지 

 

• synthetic validiy

 

• incremental validity (증가 타당도) : 기존 도구로 측정된 바 있는 특성을, 새로운 검사가로 측정했을 때 얼마나 향상되는지의 정도 

 

 

📌 PLS 사용시 신뢰성 평가 방법

https://m.blog.naver.com/shoutjoy/222006663104

CEM은 여러 개의 잠재변수간의 영향관계를 분석하는 방법이다. 즉 요인분석과 회귀분석을 결합한 형태이다. 

CEM은 잠재변수를 measurement model(측정모델)로 측정하는데, 이때 CFA 를 사용한다. 

측정된 잠재변수의 인과관계를 분석할 때에는 structural model(구조모델)을 사용하는데 이때는 다중회귀분석을 사용한다. 

 

• PLS : 

-부분최소자승으로 모수를 추정하기 때문에 변수간 선형관계 가정 외에 다른 제약이 없음 

-LISREL/AMOS는 여러 가정 사항을 만족해야 함 

-PCA와 달리 PLS는 독립/종속변수를 함께 고려하여 새로운 주성분을 찾고 이를 이용해서 회귀식을 구함. 

-표본이 작은 경우에도 효과적으로 사용 가능

 

(1) 타당성 :

convergent / discriminant validity 확인해서, 측정도구가 하나의 개념과 강하게 관련이 있고 다른 개념과는 관련이 약한 것을 확인해야 함.

 

•convergent validity : 

각 latent factor의 AVE가 0.5 이상이여야 함 

 

•discriminant validity : 

latent variable score와 measurement item의 상관관계가 적절한 loading 패턴을 보여야 한다. 

square root of AVE of each latent variable should be greater than correlations among the latent variables 

 

(2) 신뢰성 : 

• Internal consistency reliability 확인 → •Cronbach’s a >0.7

• Indicator reliability 확인 

 

 

---

✅ Validity의 종류

📌(1) 내적 타당도(internal validity) :

인과관계의 추론 정도를 나타낸다. 즉 독립변수가 종속변수를 논리적으로 얼마나 잘 설명하는가. 

 

< 내적타당도 확보 방법 >

- 무작위 배정 

- self selection bias 해결 위한 매칭 

- 외생변수 통제 

- 측정 오류 최소화 

 

📌(2) 외적 타당도(external validity) :

연구의 결과가 일반화 가능한 정도

 

<외적타당도 확보 방법>

- 무작위 샘플, 대표성이 높은 샘플 

 

---

✅ 연구 기법의 장단점 

① Laboratory Experiment : 연구자가 실험 환경을 설정하고, 여러 조건들을 통제하는 실험 전략이다.

장점 :

Nuisance Variable의 영향을 최소화할 수 있다.

측정이 정확하고, 반복 가능하며, 독립변수가 명확하다는 점에서 인과관계 도출이 용이하다.

단점 : 

하지만 변수 조작이 불가능하거나, 윤리적인 문제 가능성. 

 

내적 타당성 : 높음 

외적 타당성 : 낮음

 

② Simulation : 실제 상황을 모방하기 위하여 연구자가 의도적으로 유사한 상황을 설정하고, 실험 대상자의 행동을 통제하면서 관찰하는 방법이다.

장점 :

여러 상황과 변수를 통제할 수 있기에 현실성이 높고, 참여자의 개입이 활발하게 일어난다는 장점이 있다.

단점 : 

많은 비용

독립변수 파악이 어려움

 

내적 타당성 : 높음 

외적 타당성 : 낮음~높음

 

③ Field Experiment : 자연적인 상황에서 실험자가 하나 이상의 독립 변수를 조작하면서 nuisance variable의 영향을 최대한 억제하면서 관찰하는 방법이다.

장점 :

높은 외적 타당성 

실제 문제 해결 가능

단점 :

변수의 통제가능성이 적으므로 인과관계 도출이 어려움

통제 정도가 높아질수록 자연성이 떨어짐

 

내적 타당성 : 낮음

외적 타당성 : 높음 

 

④ Field Study : 자연적인 상황에서 변수의 조작 없이 실험자의 개입을 최소화하여 관찰하는 방법이다.

장점 : 

많은 변수를 관찰 가능

복잡한 상황이나 사회적으로 중요한 문제를 다룰 수 있다

단점 :

실험 대상의 협조를 구하기 어려움

비싼 비용

변수들 간의 정확한 관계 파악

낮은 측정 정확도 등이 있다.

 

내적 타당성 : 낮음 

외적 타당성 : 낮음

 

⑤ Sample Survey : 독립변수를 조작하지 않고, 자연적인 상황에서 설문지 등을 이용하여 모집단을 대표하는 표본에 대해서 데이터를 수집하고 연구를 진행하는 것.

장점 : 

일반화가 쉬움

무작위 추출을 통해 오차를 최소화하고 정확한 결과 도출이 가능

단점 :

응답률이 낮을 수도

일회성으로 깊은 정보 획득이 불가능

변수들의 통제가 불가능함 

 

내적 타당성 : 낮음

외적 타당성 : 높음 

 

⑥ Case Study : 특정 사례를 선정하여 연구자가 개입하지 않고 관찰하는 방법으로, 가설의 실험보다는 일반화에 초점을 둔 연구 방법

장점 : 

유연한 데이터 수집

가설의 수립이나 인사이트 도출에 용이

단점 : 

가장 비 체계적이며 인과관계 도출이나 일반화가 어렵다는 단점이 있다.

 

내적 타당성 : 낮음

외적 타당성 : 높음 

 

 

---

✅ 척도(Scale)

“측정”이란 정해진 규칙에 따라 대상에 기호를 할당하는 과정을 의미한다. “척도(Scales)”는 대상을 측정하는 도구를 의미하며, 다음의 4가지 종류로 분류되며, 보편적으로 사용되는 척도를 “Standardized Scale”라고 한다.

 

 ① Nominal (명목 척도) : 단순 구분을 위해서 속성이름을 나타내는 척도 (예, 직업, 성별, 학번, 이름)

 ② Ordinal (서열 척도) : 명목척도의 특성을 가지면서, 대상의 순위에 대한 정보를 담고 있음. 단, 순위 간 차이에 대해서는 정보를 알 수 없음 (예, 학력, 선호도 순위, 인식태도)

 ③ Interval (등간 척도) : 서열 척도의 성격을 가지면서, 속성의 차이 간격이 동일함. 하지만 절대적인 0 값이 존재하지 않는다. (예, 온도, IQ, 소비자만족지수)

 ④ Ratio (비율 척도) : 등간 척도의 성격을 가지면서, 절대적인 영점을 가지고 있음 (예, 무게, 길이, 나이, 가격, 점유율)

 

---

✅ 데이터 수집  방법 (Ch 4)

① Questionnaires : 행동, 의견, 인적 특성을 파악하기 위해 사용되며, degree of structure, scale anchors, method of administration 을 고려해야 한다. 비용이 적게 들고 수집 절차가 비교적 쉽다는 장점이 있다. 하지만 응답률이 떨어지거나 응답을 잘못한 설문지가 발생할 수도 있고, 비교적 유연하지 못하다는 단점이 있다. 

 ② Tests : 일반적으로 achievement / aptitude 를 평가한다. Achievement는 현재 대상의 능력을, Aptitude는 대상의 잠재적인 적성, 능력을 평가한다. 

 ③ Interview : 질문 대상과 응답 가능 정도에 따라서 구조화 정도가 달라진다. 설문지 보다 응답 확률이 높고 비 구조화되어 있다. 단점으로는 인터뷰 수행을 위해서 훈련이 필요하며, 인터뷰 과정에서 객관성이 저해될 수도 있다. 

 ④ Observation of Behavior : 행동 관찰은 구조화 정도, 관찰자의 참여 여부, 관찰 대상의 범위 등에 따라서 달라진다. 이 방법은 다른 연구에 비해서 더 정확하고 구체적인 정보를 얻을 수 있지만, 시간과 비용이 많이 소요되며 실패 가능성이 있다는 단점이 있다. 

 ⑤ Projective Measures : 구조화되지 않은 자극에 대한 실험자의 반응 관찰하여 욕구, 동기, 두려움 등을 파악한다

 ⑥ Q-Sorting : 응답자가 자극에 대해서 특정 기준에 따라서 카테고리로 분류한다

 ⑦ Sociometry : 집단 내에서 소통, 상호작용, 선택 패턴 등을 파악하는 방법

 ⑧ Unobtrusive Measures : 실험자에게 아무런 개입 없이 있는 그대로 관찰하는 방법

 

---

✅ Reseach Design (ch 6)

① Experimental Design : 독립변수를 조작하여 종속변수에 대한 영향을 평가하는 연구. 실험 연구의 Internal Validity를 확보하기 위해서 대상을 experimental group과 control group으로 나누어서 실험을 실시한다. 무작위 표본추출과 변수의 통제가 적절하게 이루어지는 실험설계를 True Experimental Research라고 한다.

② Quasi-Experimental Design : 측정 시 연구자가 실험 대상과 시기를 통제할 수 있는 실험설계이다. 유사 실험설계의 종류는 다음과 같다. 
 ㆍNone-quivalent control group design : 연구대상을 실험집단과 통제집단으로 분류할 수는 있으나 실험 대상자를 각 집단에 무작위 배정할 수 없는 경우
 ㆍTime series design : 집단을 분리할 수 없는 경우, 실험 전후로 주기적으로 관찰을 실시하는 방법 
 ㆍRepeated treatment design : 집단 분류가 불가능하고, 실험의 효과가 변화하는 경우 일정기간 마다 반복 측정하는 방법

③ Non-experimental Design : 연구자가 독립변수에 대해서 어떠한 통제도 하지 않는 연구 설계. 연구자가 독립변수를 통제하는 것이 불가능할 때 사용된다. 비실험설계의 종류는 다음과 같다. 

 ㆍCross sectional study : 연구의 독립 변수에 다르게 노출된 집단을 찾아서 종속변수의 결과를 비교
 ㆍCorrelational study : 종속변수와 독립변수에 대한 데이터를 수집하고, 이들 간의 상관관계를 파악하는 방법. 하지만 상관관계가 반드시 인과관계를 의미하지 않으므로 유의해야 한다. 
 비실험 연구는 통제하지 못하는 요소들이 많기 때문에 최대한 많은 변수에 대한 데이터를 수집해야 한다. 또한 외적 일관성 또한 중요한데, 이는 대상, 측정방법, 조건 등의 일반화 가능성을 의미한다. 

 

---

✅ Reseach Design에서 나타나는 Variance (ch 6)

 Research Design 이란 연구 결과의 해석 단계에서 모호성을 최소화하도록 연구 계획을 세우는 것을 의미한다. 잘 설계된 연구는 연구자가 변동성(Variance)를 잘 통제하여 독립변수와 종속변수의 인과관계를 잘 파악할 수 있다

 

① Independent Variable Variance : 

독립변수에 의해서 나타나는 변동성으로, 적절한 연구 디자인은 이를 최대화 할 수 있어야 한다. 

 

② Nuisance Variable Variance : 

의도치 않게 종속변수에 영향을 주는 변수 

적절한 통제변수를 사용해서 조절해야 한다. 

 

③ Error Variance 

measurement가 정확하지 않아서 발생하는 변동성 

최소화 해야 한다. 

 

* Maxmincon Principle

maximize systematic variance(independent variable variance), 

minimize error variance,

control extraneous variance(nuisance variable variance) 

---

 

✅ 회귀분석 기본 가정 

---

📚  Reference