무작위 실험 (Random Assignment), 준실험 ( Quasi-experiment)

📚 Random Assignment 

• 여러 인과추론 방법론 중에서 단일 방법론으로는 가장 인과 추론의 수준이 높다. 

무작위 실험은 개별 관측치들이 가진 다른 특성에 상관없이 treatment와 control 그룹을 배정할 수 있다. 즉 샘플의 수가 충분히 많으면 다른 특징들은 두 그룹 사이에서 비슷하기 때문에 treatment의 효과를 평균적으로 비교가 가능해진다. 

 

 

랜덤화가 잘 되었다면 통제변수를 추가해서 동일한 분석을 진행했을 때 결과에 차이가 없어야 한다. 

 

📌연구 사례 

Carter, S. P., Greenberg, K., & Walker, M. S. (2017). The impact of computer usage on academic performance: Evidence from a randomized trial at the United States Military Academy. Economics of Education Review, 56, 118-132.

이 연구에서는 수업에서 노트북/태블릿 사용의 영향을 살펴보기 위해서 3가지 그룹으로 나누어서 실험을 진행했다. 

그룹 1은 자유롭게 사용, 그룹2 는 어느 정도 제한된 사용, 그룹 3은 통제그룹으로 아예 사용하지 않게 하였고, 이 과정에서 세 그룹을 모두 랜덤으로 할당했다. 이 경우에 학생들의 학년, 기존 성적, 성별, 인종 등을 통제할 수 있다. 

 

 

 

---

📚 준실험 방법 (Quasi-experimental Design) 

✅ 개요

 현실에서 무작위 실험을 하기 어려울 때 적절한 research design을 설계해서 실험을 진행하는 방법이다. 자연적으로 생성된 처치 집단과 통제집단을 비교한다고 해서 자연 실험(natural experiment)라고 부르기도 한다. 무작위 실험과 비교해서 임의로 treatment 그룹과 control 그룹을 분리했다는 점을 제외하고 나머지 분석 방법이나 평가 기준 등은 동일하다. 

 

 

📌 연구 사례 

 최저임금이 고용 증가에 미치는 영향을 알아보기 위한 연구이다. 무작위 실험을 할 수 없기 때문에 미국에서 최저 임금 인상이 된 뉴저지와 인상되지 않은 펜실베니아의 차이를 비교하는 준실험 연구를 진행하였다. 최대한 유사한 환경에서 비교를 하기 위해서 국경을 맞대고 있는 식당을 대상으로 실험을 진행하였다. 뉴저지의 완전한 conterfactual은 최저임금을 인상하지 않은 뉴저지 이지만 실제로 이를 비교하는 것을 불가능하다. 

 

 준실험 또는 무작위 실험방식을 design-based approach라고 한다. 이러한 방식에서는 실제로 양질의 데이터를 얼마나 많이 수집했는지 보다는 연구의 실험 구조 자체가 중요하다. 따라서 데이터를 수집하기 전에 실험이 가능한지 불가능한지가 결정되는 경우도 있다. 적절한 디자인이 가능하다면 selection on unobservable에 대한 통제 또한 가능하다. 

 

 

✅ 준실험 방법론 

conterfactual에 대해서 시간에 따라 변화는 특성과 변하지 않는 특성으로 구분할 수 있다. time invariant 특성은 treatment 이후에도 동일할 가능성이 높고, 과거 데이터를 통해서 쉽게 유추할 수 있다. 

 따라서 longitudinal 데이터가 cross sectional 데이터보다 counterfactual을 유추하는 데 있어서 보다 유리하다. 즉 treatment 이전 시점의 데이터가 있다면 시간에 따라서 변화하는 conterfactual 요소에만 집중해서 분석할 수 있다. 

 

 treatment 그룹의 전후 데이터만 있는 경우에는 time series 데이터라고 하고, control 그룹의 데이터 까지 있는 경우를 패널 데이터라고 한다. 

 

 

---

📚  Reference

• Korea Summer Workshop on Causal Inference 2022, Boot Camp for Beginners, 디자인 기반의 인과추론