◈ 논문 정보
Ni Huang, Jiayin Zhang*, Gordon Burtch, Xitong Li, Peiyu Chen (2021) Combating Procrastination on Massive Online Open Courses via Optimal Calls to Action. Information Systems Research 32(2):301-317. https://doi.org/10.1287/isre.2020.0974
◈ 요약
본 연구에서는 MOOC 이용자를 대상으로 procrastination을 감소시키는 CTA(Calls to Action)에 대해서 탐색했다. Research Question은 다음과 같다.
1. MOOC 학습자들에게 어떤 유형의 CTA가 procrastination 방지에 가장 효과적인가?
2. procrastination 방지를 위해서 어떤 CTA를 활용하여야(optimize) 하는가?
본 연구에서는 Temporal Motivation Theory를 기반으로 field experiment를 진행하였다. TMT는 개인의 업무 유용성이 여러 요소들의 결합으로 이루어지며, 유용성이 높을수록 우선순위를 둔다는 이론이다. 따라서 실험 결과에 대한 인과관계를 확보하기 위해서 TMT이론의 각 요소에 대응하는 CTA 항목들을 설정하였다. 그리고 다음과 같이 가설을 설정하였다.
H1 : simple CTA에 비해서, deadline reminder CTA는 procrastination을 줄일 것이다.
H2 : simple CTA에 비해서, descriptive norm CTA는 procrastination을 줄일 것이다.
H3 : simple CTA에 비해서, financial incesntive CTA는 procrastination을 줄일 것이다.
본 연구에서는 Simple CTA 그룹과 Hold Out 그룹을 포함하여, 총 6개 그룹에 대해서 실험을 진행하였다. 데이터는 중국의 MOOC 플랫폼 기업의 데이터를 이용하였고, 총 3주간 데이터를 수집하였다. 이 연구에서는 크게 두 가지 목표 변수에 대해서 분석을 진행하였는데, 첫 번째는 학습자가 과제를 마감 전에 제출했는지 여부(이진 분류)이다. 여기서는 LPM, LogisticRegression, Probit Regression을 사용하였다. 분석 결과, descriptive norm, financial incentive는 과제 제출 확률을 크게 높였다. 한편 simple CTA는 큰 효과가 없었으며, deadline reminder는 제출 확률을 오히려 감소시켰다.
두 번째 목표변수는 과제 제출까지 소요된 기간이며, OLS와 Tobit Regression을 사용했다. 분석 결과, 마찬가지로 descriptive norm, financial incentive는 simple CTA 대비 제출 소요 일자를 감소시켰으며, deadline reminders는 제출 소요 일자를 오히려 증가시켰다. simple CTA는 큰 효과가 없었다. No CTA 그룹과 비교했을 때, 전반적으로 결과는 동일하였지만 financial incentive는 유의미하지 않게 나타났다. Descriptive Social Norm, financial incentive 그룹에서 제출율이 증가하고 제출 소요 일자가 줄어들었다. Deadline CTA의 경우 오히려 제출 확률이 줄어들었다. 하지만 course load의 조절효과를 고려했을 때, 학생이 듣는 수업의 course load가 증가할수록 긍정적으로 반응한다는 것을 확인했다. 따라서 이러한 보상을 적절하게 활용한다면, MOOC 수강자들에게 적절한 동기부여 가능할 것이다.
◈ 장점 및 의의
ㆍ기존 연구들이 LMS 이용 과정에서의 technological / instructional / contextual 측면에 따른 학습 결과에 초점을 두었다면, 본 연구에서는 behavioral intervention이 학생들의 행동에 어떤 영향을 미치는지를 파악했다는 점에서 의의가 있다.
ㆍ단순히 CTA의 영향을 확인한 것이 아니라, simple CTA/deadline CTA / descriptive social norm CTA / financial incentive CTA 에 따른 세부적인 변화를 살펴보았다. 그리고 여러 CTA 그룹을 선정할 때, 연구자 임의로 선정한 것이 아니라 Temporal Motivation Theory라는 이론적인 기반을 근거로 하였다.
ㆍCovid-19 상황에서 온라인 학습 활동이 활발하게 이루어지고 있으며, MOOC 강의에 대한 관심도 증가하고 있다. 시의 적절한 연구 주제라고 볼 수 있다.
ㆍModerating effect를 확인할 변수를 선정할 때, 과제 제출 여부를 이진 분류하는 Decision Tree를 이용하여 분리 기준(Node) 되는 변수들을 선정하였다. 모든 변수에 대해서 조절 효과를 확인하는 것 보다, 중요도가 높은 변수를 선별하여 확인하였고 이 과정에서 간단한 분류 알고리즘을 사용하여 변수를 선정한 것이 인상깊었다.
◈ 한계점 및 연구 아이디어
ㆍHold out 그룹(no CTA)과의 비교에서 financial incentive는 유의하지 않다고 나타났지만, 직관적으로는 납득되지 않는 결과이다. 본 연구에서 금전적 보상은 entry into lottery for monetary gift이므로, 직접적인 보상이 이루어지는 것이 아니다. 따라서 경품 응모 기회를 제공하는 것이 아니라, 직접적인 금전적 보상을 제공한다면(경품 구매 포인트 등) 결과가 다르게 나타났을 수도 있다.
ㆍMOOC은 누구나 무료로 원하는 강의를 선택해서 수강할 수 있다. 본 연구와 다르게 유료 강의 수강자를 대상으로 연구를 진행한다면, 다른 양상을 보일 수 있다. 예를 들어, 유료 강의 수강자는 자신이 지불한 비용에 대한 보상심리가 있기 때문에 Deadline CTA가 본 연구와는 다르게 유의하게 나타날 것이다.
댓글