◈ 논문 정보
Huang, Ni, et al. "Motivating user-generated content with performance feedback: Evidence from randomized field experiments." Management Science 65.1 (2019): 327-345.
◈ 요약
UGC(User Generated Content)는 구매촉진, 투자 의사결정 도움, 오락 요소 제공 등 여러 방면에서 활발하게 사용되고 있다. 최근에는 UGC에 대한 수요보다 공급이 부족한 문제(under provisioning problem)도 발생하고 있다. 이 연구에서는 UGC의 특성을 고려하여 다음과 같이 Research Question을 설정하였다.
ㆍResearch Question : UGC 참여 유저들에게 상이한 동기부여 방식의 피드백 메시지의 효과는 어떻게 다를 것인가?
그리고 이것이 유저의 특성, 사회적 맥락, 수행 레벨에 따라서 어떻게 다르게 나타날 것인가?
이 연구에서는 UGC에 참여하는 동기를 SVO(Social Value Orientation) 이론을 기반으로 설명하였다. SVO란, 개인이 자기 자신과 타인의 welfare에서 어디에 더 중심을 두는지에 대한 개념이다. SVO에 Cooperative / Individualist / Competitive 의 세 가지 카테고리가 존재한다. Cooperative의 경우 자신과 타인의 성과를 모두 최대화하고자 하며, Individualist는 타인과의 비교 없이 자신의 성과를 최대화하고, Competitive는 타인과의 비교를 통해서 자신의 성과를 최대화한다. 이러한 SVO 유형에는 성별이 중요한 영향을 미친다. 따라서 본 연구의 연구 가설은 다음과 같다.
ㆍH1 : Cooperative-framed 성과 피드백은 남성 유저보다 여성 유저에게 더 효과적일 것이다.
ㆍH2 : Individualist-framed 성과 피드백은 여성 유저보다 남성 유저에게 더 효과적일 것이다.
ㆍH3 : Competitive-framed 성과 피드백은 여성 유저보다 남성 유저에게 더 효과적일 것이다.
이 연구에서는 중국의 요리 레시피 크라우드 소싱 모바일 앱(Meishi)과 필드 실험을 진행하였다. 참가자들은 SVO 유형 분류에 따라서 통제 그룹을 포함하여 4가지 그룹에 임의로 할당하고 스마트폰 푸시 알림을 전송하였다. 그리고 게시글의 수(volume)에 대해서 user-week 패널 데이터를 이용하여 time fixed effect를 포함하여 다음과 같이 log-OLS 분석을 실시하였다
위의 Table 3.의 Volume에 대한 분석 결과를 살펴보면, Cooperative 그룹에서는 여성이, Competitive 그룹에서는 남성에서 유의한 결과가 나타나서 H1과 H2가 채택되었다. 하지만 H2는 유의미하지 않은 결과가 나타났는데, 이는 Individualist 그룹이 Cooperative 보다는 경쟁적이고, Competitive 보다는 협력적이라는 중간 단계의 특성을 가지고 있기 때문이다. 이 결과는 단순히 통계적으로 유의미한 것에 그치는 것이 아니라, 경제적인 의미도 포함하고 있다. 즉, 성별마다 적절한 유형의 피드백을 제공한다면, 여성 유저들의 월평균 게시글은 5.7%, 남성 유저들의 월평균 게시글은 10.9% 증가시킬 수 있다.
또한, 각 유저들의 과거의 performance 수준 차이에서 오는 이질성 문제가 있기 때문에, 유저들을 성과에 따라서 3분위로 나누어서 분석을 실시하였다(Table 5.). Cooperative 그룹에서는 성별에 따라서 유사한 결과가 나타났으며, 성과가 가장 높은 그룹에서 volume이 유의미하게 증가했다. Individualist 그룹에서는 여성의 경우 하위 성과 집단에서 오히려 volume 감소하는 결과가 나타났다. 성과가 가장 높은 그룹에서는 두 성별 모두 volume이 증가했다. Competitive 그룹에서는 여성의 경우 성과 낮은 그룹에서 volume이 감소하였고, 나머지 그룹도 유의미한 결과가 나타나지 않았다. 한편 남성의 경우 성과가 높은 그룹에서 유의미하게 증가하였다. 즉, 각 성별과 성과에 따라서 상이한 결과가 나타났지만, 전반적으로 메인 분석과 일치하는 결과라고 할 수 있다.
Quality에 대한 분석 결과는 다음과 같다. 좋아요 수와 댓글 수에서 성별이 유의미한 변수로 사용된 것을 확인할 수 있다. 또한 Competitive 피드백에 대해서는 남성만 유의미한 퀄리티 향상을 보였다. 한편, Cooperative 그룹에 대해서는 남성과 여성 모두 퀄리티 향상을 가져왔다. 전체적으로 댓글과 좋아요에 대해서는 유의미한 결과가 나타났지만, 조회수(readership)에 대해서는 유의미한 결과가 나타나지 않았다.
또한 이 연구에서는 social context를 고려한 Generalizability에 대한 분석을 추가로 실시하였다. Amazon Mechanical Turk를 이용하여 데이터를 수집하였으며, 총 4단계를 거쳐서 advice의 조언의 유용성을 control/cooperative/competitive 그룹으로 나누어서 파악하였다. 무료로 제공한 advice의 퀄리티를 종속변수로 하여 Linear Probability Model 로 분석을 실시하였다. 그 결과 종속변수 Volume에 대해서 cooperative 그룹의 경우 메인 분석 결과와 동일한 결과가 나타났고, competitive 그룹에서는 유의미한 결과가 나타나지 않았다. 이는 Mturk 데이터를 사용할 경우 메인 분석과 달리 사회적인 상호작용이 결여되어 있기 때문이라고 볼 수 있다. Quality에 대한 분석에서는, competitive 그룹의 여성들에게서 음의 상관관계가 나타났다.
◈ 장점 및 의의
• UGC에 대한 논문은 처음 접했는데, 공공재(Public goods)의 성격을 고려하여 이론을 채택하고 연구를 설계한 과정이 흥미로웠다. 누구나 참여 가능하고, 그 결과물에서 불특정 다수가 혜택을 받을 수 있다는 온라인 공공재의 특성을 잘 고려하여 실험이 잘 설계되었다고 생각한다.
• 중국 모바일 앱 데이터로 메인 분석을 실시한 후에, 해당 분석 결과의 유의성과 일반화 가능성을 검증하기 위해서 AMT 데이터로 추가 분석을 실시하였다. 기존 분석의 일반화 가능성을 확보하면서, 추가적인 설명을 제공하였다는 점에서 의의가 있다. 추가 분석 부분이 논문 한 편을 새로 작성해도 될 정도로 굉장히 공을 많이 들인 분석을 실시했다.
◈ 한계점 및 추가 연구 아이디어
• Quality에 대해서 분석한 결과에서(Table 7), comments와 like에 대해서는 유의미하게 증가하는 결과가 나타났지만, readership에 대해서는 유의미한 결과가 나타나지 않았다. 이 연구에서는 조회수 증가가 이루어지지 않은 상태로 좋아요와 댓글 수가 증가한 것을 퀄리티의 상승이라고 해석하였다. 하지만, 일반적으로 좋아요나 댓글이 많을수록 더 많은 유저가 해당 게시글을 조회한다는 것을 생각하면, 100% 납득하기 어려운 결과이기도 하다.
• 2015년 당시가 IS 분야에서 필드 실험이 시작되던 시기라서, 첫 실험 부분이 조금 헐렁하다는 느낌도 있다. 예를 들어, 이 연구에서는 음식 레시피 공유 앱을 대상으로 실험을 실시하였는데, 이렇게 특수한 context에서는 왜곡이 발생할 수도 있다. 여성이 요리를 더 많이 하는 경향이 있을 것이고, 앱 이용자에도 여성 비율이 높은데 이러한 점을 충분히 설명하지 못하였다.
• 성별에 따른 영향을 일반화하여 결론 내리는 것이 적절한지에 대한 의문이 존재한다. 이 논문에서도 남녀 차이가 존재한다는 결과를 계량경제적으로 정리하긴 했으나, 근본적인 원인에 대한 정확한 설명은 이루어지지 않았다. 남녀의 선천적인 차이인지, 사회적인 맥락 차이 인지 등 정확하게 파악이 불가능하다는 것이 단점이라고 볼 수 있다.
댓글