◈ 논문 정보
• Ananthakrishnan, U. M., Li, B., & Smith, M. D. (2020). A tangled web: Should online review portals display fraudulent reviews?. Information Systems Research, 31(3), 950-971.
◈ 요약
최근 온라인 플랫폼에서의 가짜 리뷰 탐지에 대한 연구가 활발하게 진행되고 있다. 정교한 방식으로 가짜 리뷰 탐지의 성능은 높아지고 있지만, 이 결과를 고객들에게 제시하는 과정에는 상반된 견해가 존재한다. 가짜 리뷰를 고객들에게 모두 공개할 경우, 추가 가짜 리뷰 작성을 억제할 수 있다. 하지만 반대로 고객들이 해당 플랫폼에는 가짜 리뷰가 만연하다고 판단할 수도 있다. 본 연구에서는 다음과 같이 research question을 설정하고 3가지의 실험을 진행하였다.
Q1. 가짜 리뷰에 대한 정보가 표시될 때, 고객들의 행동은 어떻게 변화하는가?
Q2. 고객들의 신뢰를 확보하기 위하여 리뷰 포털은 어떤 방식으로 가짜 리뷰를 표기해야 하는가?
Q3. 고객들은 가짜 리뷰를 구매 결정 과정에서 어떻게 사용하는가?
실험 1에서는 AMT를 이용하여 필드 실험을 진행하였으며, between subject 구조로 실험자들에게 두 개의 시나리오를 별도로 할당했다. 시나리오 A는 가짜 리뷰를 명확하게 표시하였고, 시나리오 B는 가짜 리뷰를 표시하지 않았다. 그리고 참여자들이 가상 웹사이트의 정보를 충분히 반영하고 판단하도록 하기 위하여, 상위 3개 레스토랑을 선택하는 사람에게는 인센티브를 부여하였다. 분석은 OLS를 사용하였고, 개인 단위 분석에서는 종속변수는 모든 레스토랑의 클릭 수와 페이지에 머무른 수로 설정하였다. 레스토랑 단위 분석을 위해서는 (2)의 식으로 OLS를 실시하였다.
분석 결과 시나리오 A의 레스토랑들의 방문자 수가 더 많았고, 고객과 식당 레벨 분석에서 모두 더 많은 시간을 보낸 것으로 나타났다. 이는 유저들이 가짜 리뷰가 표시될 때, 더 신중하게 선택하고 정보를 엄격하게 받아들인다는 것을 의미한다. 또한, 참여자들이 각 레스토랑을 선택할 가능성을 로지스틱 회귀로 시나리오 A에서 분석한 결과, 가짜 리뷰의 비율이 낮을수록 더 많은 선택을 받았다. 즉, 실험 1의 결과를 통해서 플랫폼 운영자 입장에서는 가짜 리뷰 직성을 방지하고 이용자 신뢰를 얻기 위해서는 가짜 리뷰를 표시하는 것이 더 효과적임을 알 수 있다.
실험 2에서는 가짜 리뷰를 제시할 때, 어떤 디자인이 가장 효과적인지를 betting experiment 구조로 총 5개의 시나리오를 제시하여 살펴보았다. 실험 1의 2개의 시나리오에 대해서, 가짜 리뷰 비율을 알려주는 trust score 제공 여부를 기준으로 추가 시나리오 2개를 생성하였다. 또한, 5번째 시나리오는 해당 사이트에서 가짜 리뷰 탐지가 이루어지고 있다는 정보만 제공하였다.
다섯 개의 시나리오는 가상의 사이트를 나타내고 참여자들은 신뢰도가 높은 사이트를 자신의 코인을 지불하여 선택해야 한다. 각 시나리오에 대해서 pairwise comparison 형태로 배팅 수에 대해서 t-test를 실시하였다. 그 결과, 가짜리뷰와 trust score를 제공하는 시나리오 C가 가장 많은 배팅을 받았다. 이를 통해서 참여자들이 정보의 비대칭을 줄일수 있는 디자인을 선호한다는 것을 알 수 있다. 또한 이는 cognitive burden을 감소시키는 디자인을 선호한다는 기존 연구 결과와도 일치한다. 그리고 현재 많은 기업들이 사용하고 있는 silent approach(가짜 리뷰를 표시하지 않음)은 신뢰도가 가장 낮게 나타났음을 알 수 있다. Robustness check 과정에서 모든 시나리오를 보여주는 상황이나, 하나의 시나리오를 보여주고 리커트 스케일로 측정하게 하였을 때도 동일한 결과가 나타났다. 이를 통해 가짜 리뷰를 보여주는 것은 플랫폼 자체의 reputation 을 높이고, 고객으로부터의 신뢰도를 높일 수 있기 때문에
실험 3에서는 언제 이용자들이 가짜 리뷰의 정보를 활용하는지를 실험하였다. betting framework를 사용하여 아래 Figure 2. 와 같이 단계적으로 가짜 리뷰에 대한 정보를 공개하고, 참여자들의 제품에 대한 평가가 어떻게 달라지는지 분석했다.
가짜 리뷰를 보기로 선택한 164명에 대에서 (4)의 식으로 분석을 하였다. 분석 결과 medium quality의 경우 배팅을 더 많이 할 가능성이 높았다. 또한 리뷰의 valence는 유의미한 역할을 하지 않는 것으로 나타났다. Table 9의 분산 분석 결과 medium rated 식당의 경우 가짜 리뷰 결과를 확인한 후에 결정을 바꾼 사람의 비율이 높았다. 이는 참여자들이 자신의 선택에 대한 확신이 없는 경우, 가짜 리뷰의 정보를 통해서도 자신의 판단을 다시 고려한다는 것을 의미한다. 이는 medium rated 식당이 긍정, 부정 평가가 상대적으로 비슷해서 평가의 불확실성이 높다는 점과 일치한다.
◈ 장점 및 의의
• 가짜 리뷰 탐지의 성능을 높이는 목적으로 시행한 연구는 많이 보았는데, 이 연구는 가짜 리뷰의 탐지 결과를 어떻게 전달할지 연구했다는 점에서 아이디어가 좋다고 생각한다. IS는 다른 분야와 밀접하게 관련이 있고 특히 technical 한 내용을 다룬 연구도 많다. 이 연구에서는 기술적이고 공학적인 내용을 내용에 중심을 둔 것이 아니라, 그것의 경영학적인 의의를 집중적으로 탐구했다.
ㆍ흥미로운 주제를 선정하였고, 그 주제에 대한 연구 필요성을 잘 설명하였다. 논문의 결론이 간단하고 impact가 약하게 보일 수도 있는데, 도입부에서 기존 연구와 policy perspective, algorithmic perspective 등을 통해서 연구의 필요성을 잘 설명하였다.
ㆍAMT로 실험을 진행할 경우, 현실의 맥락과는 차이가 있기 때문에 결과의 왜곡이 발생할 수 있다. 실제 상황에서 고객들의 선택은 자신에게 직접적은 이익 또는 불이익을 주기 때문에 신중하게 선택한다. 한편 AMT 참여자들의 경우, 참여를 통한 보상이 목적이기 때문에 이 연구의 의도대로 실험에 참여한다는 보장을 할 수 없다. 따라서 이 연구에서는 참여자들이 리뷰의 정보를 모두 반영하여 최선의 선택을 하도록 유도하기 위하여, 각 조건에서 승리할 경우 추가 인센티브를 부여하였다. 완전히 현실과 일치하는 맥락을 만들 수는 없지만, 이러한 인센티브는 참신하고 합리적인 방법이라는 생각이 들었다.
• 가짜 리뷰가 현재 트렌디한 주제이지만, 아마존/옐프/트립어드바이저 등 유명 사이트들이 가짜 리뷰를 제시하는 방식이 다르다. 이 논문에서는 이런 현황을 잘 반영하여 연구 주제를 설정하였고, 시나리오 기반 실험으로 구조 설계를 잘했다.
◈ 한계점 및 추가 연구 아이디어
• 실험 2의 경우 5개의 화면을 제공하고 어떤 것이 가장 '신뢰도가 높은지'를 기준으로 배팅하도록 하였다. 참여자 입장에서는 trust score를 제공하는 시나리오 C/D에 대해서 많은 배팅을 하는 것이 당연한 결과라고 볼 수 있다. 따라서 실험 2의 의미에 대해서 더 고민해볼 필요가 있다고 생각한다.
또한, 시나리오 A, C의 경우 화면 하단에 가짜 리뷰에 대한 정보를 제공하는데, 참여자들이 이 정보를 확인하지 못하거나 중요도를 낮게 평가할 수도 있다. 따라서 가짜 리뷰와 링크를 제공하는 순서를 페이지 상단으로 수정하여 추가 실험을 진행하였다면, 세부적인 차이점을 발견하는 데에 도움이 됐을 것이다.
• 가짜 리뷰를 탐지 관련 연구의 문제점은, 실제 그것이 가짜 리뷰인지를 알 지 못한다는 것이다. 그나마 Yelp.com에서 필터링된 리뷰를 함께 보여주고 있지만, 정확하게 어떤 메커니즘으로 가짜 리뷰를 선별하는지는 공개하지 않고 있다. 애초에 가짜 리뷰를 공개하는 것 자체가 악이용될 가능성을 높이기 때문에 플랫폼 입장에서는 신중할 수 밖에 없다.
댓글