[팀 프로젝트] 온라인 리뷰 토픽모델링을 이용한 스마트폰 브랜드 마케팅 전략 제안

📚 온라인 리뷰 토픽모델링을 이용한 스마트폰 브랜드 마케팅 전략 제안

 

📌 프로젝트 개요 

분석 목적	북미 스마트폰 시장 현황을 파악하고, 삼성 스마트폰의 온라인 리뷰에 대한 토픽모델링을  실시하여 마케팅 전략을 제안
사용 데이터	Amazon Review 데이터
수업명	Marketing Analytics
분석기간	2020.9 ~ 2020.12
역할	웹 크롤링, 전처리, 분석
사용언어	Python

📚 1. 시장분석 

 이 프로젝트에서는 북미 시장에서 삼성 스마트폰의 마케팅 전략을 제시한다. 현재 삼성은 보급형 라인과 플래그쉽 라인 스마트폰을 출시하면서 북미 시장을 공략하고 있다. 하지만 여전히 북미 시장에서의 성적은 애플의 아이폰에 비해서 부진한 상황이다. 스마트폰 마케팅 전략을 제시하기 전에 도메인 지식을 확보하기 위해서 북미 스마트폰 시장과 소비자 인식에 대한 조사를 실시하였다. 

 

---

📚 2. 분석 배경 

 온라인 쇼핑 과정에서 리뷰의 중요성은 점차 증가하고 있다. 소비자들은 잘 필터링된 리뷰를 신뢰하는 경향이 있으며, 리뷰에 많은 영향을 받는다는 것이 여러 연구에서 확인되었다. 현재 가장 큰 이커머스 플랫폼은 Amazon.com이며, 다양한 품목에 대해서 구매자들이 자유롭게 리뷰를 작성할 수 있다.

 리뷰 텍스트를 이용한 분석은 여러 장점을 가지고 있다. 특히 스마트폰은 이용자층이 굉장히 광범위하기 때문에 고객들의 다양한 니즈를 파악해야 한다. 스마트폰에 대해서도 리뷰를 이용하여 연구를 진행한 케이스를 다수 발견할 수 있었다. 

 토픽모델링은 여러 문서의 집합에서 토픽을 추출하는 기법으로, 토픽과 주요 단어들을 파악하는 데에 유용하다. 

 

 

 

---

📚 3. 데이터 수집 및 분석 

 전체 분석 프레임워크를 구축하고 분업을 진행했다. 나는 데이터 수집, 전처리, 분석 부분을 담당했기 때문에 우선적으로 데이터 수집을 시작했다. 아마존은 정적 웹페이지이기 때문에 셀레니움 없이 Beautifulsoup를 사용해서 크롤링을 진행했다. 

## webcrawling on Amazon.com
import re  
import csv
import time
import numpy as np
import requests
from urllib import request  
from bs4 import BeautifulSoup  

import io  
import sys 

header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0", "Accept-Encoding":"gzip, deflate", "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "DNT":"1","Connection":"close", "Upgrade-Insecure-Requests":"1"}  

print('Start Crawling...')

try:  
    data_list = []
    
    for r in range(79): 
        url_main="https://www.amazon.com/Samsung-SM-A715F-Caribbean-Cameras-Android/product-reviews/B084GBC1KH/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews"
        if r == 0:
            url=url_main
        else:
            page =r +1
            url ="https://www.amazon.com/Samsung-SM-A715F-Caribbean-Cameras-Android/product-reviews/B084GBC1KH/ref=cm_cr_arp_d_paging_btm_next_{}?ie=UTF8&reviewerType=all_reviews&pageNumber={}".format(page,page)
 
        req = requests.get(url, headers=header)  
        res = req.content
        soup = BeautifulSoup(res,'lxml') 
        blog_items = soup.findAll('div', class_='a-section review aok-relative')
        new_items = soup.findAll('div', class_='a-section review aok-relative')  

        for item in blog_items:  
            
            #ID
            ID = item.find('span','a-profile-name').text
            '''
            #Star Rating
            star_rating_content = item.find('span', class_='a-icon-alt').text
            star_rating = star_rating_content.split()[0]
            blog=star_rating 
            '''
            #Review_text
            review_text=item.find('span', class_='a-size-base review-text review-text-content').text
            
            #Title
            #Title = item.find('a','a-size-base a-link-normal review-title a-color-base review-title-content a-text-bold').span.text
            
            #Date   
            date_content = item.find('span', 'a-size-base a-color-secondary review-date').text
            date = date_content.split()[6] + date_content.split()[7] + date_content.split()[8]
            
            data_list.append([ID, date, review_text])
        time.sleep(np.random.rand()*7)

finally:
    with open('galaxy_a71_1.csv', 'w', encoding='utf-8',  newline="") as f:
        writer = csv.writer(f)
        writer.writerow(['ID','Date','Review_text'])
        for u in data_list:
            writer.writerow(u)
            
print('End Crawling')

 

 

 url_main 부분에 해당 상품의 링크를 직접 입력해서 페이지로 접속했다. 아마존에 등록된 삼성 스마트폰 중에서 가품, 중고, 리퍼제품인 상품이 있어서 직접 링크를 들어가서 검토하고 데이터를 수집했다.

 

#삼성 스마트폰 브랜드 링크

#갤럭시 S8
https://www.amazon.com/Samsung-Galaxy-64GB-Phone-display/dp/B06Y189H68/ref=sr_1_6?dchild=1&keywords=samsung+s8&qid=1606716548&sr=8-6
https://www.amazon.com/Samsung-Galaxy-Factory-Unlocked-Smartphone/dp/B06Y14T5YW/ref=sr_1_5?crid=19ILZR6NTLJ0H&dchild=1&keywords=galaxy+s8&qid=1606716795&sprefix=Galaxy+s8%2Caps%2C392&sr=8-5
https://www.amazon.com/Samsung-Galaxy-SM-G950F-Unlocked-64GB/dp/B06XYMCMHD/ref=sr_1_12?crid=19ILZR6NTLJ0H&dchild=1&keywords=galaxy+s8&qid=1606716867&sprefix=Galaxy+s8%2Caps%2C392&sr=8-12
https://www.amazon.com/Samsung-Galaxy-S8-Verizon-Wireless/dp/B06Y3GYZKW/ref=sr_1_13?crid=19ILZR6NTLJ0H&dchild=1&keywords=galaxy+s8&qid=1606716867&sprefix=Galaxy+s8%2Caps%2C392&sr=8-13

#갤럭시 S9
https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079H6RLKQ/ref=sr_1_22?dchild=1&keywords=galaxy+s9&qid=1606717181&sr=8-22
https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079H6L4V2/ref=sr_1_23?dchild=1&keywords=galaxy+s9&qid=1606717181&sr=8-23
https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079JSZ1Z2/ref=sr_1_26?dchild=1&keywords=galaxy+s9&qid=1606717181&sr=8-26
https://www.amazon.com/Samsung-SM-G9600-Factory-Unlocked-Smartphone/dp/B079X8DBQQ/ref=sr_1_35?dchild=1&keywords=galaxy+s9&qid=1606717255&sr=8-35
    
#갤럭시 S9 플러스
https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079JXY4TJ/ref=sr_1_12?dchild=1&keywords=galaxy+s9%2B&qid=1606717433&sr=8-12
https://www.amazon.com/Samsung-Galaxy-S9-Unlocked-Smartphone/dp/B079JLWJK1/ref=sr_1_14?dchild=1&keywords=galaxy+s9%2B&qid=1606717474&sr=8-14
    
#갤럭시 S10 lite
https://www.amazon.com/Samsung-Unlocked-Android-Storage-Compatible/dp/B085VKW8K5/ref=sr_1_2_sspa?dchild=1&keywords=galaxy+s10&qid=1606717569&sr=8-2-spons&psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEzTldYUzI2RERTNVBUJmVuY3J5cHRlZElkPUEwNjYwNzI0MzROWkdWMEpRVUdTSCZlbmNyeXB0ZWRBZElkPUEwMDMxNjc3MkJaSTRJQk9UQVc5NSZ3aWRnZXROYW1lPXNwX2F0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=
https://www.amazon.com/Samsung-SM-G770F-Unlocked-International-Version/dp/B084HP3P7W/ref=sr_1_23?dchild=1&keywords=galaxy+s10&qid=1606717658&sr=8-23
    
    
#갤럭시 S10
https://www.amazon.com/Samsung-Galaxy-Factory-Unlocked-Phone/dp/B07N4M412B/ref=sr_1_3?dchild=1&keywords=galaxy+s10&qid=1606717658&sr=8-3
https://www.amazon.com/Samsung-SM-G973F-DS-Smartphone-International/dp/B07NZVRK97/ref=sr_1_9?dchild=1&keywords=galaxy+s10&qid=1606717658&sr=8-9
https://www.amazon.com/Samsung-SM-G973F-Dual-SIM-Unlocked-Smartphone/dp/B07NWR7QYQ/ref=sr_1_16?dchild=1&keywords=galaxy+s10&qid=1606717658&sr=8-16
https://www.amazon.com/Samsung-SM-G973F-Dual-SIM-Unlocked-Smartphone/dp/B07NWR7QYQ/ref=sr_1_16?dchild=1&keywords=galaxy+s10&qid=1606717658&sr=8-16

#갤럭시 s10 plus
https://www.amazon.com/Samsung-SM-G975F-Smartphone-International-No-Warranty/dp/B07NZXBRPS/ref=sr_1_6?dchild=1&keywords=galaxy+s10%2B&qid=1606717853&sr=8-6
https://www.amazon.com/Samsung-Galaxy-Cellphone-Factory-Unlock/dp/B07P2H2GZ8/ref=sr_1_15?dchild=1&keywords=galaxy+s10%2B&qid=1606717943&sr=8-15
    
#갤럭시 s20
https://www.amazon.com/Samsung-Unlocked-Fingerprint-Recognition-Long-Lasting/dp/B082XY23D5/ref=sr_1_2?dchild=1&keywords=galaxy+s20&qid=1606799877&sr=8-2
https://www.amazon.com/Samsung-Electronics-Unlocked-Smartphone-Long-Lasting/dp/B08BX7XBGN/ref=sr_1_5?dchild=1&keywords=galaxy+s20&qid=1606800175&sr=8-5
https://www.amazon.com/Samsung-Unlocked-Fingerprint-Recognition-Long-Lasting/product-reviews/B082XXZ5K3/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews
    
#갤럭시 A 20
https://www.amazon.com/Samsung-Unlocked-International-Variant-Compatible/product-reviews/B07ZDJCL76/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews
#갤럭시 A10
https://www.amazon.com/Samsung-A107M-Unlocked-International-Compatible/dp/B07XQJ33PL/ref=sr_1_11?dchild=1&keywords=galaxy+a20&qid=1606804227&sr=8-11
https://www.amazon.com/Samsung-Infinity-V-Digitel-Factory-Unlocked/product-reviews/B07S7DYDPC/ref=cm_cr_dp_d_show_all_btm?ie=UTF8&reviewerType=all_reviews
https://www.amazon.com/Samsung-Galaxy-A102U-Unlocked-Phone/dp/B084KS5WYC/ref=sr_1_5?dchild=1&keywords=galaxy+a10&qid=1606804415&sr=8-5

#갤럭시 A51
https://www.amazon.com/Samsung-Factory-Unlocked-Storage-Compatible/dp/B086FKHTLZ/ref=cm_cr_arp_d_product_top?ie=UTF8

#갤럭시 A50
https://www.amazon.com/Samsung-Version-Factory-Unlocked-SM-A505UZKNXAA/dp/B07VZL1W7K/ref=cm_cr_arp_d_product_top?ie=UTF8
https://www.amazon.com/Samsung-Unlocked-Storage-Lasting-Battery/dp/B08DHPBD4H/ref=sr_1_1_sspa?dchild=1&keywords=galaxy%2Ba30&qid=1606805541&sr=8-1-spons&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyRlRWRzVTMjA4QlBDJmVuY3J5cHRlZElkPUEwNzA0MzM4U09VMDhSUllGMVpBJmVuY3J5cHRlZEFkSWQ9QTA3ODcyNDIxOUc2TVdDN0hZRklVJndpZGdldE5hbWU9c3BfYXRmJmFjdGlvbj1jbGlja1JlZGlyZWN0JmRvTm90TG9nQ2xpY2s9dHJ1ZQ&th=1

#갤럭시 A71
https://www.amazon.com/Samsung-SM-A715F-Caribbean-Cameras-Android/dp/B084GBC1KH/ref=sr_1_13?dchild=1&keywords=galaxy+A&qid=1606834550&sr=8-13
https://www.amazon.com/Samsung-Unlocked-Storage-Lasting-Battery/dp/B08BX67ZNV/ref=sr_1_21_sspa?dchild=1&keywords=galaxy+A&qid=1606834550&sr=8-21-spons&psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEySkVCVUtBWk03SkpSJmVuY3J5cHRlZElkPUEwOTY3NzIxMzFGMkc4VUE5TlRTViZlbmNyeXB0ZWRBZElkPUEwODE4NDIyM005QTlCQjk3VzE1TSZ3aWRnZXROYW1lPXNwX2J0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

 

 최종적으로 수집한 리뷰의 수는 위와 같다. 

 텍스트 전처리를 진행한다. 영어 문자 외 특수문자나 공백을 제거한 후 불용어를 삭제한다. 불용어의 경우 기본적으로 Tidytext 패키지에 포함된 어간들을 제거한다. 그리고 추가적으로 토픽모델링을 진행하면서 빈도는 높게 나타나지만 유의미하지 않은 어간들을 불용어 리스트에 포함시켰다. 

 

전처리를 진행한 텍스트를 Documnet Term Matrix 형태로 변환한다. 그리고 topicmodels 라이브러리를 이용하여 토픽모델링을 진행한다. LDA()의 파라미터는 분석 및 해석을 반복하면서 최적 값으로 분석자들이 선정하였다. 

 

 

 

 

---

📚  결과 분석 

각 스마트폰에 대해서 등장 빈도가 높은 어간들을 살펴보면 아래와 같다. 

아래 부터는 토픽모델링을 실시한 결과이다. 토픽 개수는 분석을 반복하면서 최적의 값이라고 판단한 10개로 선정하였다. 각 스마트폰에 대한 토픽과 주요 단어는 아래와 같다.  

 

 

 

 플래그쉽과 보급형 라인의 토픽을 비교해보면 전반적으로 직관적인 결과가 나타났다. 플래그쉽의 경우 빅스비나 지문인식과 같은 고급 기능에 대한 언급이 많았다. 또한 높은 카메라 성능과 디스플레이 품질에 대한 언급이 많았다. 하지만 아이폰과의 비교에서 부정적인 언급들이 있었고 가격이 비싸거나 배송이 느리다는 평가도 존재했다. 

 반면 보급형 라인의 경우 상대적으로 가성비에 집중한 리뷰의 비중이 높았다. 하지만 전반적으로 부족한 기능에 대한 불만족 리뷰도 다수 존재했다. 

 

 

---

📚  전략 제안 

 미국 스마트폰 시장 및 소비자 조사 결과와 토픽 모델링 결과를 종합하여 삼성의 북미시장 마케팅 전략 제안. 

현재 삼성 스마트폰 라인업에는 플래그쉽과 보급형 라인의 중간 단계가 부재함. 

 

 

 

 

---

📚  Reference