전체 글184 [파이토치 스터디] 과적합 방지를 통한 모델 성능 개선 📚 Overfitting 방지를 통한 모델 성능 개선 ✔ 분류/예측 모델의 과적합을 최소화하고 성능을 향상하는 방법에는 여러 가지가 존재한다. 대표적인 성능 개선 방법들은 다음과 같다. ① 데이터 증식 (data augmentation) 학습에 필요한 추가 데이터 수집이 어려운 경우, 기존 데이터를 증식할 수 있다. 구체적인 방법으로는 통계적 기법, 단순 변형, 생성 모델 사용 등이 있다. torchvision.transforms를 사용하면 ② 조기 종료 (Early Stopping) 학습 데이터셋에 과적합이 되지 않도록 일정한 기준을 정하여 모델 학습을 종료하는 방식 ③ L2 정규화 optimizer = optim.Adam(model.parameters(), lr=1e-3, weight_decay=1e.. 2022. 2. 23. [추천시스템] 추천 수량과 재 추천을 고려한 사용자 기반 협업필터링 추천시스템 📚 논문 정보 박지회, & 남기환. (2017). 추천 수량과 재 추천을 고려한 사용자 기반 협업 필터링 추천 시스템. Information Systems Review, 19(2), 71-94. 📚 요약 이 연구에서는 오프라인 의류 매장을 대상으로 '추천 수량' 과 '재 추천'을 고려한 협업필터링 방식을 제안했다. 오프라인 매장의 재고관리 측면에서는 단순히 구매 여부보다 얼마나 구매할 지를 아는 것이 중요하기 때문에 이 연구에서는 해당 요소를 중요하게 고려했다. 일반적인 CF에서 유저가 여기서는 매장이 된다. 1. 매장 프로필 생성 고객이 아이템에 평가를 한 데이터가 아니라, 각 매장이 의류 상품(아이템)을 판매한 데이터를 사용한다. 따라서 개인의 평점 대신에 매장의.. 2022. 2. 21. 추천시스템 데이터 정리 📚 사용가능한 추천시스템 데이터 정리 ✔ 🏷️📌📘 ✅ 카카오 아레나 멜론 플레이 리스트 데이터 https://arena.kakao.com/c/7 • 학습, 평가, 테스트 셋 위와 같은 형태로 구성. Train (115,000개) / Val (23000개) / Test (10000개) • 곡 메타데이터 관련 게시글 https://brunch.co.kr/@kakao-it/342 https://brunch.co.kr/@kakao-it/343 • 곡에 대한 멜 스펙토그램 데이터도 제공한다. 분량이 매우 크기 때문에 유의 2022. 2. 18. BERT로 한글 영화 리뷰 감성분석 하기 📚 BERT를 이용한 영화 한글리뷰 감성 분석 ✔ 🏷️📌📘 • 설명 일반적으로 한글 텍스트 분석은 영어보다 전처리 과정이 까다로운 편이다. 조사나 어미의 변화가 다양하고, 형태 변화에 따라서 단어의 의미가 달라지기 때문이다. BERT로 한글을 분석하는 방법은 크게 다음고 같다. 1.Hugging Face에서 제공하는 Multilingual BERT 사용 2.한글 데이터를 학습한 모델(KoBERT, KcBERT 등) 사용 https://github.com/SKTBrain/KoBERT https://github.com/Beomi/KcBERT 📚 1. 다국어 버전 BERT를 이용한 감성 분석 ✅ 1. 1 특성 기반 (feature based) 방법 다국어 버전 BERT는 여러 언어 중에서 문서의 수가 많은 상.. 2022. 2. 17. [파이토치 스터디] 오토인코더 📚 Stacked Autoencoder (기본 오토인코더) ✅오토인코더로 MNIST 손글씨 이미지 생성하기 오토인코더는 인코더와 디코더로 구성되어 있으며 정답 라벨 없이 입력된 데이터와 유사한 형태를 출력한다. 기본적인 스택 오코인코더로 MNIST 손글씨 데이터를 생성한다. 📌라이브러리, 데이터 불러오기 import torch import torchvision from torchvision import transforms import torch.nn.functional as F import torch.nn as nn import torch.optim as optim import numpy as np import matplotlib.pyplot as plt device = torch.device('cuda.. 2022. 2. 16. BERT로 영화 리뷰의 감성 분석하기 📚 BERT를 이용한 영화 리뷰 감성분석 BERT를 이용해서 영화 리뷰를 긍정/부정으로 분류하는 감성 분석을 실시한다. 데이터는 IMDB 영화 데이터셋을 아래 링크에서 다운받아서 사용한다. https://github.com/clairett/pytorch-sentiment-classification/raw/master/data/SST2 BERT는 한개 또는 두개의 문장을 입력받지만, BERT의 문장 단위는 실질적으로 사용되는 의미론적인 문장과 다르기 때문에 512개의 토큰까지 하나의 문장으로 간주해서 입력할 수 있다. ✅ 특성 기반 방법 (Feature Based ) vs 미세 조정 방법 (Fine Tuning) 감성 분류는 크게 두 가지 방식으로 접근할 수 있다. 📌1. 특정 기반 방식 : Feature.. 2022. 2. 14. 이전 1 ··· 14 15 16 17 18 19 20 ··· 31 다음
