머신러닝, 딥러닝/딥러닝15 딥러닝 기본 개념 - 신경망 구조, 활성화 함수, Optimizer 📚 신경망 기본 구조 및 용어 설명 ✅ 입력층, 은닉층, 출력층 설명 ① 입력층(Input Layer) - feature에 대한 정보(독립변수)를 입력받고 다음 층으로 전달한다. - 입력층 노드의 수 = 독립변수의 수 ② 은닉층(Hidden Layer) - 종속변수를 예측하는데 중요한 특성이나 패턴을 추출한다. - 입력 받은 데이터를 활성화 함수(activation function)를 거쳐서 변환해서 전달함 - 은닉층 노드의 수 = 사용자가 설정 ③ 출력층(Output Layer) - 종속변수의 예측치를 출력한다. 회귀의 경우 종속변수의 값을 그대로 출력하고 분류는 각 종속변수 클래스의 확률을 출력함 회귀문제 : 출력 노드의 수 = 1 분류문제 : 출력 노드의 수 = 종속변수의 클래스 수 • 입력층과 출.. 2022. 1. 11. 딥러닝 기본 개념 - 비용함수, 경사하강법, 규제 ◈ 딥러닝 기본 개념 설명 - 비용함수/경사하강법/규제 ✅ 비용함수(Cost Function), 손실함수(Loss Function) • 비용함수 : 학습데이터에 존재하는 전체의 에러 정도를 의미함. 즉 모델이 설명하지 못하는 정도를 나타냄 따라서, 파라미터의 최적 값은 비용함수의 값을 minimize 하는 값이라고 볼 수 있다. 대표적인 비용함수에는 MAE, MSE, RMSE가 있다. ✔ Normal Equation(정규방정식) : 비용함수가 아래로 볼록한2차 방정식 형태(convex form)인 경우, 미분해서 기울기가 0인 지점을 계산하면 비용함수를 최소화하는 지점을 찾을 수 있다. 하지만 이러한 형태로 비용함수가 나타나는 경우는 드물다. 실제 딥러닝의 비용함수는 우측과 같은 형태로 복잡하게 나타난다.. 2022. 1. 10. 딥러닝 기본 용어 정리 📚 Mini batch, Epoch, Iteration ✅ 미니 배치 (Mini Batch) • 신경망 학습 시 전체 데이터를 이용해서 경사하강을 진행하면 계산량이 많기 때문에 시간이 오래 걸린다. 또한 메모리 문제로 연산 자체가 불가능한 경우도 있다. • 전체 데이터를 작은 단위로 나눠서 학습하는 단위를 미니 배치라고 한다. 전체 데이터를 여러 개의 그룹으로 나누었을 때, 한 그룹에 있는 데이터의 수 • 미니배치 학습을 진행하게 되면, 각 미니 배치에 대해서 비용을 계산하고 경사하강을 수행한다. 즉, 미니 배치는 가중치와 오차를 한 번 업데이트 하는 데에 사용한 데이터의 수이다. 그리고 모든 미니배치에 대해서 이 과정을 1회 수행하면 1 epoch라고 부른다. • 미니배치의 크기를 batch size라.. 2021. 10. 25. 이전 1 2 3 다음
