경사하강법2 딥러닝 기본 개념 - 신경망 구조, 활성화 함수, Optimizer 📚 신경망 기본 구조 및 용어 설명 ✅ 입력층, 은닉층, 출력층 설명 ① 입력층(Input Layer) - feature에 대한 정보(독립변수)를 입력받고 다음 층으로 전달한다. - 입력층 노드의 수 = 독립변수의 수 ② 은닉층(Hidden Layer) - 종속변수를 예측하는데 중요한 특성이나 패턴을 추출한다. - 입력 받은 데이터를 활성화 함수(activation function)를 거쳐서 변환해서 전달함 - 은닉층 노드의 수 = 사용자가 설정 ③ 출력층(Output Layer) - 종속변수의 예측치를 출력한다. 회귀의 경우 종속변수의 값을 그대로 출력하고 분류는 각 종속변수 클래스의 확률을 출력함 회귀문제 : 출력 노드의 수 = 1 분류문제 : 출력 노드의 수 = 종속변수의 클래스 수 • 입력층과 출.. 2022. 1. 11. 딥러닝 기본 개념 - 비용함수, 경사하강법, 규제 ◈ 딥러닝 기본 개념 설명 - 비용함수/경사하강법/규제 ✅ 비용함수(Cost Function), 손실함수(Loss Function) • 비용함수 : 학습데이터에 존재하는 전체의 에러 정도를 의미함. 즉 모델이 설명하지 못하는 정도를 나타냄 따라서, 파라미터의 최적 값은 비용함수의 값을 minimize 하는 값이라고 볼 수 있다. 대표적인 비용함수에는 MAE, MSE, RMSE가 있다. ✔ Normal Equation(정규방정식) : 비용함수가 아래로 볼록한2차 방정식 형태(convex form)인 경우, 미분해서 기울기가 0인 지점을 계산하면 비용함수를 최소화하는 지점을 찾을 수 있다. 하지만 이러한 형태로 비용함수가 나타나는 경우는 드물다. 실제 딥러닝의 비용함수는 우측과 같은 형태로 복잡하게 나타난다.. 2022. 1. 10. 이전 1 다음
