인공 신경망의 순전파·역전파 과정을 뉴런 단위로 시각화합니다. 활성화 함수(Sigmoid, ReLU, Tanh), 가중치 업데이트, 경사하강법을 인터랙티브하게 학습하세요.
인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조를 모방한 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 가중치와 편향을 가지고 활성화 함수를 통해 신호를 전달합니다.
순전파(Forward Propagation)는 입력 데이터를 네트워크에 통과시켜 출력을 계산하는 과정이고, 역전파(Backpropagation)는 출력의 오차를 이용해 각 가중치의 기울기를 계산하고 업데이트하는 학습 과정입니다.
활성화 함수는 신경망에 비선형성을 부여합니다. 활성화 함수 없이는 아무리 많은 층을 쌓아도 단순 선형 변환에 불과하여 XOR 같은 비선형 문제를 풀 수 없습니다. Sigmoid, ReLU, Tanh 등이 대표적입니다.
인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조를 모방한 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 가중치와 편향을 가지고 활성화 함수를 통해 신호를 전달합니다.
순전파(Forward Propagation)는 입력 데이터를 네트워크에 통과시켜 출력을 계산하는 과정이고, 역전파(Backpropagation)는 출력의 오차를 이용해 각 가중치의 기울기를 계산하고 업데이트하는 학습 과정입니다.
활성화 함수는 신경망에 비선형성을 부여합니다. 활성화 함수 없이는 아무리 많은 층을 쌓아도 단순 선형 변환에 불과하여 XOR 같은 비선형 문제를 풀 수 없습니다. Sigmoid, ReLU, Tanh 등이 대표적입니다.
순전파·역전파 과정을 뉴런 단위로 시각화하며 딥러닝 원리를 이해하세요
인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조에서 영감을 받은 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 이전 층의 출력값에 가중치를 곱하고 편향을 더한 후 활성화 함수를 통과시켜 다음 층으로 신호를 전달합니다. 충분한 뉴런과 층이 있으면 어떤 연속 함수든 근사할 수 있다는 것이 만능근사정리(Universal Approximation Theorem)입니다.
순전파(Forward Propagation): 입력 데이터가 네트워크를 왼쪽에서 오른쪽으로 통과하며 각 뉴런에서 z = Wx + b를 계산하고 활성화 함수 a = f(z)를 적용합니다. 최종 출력층에서 예측값이 나옵니다.
역전파(Backpropagation): 출력의 오차(손실)를 체인 룰(Chain Rule)로 각 가중치에 대해 편미분하여 기울기를 계산합니다. 이 기울기에 학습률을 곱해 가중치를 업데이트합니다. 오른쪽(출력)에서 왼쪽(입력)으로 기울기가 전파되어 모든 가중치가 동시에 조정됩니다.
| 함수 | 수식 | 범위 | 특징 |
|---|---|---|---|
| Sigmoid | 1/(1+e^(-x)) | (0, 1) | 확률 출력에 적합, 기울기 소실 문제 |
| ReLU | max(0, x) | [0, +inf) | 계산 빠름, 죽은 뉴런 문제 가능 |
| Tanh | (e^x-e^(-x))/(e^x+e^(-x)) | (-1, 1) | 0 중심, Sigmoid보다 학습 안정적 |