본문으로 건너뛰기
툴허브

신경망 시각화

순전파·역전파 과정을 뉴런 단위로 시각화하며 딥러닝 원리를 이해하세요

프리셋

네트워크 구조

하이퍼파라미터

입출력 값

입력 1
입력 2
목표 출력 (역전파용)
목표 1

네트워크 구조

양수 가중치 음수 가중치 순전파 역전파
에포크
0
손실 (MSE)
0.000000
출력
[0.0000]

가이드

인공 신경망이란?

인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조에서 영감을 받은 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 이전 층의 출력값에 가중치를 곱하고 편향을 더한 후 활성화 함수를 통과시켜 다음 층으로 신호를 전달합니다. 충분한 뉴런과 층이 있으면 어떤 연속 함수든 근사할 수 있다는 것이 만능근사정리(Universal Approximation Theorem)입니다.

순전파와 역전파

순전파(Forward Propagation): 입력 데이터가 네트워크를 왼쪽에서 오른쪽으로 통과하며 각 뉴런에서 z = Wx + b를 계산하고 활성화 함수 a = f(z)를 적용합니다. 최종 출력층에서 예측값이 나옵니다.

역전파(Backpropagation): 출력의 오차(손실)를 체인 룰(Chain Rule)로 각 가중치에 대해 편미분하여 기울기를 계산합니다. 이 기울기에 학습률을 곱해 가중치를 업데이트합니다. 오른쪽(출력)에서 왼쪽(입력)으로 기울기가 전파되어 모든 가중치가 동시에 조정됩니다.

활성화 함수 비교

함수수식범위특징
Sigmoid1/(1+e^(-x))(0, 1)확률 출력에 적합, 기울기 소실 문제
ReLUmax(0, x)[0, +inf)계산 빠름, 죽은 뉴런 문제 가능
Tanh(e^x-e^(-x))/(e^x+e^(-x))(-1, 1)0 중심, Sigmoid보다 학습 안정적

자주 묻는 질문

학습률이 너무 높으면 어떻게 되나요?
손실이 발산하여 학습이 불안정해집니다. 반대로 너무 낮으면 학습 속도가 매우 느려집니다. 일반적으로 0.001~0.1 사이의 값을 사용합니다.
은닉층이 많을수록 좋은가요?
층이 깊으면 더 복잡한 패턴을 학습할 수 있지만, 기울기 소실/폭발 문제가 발생할 수 있고 과적합 위험이 높아집니다. 문제의 복잡도에 맞게 선택해야 합니다.
XOR 문제는 왜 은닉층이 필요한가요?
XOR은 선형 분리가 불가능한 문제입니다. 은닉층이 입력 공간을 비선형으로 변환하여 선형 분리 가능한 표현을 만들어줍니다.

자주 묻는 질문

신경망이란 무엇인가요?

인공 신경망(Artificial Neural Network)은 인간 뇌의 뉴런 구조를 모방한 머신러닝 모델입니다. 입력층, 은닉층, 출력층으로 구성되며, 각 뉴런은 가중치와 편향을 가지고 활성화 함수를 통해 신호를 전달합니다.

순전파와 역전파의 차이는?

순전파(Forward Propagation)는 입력 데이터를 네트워크에 통과시켜 출력을 계산하는 과정이고, 역전파(Backpropagation)는 출력의 오차를 이용해 각 가중치의 기울기를 계산하고 업데이트하는 학습 과정입니다.

활성화 함수는 왜 필요한가요?

활성화 함수는 신경망에 비선형성을 부여합니다. 활성화 함수 없이는 아무리 많은 층을 쌓아도 단순 선형 변환에 불과하여 XOR 같은 비선형 문제를 풀 수 없습니다. Sigmoid, ReLU, Tanh 등이 대표적입니다.