Neural Networks
인공신경망 (neural networks)은 affine transformation, 그리고 nonlinear activation function의 반복된 합성입니다. Affine transformation의 횟수를 depth, affine transformation의 output dimension을 width라고 합니다. 이 함수를 fully connected neural networks (FNNs) 혹은 multi-layer perceptrons (MLPs)라고 부릅니다.
Definition: neural networks
아키텍쳐
Remark
Affine transformation
현대적 deep learning에서는 더 복잡하고 거대한 구조의 neural network를 사용합니다. 하지만 본 책에서 다룰 문제들에 있어서는 MLP마저 polynomial-based 방법들보다 훨씬 model의 복잡도가 크고, 느립니다.
Universal Approximation Theorem
Universal approximation theorem.
어떤 compact domain
Remark
간혹 universal approximation theorem이 인공신경망이 잘 동작하는 이유가 된다는 설명을 듣곤 합니다. 하지만 이는 틀린 설명입니다. 사실 polynomial들도 universal approximation theorem을 만족합니다. 만약 위 설명이 맞다면, polynomial-based 모델들도 neural network 만큼 퍼포먼스를 내 줘야 합니다. Universal approximation theorem은 단지 최소한의 이론적인 보장일 뿐입니다.