Skip to content

Neural Tangent Kernel Theory

Neural Tangent Kernel Perspectives

Gradient flow는 gradient descent에서 step size \(\eta\)를 아주 작게 했을 때 얻을 수 있었습니다. 한편, neural network의 width를 한없이 크게 늘리게 되면 Gaussian process가 된다는 연구결과가 있습니다1. 이를 통해서 neural network를 이론적으로 분석하는 방법 중 하나가 neural tangent kernel theory 입니다2. 같은 analysis를 PINN에도 적용해 볼 수 있습니다. 그 결과가 여기3에 정리되어 있습니다.

  1. Lee, J., Bahri, Y., Novak, R., Schoenholz, S.S., Pennington, J., & Sohl-Dickstein, J. (2017) Deep neural networks as gaussian processes. arXiv preprint arXiv:1711.00165. ↩

  2. Jacot, A., Gabriel, F., & Hongler, C. (2018) Neural tangent kernel: Convergence and generalization in neural networks. Advances in neural information processing systems, 31. ↩

  3. Wang, S., Yu, X., & Perdikaris, P. (2022) When and why PINNs fail to train: A neural tangent kernel perspective. Journal of Computational Physics, 449, 110768. ↩