머신러닝
-
[5주차] 딥러닝 2단계 : Batch NormalizationDSCstudyNLP 2020. 2. 10. 22:42
https://www.edwith.org/deeplearningai2/joinLectures/20015 딥러닝 2단계: 심층 신경망 성능 향상시키기 강좌소개 : edwith - 커넥트재단 www.edwith.org 이 글은 edwith 딥러닝 2단계 강의 목록 중 'Batch Normalization'을 수강하고 정리하였습니다. 수식, 그래프 이미지의 출처는 강의 필기 캡처본입니다. 배치 정규화 딥러닝이 떠오르면서 가장 중요한 아이디어 중 하나로 배치정규화라는 알고리즘이 꼽힌다. Sergey loffe와 Christian Szegedy가 만들었다. 배치 정규화는 하이퍼파라미터 탐색을 쉽게 만들어줄 뿐만 아니라 신경망과 하이퍼파라미터의 상관관계를 줄여준다. 즉, 더 많은 하이퍼파라미터가 잘 작동하는 것이다..