polynomial.
얼마나 training 시키냐도 우리의 문제,,
층을 쌓아서 no-linear하게 만드는게-> 딥러닝 기법
no-linear가 융통성있게 잘됨. 결국 하이퍼 파라미터의 문제.
regularization
1. validation은 하이퍼파라미터 튜닝을 위해서 존재하는거임.
모델을 사회에 내놓기 전에 점검을 위해 measure의 역할을 하는거다.
2. test 셋으로 일반화로 잘 적응하는지 한 번 더 구분하는거다.
하이퍼파라미터
레이어갯수, 노드, 러닝레이트
bayesian optimization -> 얘도 랜덤 하게 함,. 몇번 돌려보긴 해. 근데 이렇게 하이퍼 파라미터하니까 성능이 어느정도 나오네.. 그럼 요부분을 높여줄까? (acquistion function.) <kaggle에서 많이 쓰이고, naver 블로그 읽어봐!
인덱싱, 리쉐잎
loss가 발생했을 때 weight가 기여한 정도를 알기위해 미분을 때린다.
w를 업데이트할때 w가 loss에 기여한 순간변화율을 구하기 위해 미분을 함.
loss를 변화시킨 만큼 w 빼줘야함.