728x90 deep learning5 [Vision] MixMatch: A Holistic Approach to Semi-Supervised Learning, 2019 레퍼런스 https://www.youtube.com/watch?v=5GfOEL_L8LQ&t=1605s https://www.youtube.com/watch?v=nSJP7bn2D1U&t=943s https://www.youtube.com/watch?v=ud863JQmUW0&t=1491s 2021. 6. 10. GRU 구조 쉽게 이해하기 안녕하세요, 끙정입니다. 지난번에는 LSTM의 구조를 찬찬히 뜯어보았습니다. 오늘은 LSTM의 구조를 조금 바꿔서 나온 GRU라는 모델을 살펴보도록 할 텐데요. 언제나 새로운 모델은 과거의 모델을 개선해서 나오듯, GRU 또한 LSTM에서 단점으로 제기되었던 부분을 개선하며 나왔습니다. 그러나 GRU가 LSTM보다 상위 호환인 모델은 아닙니다. 여전히 많은 연구자들과 실무자들은 LSTM과 GRU를 환경과 목적에 맞게 고루 사용하고 있습니다. LSTM의 한계점. GRU가 개선한 LSTM의 한계점은 너무 무거운 구조, 많은 학습 파라미터입니다. GRU는 LSTM에 준한 성능을 유지하면서 구조를 조금 더 가볍게 하여 학습 파라미터의 개수를 줄였습니다. 그러나 여전히 시퀀스가 긴 데이터 학습과 예측에 대해서는 .. 2021. 5. 28. LSTM 구조 쉽게 이해하기 안녕하세요, 끙정입니다. 오늘은 시퀀셜한 데이터를 학습하고 예측하는데 아주 강력한 딥러닝 아키텍쳐인 LSTM을 복습해보겠습니다. 처음에 LSTM을 접했을 때는 너무 수식도 많고, 파라미터도 많고, 이해가 하나도 가질 않았습니다. 그러나 막상 하나하나 찬찬히 뜯어보면 어려울 것이 하나도 없습니다. 굉장히 직관적으로 설계를 해두었습니다. 그럼 시작해 보겠습니다. RNN의 한계점. 대부분의 최신 알고리즘이 기존의 알고리즘들이 가지고 있는 한계점을 해결하기 위해 나오는 것처럼, LSTM도 RNN이 가지는 한계점을 해결하기 위해서 탄생했습니다. RNN이 가지고 있던 한계점은 크게 두 가지였습니다. 1) Vanishing Gradient 2) Long-term Dependency 입니다. 배니싱 그라디언트, 즉 기.. 2021. 5. 26. RNN에는 들어가는 Data Input Shape 안녕하세요, 끙정입니다. 딥러닝은 Shape과의 싸움이라고 해도 과언이 아닙니다. 오늘은 RNN에는 Data Shape가 어떻게 들어가는지를 살펴보도록 하겠습니다. 어렵지 않습니다. 가정. 아래와 같이 날짜를 축으로 변수인 강수량, 일조량 그리고 타겟 값인 발전량이 있는 2차원 테이블이 있습니다. 일반적인 머신러닝 알고리즘을 사용한다면, 이 테이블 그대로 학습 시킵니다. 그러나 RNN은 여기서 시퀀스 축이 추가 됩니다. RNN의 Input Shape. 시계열 예측을 위해서는 시퀀스 축(윈도우 사이즈 라고도 합니다.)을 만들어야 합니다. 시퀀스 축은 분석가가 결정하는 것으로, 얼마 동안의 기간을 학습해서 타겟 값을 예측할 것이냐를 물어보는 겁니다. 예를 들어 5일의 데이터를 통해서 6일째의 타겟 값을 예측.. 2021. 5. 24. RNN 구조 쉽게 이해하기 끙정입니다. 딥러닝을 처음 학습할 때, 상대적으로 DNN이나 CNN은 수월하게 배우는 편일 것입니다. 그러나 RNN은 유독 초반에 어렵게 느껴지고, 어떤 Shape으로 집어 넣어서 어떤 Target을 학습시키는지 개념이 잡히지 않을 때가 많습니다. 오늘은 RNN 구조를 쉽게 이해하는 시간을 가져보겠습니다. 내용은 거의 아래 책에 나오는 내용에 대한 복습이라고 보시면 됩니다. 제가 가장 좋아하는 책이며, 정말 설명이 잘 되어 있는 책입니다. 강추. www.yes24.com/Product/Goods/73741253?OzSrank=1 파이토치 첫걸음 페이스북이 주도하는 딥러닝 프레임워크 파이토치 기초부터 스타일 트랜스퍼, 오토인코더, GAN 실전 기법까지 A to Z 딥러닝 구현 복잡도가 증가함에 따라 ‘파이.. 2021. 4. 28. 이전 1 다음 728x90
