전체보기 (121) 썸네일형 리스트형 MobileNets (모바일넷) 내용 정리 글 더보기 * 잊지 말자! Kernel size : conv filter의 width , height Depth-wise Convolution : 모바일 기기나 어플 등에서 성능이 낮은 환경에서도 사용할 수 있도록 효율성에 초점을 맞추어 설계된 모델이라고 한다. 작은 신경망을 만들기 위한 기술들은 아래와 같은 종류들이 있다. FC-Layer을 없애거나 Kernel 사이즈를 줄이거나 채널 수를 줄이거나 다운샘플링을 하거나 더보기 초반에 다운샘플링을 많이 하면 accuracy가 떨어지며 파라미터가 적어짐. 후반에 downsampling을 많이 하면 accuracy가 좋지만 파라미터가 많아짐. 이라고 설명이 써있는걸 봤는데, hmm.. 내생각엔 파라미터 수는 변함 없을 것 같고 GPU RAM 크기를 얼마나 먹냐,.. Tensorflow 튜토리얼 05 - Softmax Classifier 모두를 위한 딥러닝 영상을 참고하였음을 밝힙니다. 이번 글에서 다룰 내용이다. 우선, 샘플 데이터셋을 만들어놓자. y 데이터는 총 3개의 레이블로 되어있다. (one-hot encoding 형식으로 되어있음) softmax 함수는 다양한 class의 결과에 대한 확률을 output으로 받아볼 때 사용한다. (최종 합이 1이 되어야 한다.) 우선 xw + b는 곱해서 만들어서 결과를 만들어주고, tf.nn.softmax를 통해 softmax 연산을 진행 해 준다. tfe.Variable을 통해서 행렬을 만들어준다. tfe (tf eagar mode)는 기존의 graph 모드보다 실시간으로 결과를 손쉽게 받아볼 수 있게 한다. 그 값을 출력해주면 정상적으로 답이 나오는것을 볼 수 있다. 저 위의 값들을 보게.. Tensorflow 튜토리얼 04 - Logistic Regression 해당 내용에 대한 개념은 정리하지 않고, tensorflow로 해당 구현을 어떻게 하면 될까 ? 만을 다룹니다 :) 모두를 위한 딥러닝 시즌2 텐서플로 동영상을 참고하여 만든 글임을 밝힙니다. 로지스틱 리그레션은 주로 분리(구분)되는 데이터에 대해서 사용하고 linear regression은 주로 연속적인 데이터에 사용되게 된다. 시그모이드는 g(z) = 1/(1+e^(-z)) 요 위의 g 함수를 의미한다. 그럼 tf code에서는 오른쪽의 코드처럼 sigmoid가 0.5를 기준으로 오른쪽 왼쪽으로 나뉘니까 우리도 0.5를 기준으로 참 거짓과 같은 결과를 구분해낼 수 있게 된다. (0.5보다 크면 1 아니면 0) cost function에 대한 코드는 위와 같이 표현될 것이다. label이 1이나 0이라.. Deep double descent 라는 paper 재밌다 원본링크 블로그 https://openai.com/blog/deep-double-descent/?fbclid=IwAR37q9qWw_XOcWZHJzmLXDRkqK07uevYc0dGGyjwMq0HVlsmyh2TTylZ-vw Paper https://arxiv.org/abs/1912.02292 resnet 기준으로 쫙 - 매우 - 오래 train 시켰을 때 일시적 test의 성능 하락이 발생하였으나 서서히 다시 test error가 떨어지는 현상을 발견했다고 한다. 데이터가 많을수록 더욱 train 시와의 차이가 적을 것이라고 예측되었으나 모델 사이즈에 대해서 일정 구간에서는 오히려 더 많은 데이터가 성능이 안좋기도 하다고;; (NLP 쪽 transformer 모델 임베딩 task로 실험) 트레이닝 epoch.. Tensorflow 튜토리얼 03 - Multi variable linear regression LAB 모두를 위한 딥러닝 시즌 2 텐서플로 과정 lab session 강의를 바탕으로 만들었습니다~ 이번 강의에서는 multivariable linear regression에 대한 것을 다뤄 볼 것이다. 코드로는 위와 같이 표현하여 우리의 hypothesis를 표현해줄 수 있다. 전체 실행 코드를 보면 위와 같다. gradient descent를 사용하여 최적화를 시키는데 gradient tape을 사용하여 cost function의 gradiet가 어떻게 흐르는지를 저장시켜주었다. 해당 tape 구문 안에서 hypothesis와 y를 통해 cost function을 계산하는 그 과정을 보여준다. 그리고 그 아래 줄에서 tape에 기록된 변수에 정보를 사용해서 tape.gradient를 통해 cost에 대한 .. Tensorflow 튜토리얼 02 - Liner Regression and How to minimize cost LAB 들어가기에 앞서, 모두를 위한 딥러닝 시즌 2 lab 03 슬라이드를 바탕으로 작성한 글임을 밝힙니다 후후.. 우상단의 cost function을 파이썬으로 구현 해보면 위와 같다. cost를 정의대로 구한 모습을 볼 수 있다. (linear regression의 b (bias)는 생략) np.linspace는 시작 , 끝을 지정하고, (-3 , 5) num은 몇개로 나누는지를 말 해 준다. (15개로 나눔) 그러면 오른쪽과 같은 cost값의 변화를 볼 수 있다. cost값이 1일때 제일 작고 1에서 멀어질수록 늘어나는걸 볼 수 있다. 그래프는 이렇다. 구현을 텐서플로우로 해보자. 코드가 위와같이 바뀐다. cost가 weight에 따라 어떻게 바뀌는지 cost_values에 저장해서 한번 출력 해 보자... Tensorflow 튜토리얼 01 - Simple Liner Regression 본 글 시리즈는 모두를 위한 딥러닝 시즌 2를 글로 옮겼음을 밝힙니다. 본 시리즈는 https://www.youtube.com/watch?v=7eldOrjQVi0&list=PLQ28Nx3M4Jrguyuwg4xe9d9t2XE639e5C 위 링크에 있습니다. 설치나 환경설정 등은 다양한 정답이 있으므로 따로 다루지 않겠습니다. 저는 아나콘다 환경이라 conda install tensorflow 명령어로 설치했습니다. import tensorflow as tf 라는 명령어가 파이썬에서 실행된다면 성공이다. 개념에 대한 부분은 예전 글들에서 많이 다루었으므로 이 글 시리즈에서는 단순히 사용법만을 다뤄보도록 하려고 한다. 오 신기하다 이건 처음 들어서 공유하는데, regression이라는게 회귀라는 말로 번역되어.. StarGAN V2, 무엇이 달라졌을까? 오 이런 포스트 제목 좀 뻔한데? 아무튼, 개인적인 이유로 사람들이 별로 안 읽은 논문을 흥미롭게 읽어서 발표해야 하는 일이 생겨서 StarGAN V2 논문을 읽게 되었다. 포스트 작성일 기준 3일전에 발표된 논문이니깐 다른 사람들이 그닥 많이 정보를 올려놓지는 않았으리가 믿으면서.. :) 윤제형이 처음 StarGAN 발표할 때만 해도 ㅇ우오아아.. 대박이다 했던게 엊그제같은데 벌써 V2가 나오고 그 사이에 다양한 논문들이 나오다니 지이이인짜 시간이 너무 빠르다. 후... 난 제발 취업좀;; 취업성공! StarGAN v2 , 어디에 써? StarGANv2 는 우선 새로운 이미지를 생성하는 GAN을 기반으로 만들어졌으며, 그렇기에 기존에 없던 새로운 이미지를 만들어내는 '생성모델'이다. 그리고 StarGA.. 이전 1 2 3 4 5 6 7 8 ··· 16 다음
