본문 바로가기

스터디17

CNN VS FC FC(완전연결) 계층의 문제점 완전 연결 계층(fully connected layer)을 이용해 MNIST 데이터 셋을 분류하는 모델을 만들 때, 3 차원(세로, 가로, 채널)인 MNIST 데이터(28, 28, 1)를 입력 층(input layer)에 넣어주기 위해서 아래의 그림처럼, 3 차원 → 1 차원의 평평한(flat) 데이터로 펼쳐줘야 한다. 즉, (28, 28, 1)의 3 차원 데이터를 28X28X1= 784의 1 차원 데이터로 바꾼 다음 입력 층에 넣었다. 이러한 완전 연결 계층의 문제점은 바로 '데이터의 형상이 무시' 된다는 것 이미지 데이터의 경우 3 차원(세로, 가로, 채널)의 형상을 가지며, 이 형상에는 '공간적 구조(spatial structure)'를 가진다. 예를 들어 공간적으로 .. 2022. 7. 14.
Pytorch vs Tensorflow > 현재 많은 연구자들의 논문에서 Tensorflow 보다 Pytorch 관련 논문의 비율이 앞도적으로 늘어나고 있음 > 전체 논문에서도 Torch가 Tensorflow보다 많은 비율을 차지하고 있는 추세 Simplicity •numpy와 유사하고 매우 pythonic하고 파이썬 환경 시스템과 쉽게 통합할 수 있다. •Tensorflow에서는 debugging 하기 굉장히 까다롭다. Great API •대부분 Tensorflow보다 Pytorch를 더 선호한다. •왜냐하면 tensorflow에서는 많은 변경이 있었다. (layers -> slim -> estimators -> tf.keras) Performance •PyTorch의 동적 그래프는 최적화의 기회를 엄격히 줄여준다는 사실에도 불구하고, Py.. 2022. 3. 15.
CNN-based Approaches For Cross-Subject Classification in Motor Imagery: From The State-of-The-Art to DynamicNet https://github.com/jesus-333/Dynamic-PyTorch-Net GitHub - jesus-333/Dynamic-PyTorch-Net: Class to automatic create Convolutional Neural Network in PyTorch Class to automatic create Convolutional Neural Network in PyTorch - GitHub - jesus-333/Dynamic-PyTorch-Net: Class to automatic create Convolutional Neural Network in PyTorch github.com convolutional neural network (CNN)-based DL models Dynamic.. 2022. 3. 12.
변수 선택 (Feature Selection) Feature Selection이란? 모델링 시 모든 feature를 사용하는 것은 매우 비효율적이기 때문에,일부 필요한 feature만 선택해서 사용할 수 있다. 필요한 변수만 선택해서 사용하기 위해 아래와 같은 방법이 있다. - Feature Engineering : 도메인 지식을 사용하여 데이터에서 피쳐를 변형/생성 - Feature Extraction : 차원축소(PCA)등 새로운 중요 피쳐를 추출 - Feature Selection : 기존 피쳐에서 원하는 피쳐만 (변경하지 않고) 선택 Feature Engineering은 데이터 피쳐를 어떻게 유용하게 만들것인가 Feature Selection은 데이터에서 유용한 피처를 어떻게 선택할 것인가 라고 생각할 수 있다. Feature Selectio.. 2021. 11. 8.
Pycaret을 사용한 데이터 분석 Pycaret pycaret이란 AutoML을 하게 해주는 파이썬 라이브러리이다. 기존에 있던 Scikit-learn, XGBoost, LightGBM, spaCy 등 여러가지 머신러닝 라이브러리를 ML High-Level API로 제작했다. 단 몇 줄로 데이터 분석 및 모델 성능 비교, Log를 생성까지 가능하다. AutoML(오토ML) 이란? 데이터 성격에 맞게 자동으로 데이터 분석 모델을 추천해주는 Auto Machine Learning 기법 AutoML(오토ML) 장점 인공지능 분석 모델을 학습하기 위해 데이터에서 중요한 특징(feature)을 선택하고 인코딩하는 방식에 대한 특징 엔지니어링(feature engineering) 자동으로 추출한다. 인공지능 모델 학습에 필요한 사람의 설정들, 하이.. 2021. 11. 1.
핸즈온 머신러닝(Hands-On Machine Learning) 18장 - 강화학습(3) 18.8 시간차(Temporal Difference) 학습 독립적인 행동으로 이루어진 강화학습 문제는 보통 마르코프 결정 과정으로 모델링될 수 있지만 학습 초기에 에이전트는 전이 확률( T(s,a,s') )에 대해 알지 못하며, 보상( R(s,a,s') )이 얼마나 되는지 알지 못한다. 그렇기 때문에, 보상에 대해 알기 위해서는 적어도 한번씩은 각 상태(state)와 전이를 경험해야 하며, 전이 확률에 대해 신뢰할만한 추정을 얻기 위해서는 여러번 경험을 해야한다. 시간차 학습(TD 학습, Temporal Difference Learning)은 가치 반복(Value-iteration) 알고리즘과 비슷하지만, 1. 에이전트가 MDP에 대해 일부의 정보만 알고 있을 때 다룰 수 있도록 변형한 것 2. 일반적으.. 2021. 10. 31.

티스토리툴바