스터디17 인공지능, 머신러닝, 딥러닝의 관계 처음 인공지능을 배울 때 헷갈렸던 것들을 정리해보자. 1. 인공지능이란 무엇인가? AI (Artificial Intelligence)는 일반적으로 인간의 학습능력, 추론 능력, 지각 능력이 필요한 작업을 할 수 있도록 컴퓨터 시스템을 구현하려는 컴퓨터과학의 세부분야 중 하나이다. 2. 머신러닝 vs 딥러닝 머신러닝과 딥러닝의 차이가 무엇일까? 두가지는 다른 것일까?라는 의문이 생길 수 있다. 가장 쉬운 요점은 딥 러닝이 머신 러닝에 해당한다는 것이다. 구체적으로, 딥 러닝은 머신 러닝이 진화한 것으로 여겨진다. 딥 러닝은 기계가 사람의 도움 없이도 정확한 결정을 내릴 수 있도록 해주는 프로그래밍 가능한 신경망을 사용한다. 머신러닝이란? 데이터를 구문 분석하고 해당 데이터를 통해 학습한 후 정보를 바탕으로.. 2022. 9. 16. [AI frenz 세미나 리뷰] 43. 캐글 컴퓨터 비젼 대회 꿀팁 방출 (한국원자력연구원 이유한 선임연구원) 세미나 영상 : https://youtu.be/EI0BuViZovs - augumentation 성능이 좋은 모델을 만들어야한다! augumentation = > 데이터 증식 + 일반화 도움 받은 논문 CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 참고 자료 : https://youtu.be/Haj-SRL72LY Good learning schedule can make good models. Good optimizers can make good models. - Ensemble Q. 왜 해야하나요? A. 그냥 해야합니다. 당연히 정확도가 올라가고 모두가 사용합니다. 중요한것은 어떻게 앙상블을 잘 할.. 2022. 8. 22. Attention Mechanisms RNN에 기반한 언어 모델은 크게 2가지 문제가있다. 1. 하나의 고정된 크기 벡터에 모든 정보를 압축하려고 하니 정보 손실이 발생 2. RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제 존재 이를 해결하기 위해 등장한 기법이 바로 어텐션(attention)! 어텐션 기본 아이디어는 디코더에서 출력 단어를 예측하는 매 시점 마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고하는 것이다.주목할 점은 모든것을 동일한 비율로 참고하는 것이 아니라, 해당 시점에서 예측해야 할 단어와 '연관성 있는 부분을 더 집중'하게 된다. 소프트 맥스층을 거쳐 나온 붉은 막대는 출력 단어를 예측할 때 얼마나 도움이 되는지 정도를 나타낸것. 해당 수치는 하나의 정보로 디코더에 전송된다. 결과적으.. 2022. 7. 22. Catboost란? 기존의 부스팅 기법 기존 부스팅 기법 동작 1. 실제 값들의 평균과 실제 값의 차이인 잔차(Residual)를 구한다. 2. 데이터로 이 잔차들을 학습하는 모델을 만든다. 3. 만든 모델로 예측하여, 예측 값에 Learning_rate를 곱해 실제 예측 값(평균 + 잔차 예측 값*lr) 을 업데이트한다. 4. 1~3 반복 문제점 1) 느린 학습 속도 배깅과 비교했을 때, 훨씬 느린 속도를 보인다. 배깅의 경우 여러 트리들이 병렬적으로 모델 학습을 수행하고 부스팅의 경우 순차적으로 모델 학습을 수행해나가니, 당연히 부스팅이 느릴 수밖에 없다. 2) 오버피팅 속도 문제는, 샘플링이나 알고리즘 최적화로 어느 정도 개선이 되었다면, 다음 진짜 문제는 오버 피팅이다. 부스팅이라는 개념 자체가 가지고 있는 문제인데.. 2022. 7. 21. Chapter1. 한눈에 보는 머신러닝 1.1 머신러닝이란? 일반적 정의 [머신러닝은] 명시적인 프로그래밍 없이 컴퓨터가 학습하는 능력을 갖추게 하는 연구 분야다. 조금 더 공학적 정의 어떤 작업 T에 대한 컴퓨터 프로그램의 성능을 P로 측정했을 때 경험 E로 인해 성능이 향상됐다면, 이 컴퓨터 프로그램은 작업 T와 성능 측정 P에 대해 경험 E로 학습한 것이다. 스팸 필터는 스팸메일과 일반 메일의 샘플을 이용해 스팸메일 구분법을 배울 수 있는 머신러닝 프로그램이다. 시스템이 학습하는 데 사용하는 샘플을 훈련 세트 training set라고 하고 각 훈련 데이터를 훈련 사례 trainnig instance 혹은 샘플이라고 한다. 이 경우 작업 T는 새로운 메일이 스팸인지 구분하는 것이고, 경험 E는 훈련 데이터 trainnig data이며, .. 2022. 7. 20. [논문] ViT(Vision Transformer) NLP에서 Transformer가 RNN을 구축한 것 처럼, 이미지 인식에서도 Transformer가 CNN을 구축할 수 있을 것이라는 기대를 받고 있는 새로운 모델 ViT에 대해 살펴보자! 논문 : An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Vision Transformer(=ViT)의 중요한 부분은 세 가지이다. 1) 입력 이미지 2) 아키텍처 3) 사전학습과 파인 튜닝 1. 입력 이미지 기본적으로 Transformer에서는 각 단어가 벡터로 표현되어 있는 문장을 한 번에 입력한다. 이러한 Transformer에 이미지를 넣어 다루고 싶은 경우에 아래의 과정을 생각해 볼 수 있다. 이미지를 패치로 나눠서 각 배.. 2022. 7. 18. 이전 1 2 3 다음
