오늘의 회고 사실(Fact): 캐글 자전거 수요 예측 실습 느낌(Feeling): 데이터EDA로 꼼꼼하게 살펴보면서 이상한 데이터를 찾는 게 재밌었다. 로그 개념이 아직 완전히 이해하기 어렵지만 사용하는 이유는 알 것 같다 교훈(Finding): 오늘 수업 복습 철저히! 특히 RMSLE! Cross validation: 속도가 오래걸린다는 단점이 있기도 하지만 validation의 결과에 대한 신뢰가 중요할 때 사용한다. hold out validation: 한번만 나눠서 학습하고 검증하기 때문에 빠르다는 장점이 있다. 하지만 신뢰가 떨어지는 단점이 있다. 경진대회 참가할때 꼼꼼히 확인할 것 Data Fields (도메인 지식 있으면 좋음) evaluation 측정기준 무엇을 예측하는 문제인지 데이터 E..
복습Day 벌써 일주일이지나다니 정말 빠르다. 머신러닝도 벌써 2주차지만, 아직도 머신러닝이 낯설다. 예상과는 달리 머신러닝 자체는 이라는 간단한 단계로 이루어지지만 그 전 필수단계인 부터 까지에 필요한 개념이 어마어마하고, 정답이 있는 게 아니라서 더 어렵고, 모호하게 느껴지는 것 같다. 답은 캐글 필사인가.... 하지만 판다스도 낯설었지만 익숙해진 것처럼 반복하다보면 익숙해지겠지! 오늘 포스팅은 이번주에 공부한 여러 자료를 모아서 정리해보았다. Matplotlib 출처: 혼란한 Matplotlib에서 질서 찾기, 이제현 - PyCon Korea 2022 https://www.youtube.com/watch?v=ZTRKojTLE8M 안 예쁜 Matplotlib 그림을 예쁘게 → Seaborn 설정으로 ..
오늘은 아주 오랜만에 인싸데이로 진행되서 오전엔 키워드 복습을 진행했다. 우리 조의 주제는 결정 트리(Decision Tree) 였고, 다른 조의 주제도 머신러닝 관련 주제라서 새롭게 알게된 내용을 정리해보려고 한다. 주제1. 결정트리 Decision Tree 결정트리란? 결정 트리는 분류와 회귀 문제에 널리 사용하는 모델이다. 결정 트리를 학습한다는 것은 정답에 가장 빨리 도달하는 예/아니오 질문 목록을 학습한다는 뜻이다. 트리를 만들 때 알고리즘은 가능한 모든 테스트에서 타깃 값에 대해 가장 많은 정보를 가진 것을 고른다. 일반적으로 트리 만들기를 모든 리프 노드가 순수 노드가 될 때까지 진행하면 모델이 매우 복잡해지고 훈련 데이터에 과대적합된다. 사진의 각 노드에 적힌 samples는 각 노드에 있..
29일차 멋사 AI스쿨 main lecture by 박조은 강사님 오늘의 회고 사실(Fact): 머신러닝 트리 모델의 분류와 회귀, 랜덤 포레스트 실습 느낌(Feeling): 수업때 새로 나오는 개념을 이해하는 데 시간이 좀 걸린다. 집중이 잘 되지 않아 아쉬웠다. 교훈(Finding): 어제 과제를 하면서 머신러닝 실습 과정이 좀 이해가 되었다. 예습 동영상을 많이 봐서 다음 수업엔 더 많은 배경지식을 가지고 수업에 참여해야겠다. 분류: 랜덤포레스트 알고리즘 실습 어제 실습과 같은 당뇨병 데이터셋(data-diabetes) 사용 랜덤포레스트란? https://ko.wikipedia.org/wiki/랜덤_포레스트 랜덤 포레스트의 가장 큰 특징은 랜덤성(randomness)에 의해 트리들이 서로 조금씩 다..
28일차 멋사 AI스쿨 main lecture by 박조은 강사님 오늘의 회고 사실(Fact): 머신러닝 결정트리학습법, 당뇨병 예측 실습 느낌(Feeling): 어제보다는 지도학습, 비지도학습에 대해 이해가 되는데, 지니불순도나 엔트로피 같은 용어가 단번에 이해하기 어려웠다 교훈(Finding): 오늘 과제를 해결하면서 복습하고, 유튜브 영상을 많이 참고해야겠다. +) 그리고 TIL 쓰는 스타일을 바꿔보려고 하는데 좀 어렵다 자세한 내용보단 뭘배웠는지 위주로 적고, 자세한 내용은 스스로 실습을 하면서 정리하면 좋을 거같다. 머신러닝을 통한 현실세계의 문제 해결 1. 지도학습 VS 비지도학습 (정답 == label == target) 있으면 지도학습, 없으면 비지도 학습 2. 지도 학습이라면, 그 중에서..
27일차 멋사 AI스쿨 main lecture by 박조은 강사님 오전/오후엔 미드프로젝트 발표 및 회고로 2시간 정도 수업 진행하였다. 머신러닝 입문 머신러닝 프레임워크 캐글 설문조사 결과(2020) - Scikit-learn (가장 많이쓰임 / 주로 정형데이터에 많이 쓰임) - Tensor Flow - Keras - xgboost - Pytorch - Caret 등등 캐글 설문조사 리포트는 트렌드를 파악하기 좋으므로 최신 것도 한번 읽어보기 프레임워크, 도구, 에디터, 알고리즘, Automated ML 등 2022 결과보기: https://www.kaggle.com/competitions/kaggle-survey-2022 프레임워크, 라이브러리 등 용어 참고: https://www.castingn.c..
221019 수요일 (첫날) 서울시 상권 분석이라는 주제를 정하고 본격적으로 전처리 하기 시작했다. 머릿속에 그리는 것을 시각화하기 위해 오랜만에 피그마를 다시 사용했다. 확실히 시각적인 결과물을 팀원들과 공유하고 소통하니, 각자 좀 더 어떤 과업을 수행해야하는지 명확하게 보였다. 전처리 과정에서 막연했던 것을 화면 공유를 통해 라이브 코딩을 하니까 비교적 빠르게 해결되었다! 역시 시각화가 어려웠는데 다양한 사례를 참고해봐야겠다 #데이터_전처리 #데이터_시각화 #데이터_EDA 221020 목요일 (둘째날) 수업을 들을때와 실제로 무언가를 만들때의 커다란 차이를 느꼈다. 프로젝트 시간의 50%는 구글링하느라 시간 다쓰고, 직접 코드 짜는 거 10%, 복붙 10초, 다듬는데 50000만초, 머리싸매기 30%..
오늘의 회고 사실(Fact) : GitHub활용법, Streamlit Dashboard 만들기 느낌(Feeling) : 에디터를 VScode로 사용하고, Github와 Streamlit 등 새로운 방법을 많이 접하다보니 새삼 어려웠다. 교훈(Finding) : 깃허브가 아직 많이 생소한데, 평소에 잔디심기를 하려고 노력하면서 익숙해져야겠다 데이터센터나 클라우드서버를 사용하는 이유는? 서버관리가 불편한 이유 - 3년에 한 번씩 교체해줘야한다고 들었는데 교체과정이 복잡하다 - 24시간 가동되어야함, 온습도 유지 (발열이 매우 심하다) - 다량의 트래픽으로 대용량 서버 필요 리눅스계열 터미널창 명령어 터미널 cmd ** 리눅스 계열 명령어 ** ls : 현재 디렉토리 폴더 내부 확인 (윈도우 dir) ls -..
22일차 멋사 AI스쿨 main lecture by 박조은 강사님 오늘의 키워드는 절약 1) 메모리절약 => downcast, 2) 스토리지 절약(디스크공간) => parquet Downcast 실습 먼저 자료형에 대해 자세히 알아보았다. int64와 int32의 차이, uint, float 등 같은 숫자 자료형 안에서도 정수형인지 실수형인지만 구분할 뿐만 아니라, 표현할 수 있는 범위가 다르다. 예를 들어 어떤 일련번호의 원래 데이터형은 int64이고, 최소값은 666668, 최대값은 999987 이고 앞으로 음수는 사용하지 않는다고 가정할 때 어떤 데이터 타입을 사용하면 적절할까? -> unit32가 적절하다. 데이터의 범위(int64, uint32 등)에 따라 메모리에서 차지하는 용량이 다르다. 현..
