Pandas Cheat Sheet https://pandas.pydata.org/Pandas_Cheat_Sheet.pdf Pandas Documentation https://pandas.pydata.org/pandas-docs/stable/index.html pandas documentation — pandas 1.5.0 documentation The reference guide contains a detailed description of the pandas API. The reference describes how the methods work and which parameters can be used. It assumes that you have an understanding of the key ..
오늘은 스페셜 강의로 기초 통계 용어 이해와 판다스 실습을 할 수 있는 날이었다. 통계 기초에 대해 목말라 있어서 재미있게 학습할 수 있었다. TIL에서는 어떤 내용을 다루었는지 간단히 정리하고, 자세히 공부하며 글을 써봐야겠다. 데이터 분석을 위한 통계 기초 t. 유재명 강사님 통계학 데이터 분석의 목적은 의사결정권자의 결정에 도움을 주기 위함이다. 통계 분석의 깊이를 더하기 위해선 데이터의 양과 질이 중요하다. 기업에서 데이터 분석을 할때, 분야별, 서비스 형태별로 데이터의 절대적인 양과 질은 차이날 수 있다. 통계학 용어는 어려우니, 상식을 버리고, 뜻을 짐작하지 말고 그냥 외우기! 범주형 변수 VS 연속형 변수 범주형 변수는 종류, 이름 등으로 수치 데이터의 경우 연산이 의미가 없다. 연속형 변수..
오늘의 회고 사실(Fact) : Plotly 마무리, 판다스 문법 & 시각화 실습 (코로나 확진자 공공데이터) 느낌(Feeling) : 판다스 문법을 복습해서 좋았고, 배울 수록 유용해보여서 더 잘하고싶다. 교훈(Finding) : 이번주 수업 복습 꼼꼼히! 블로그 TIL 밀린 것 잘 정리해보자! 중복확인, 제거 duplicated() drop_duplicates() 유니크값의 개수(nuniqur) .nunique() 유니크(unique) df["퇴원현황"].unique() #unique값에는 nan(결측치)은 포함되지 않는다 unique()는 serise에만 사용 가능하고 nunique()는 dataframe, series에 모두 사용 가능 인덱스 설정, 정렬하기 - set_index → 인덱스로 지정..
주피터 노트북 유용한 단축키 Ctrl + enter 실행하기 (맥북은 cmd + Enter) Shift + Enter : 셀이 실행 후, 커서가 다음셀로 이동 Enter 입력창 활성화하기 a 위에 셀 추가 b 아래에 셀 추가 dd 셀 지우기 m 마크다운 모드로 변경 y 코드 모드로 변경 요것들만 알아도 마우스 클릭안하고 실습할 수 있다!! 아나콘다로 주피터 노트북 설치, Nbextensions 설치 참고 영상 오늘코드: https://youtu.be/TSGcBvZo-8g 맥북에 주피터 익스텐션 설치하는 걸 많이 헤맸는데 아나콘다 네비게이터 -> environment -> base(root) -> Open Terminal 여기다가 터미널에 붙여넣으라는 코드를 입력하면 된다. 자세한 내용은 영상 참고!! c..
EDA map: 시리즈만 가능, df[”column1”].map(함수 or dictionary) apply: 시리즈와 df둘 다 가능, df.apply(함수) applymap df만 가능, df.applymap(함수) lamda함수: 이름 없는 함수 간단한 기능은 함수를 만들지 않고, lamda 활용 간단한 전처리에 유용 # map과 lamda 연습 def find_year(x): return x[:4] #df1["생산연도"] = df1["생산일"].map(lamda x : x[:4]) df1["생산연도"] = df1["생산일"].map(find_year) df1 tqdm 오래 걸리는 작업 진행 상황을 파악하기 위해 사용 from tqdm.notebook import tqdm tqdm.pandas() m..
오늘의 회고 사실(Fact) : 서울정보소통광장 120 데이터 수집하기 (목록, 내용) 느낌(Feeling) : 이해도가 조금 높아지니까 흥미가 더 생겨서 다른 페이지도 웹스크래핑에 도전해보고 싶어졌다. 교훈(Finding) : 오늘 수업 복습, 과제로 전체 데이터 가져와보는 것을 해봐야겠다. 멋사 AI스쿨 main lecture by 박조은 강사님 지난 주 복습 웹스크래핑은 requests로 수집하고 bs로 파싱하고 해석한다고 표현한다. with 구문은 메모리를 할당 → 파일을 오픈할 때 주로 사용한다 로봇배제 표준 robot.txt 네트워크탭 Headers에서 get인지 post인지 확인 가능 프로그램을 구현하기 전에 과정을 정리해보는 단계가 중요하다. 팀플을 할 때도 이런 과정을 미리 공유해보고 시..
데이터리안 SQL 특강 두번째 시간이었다. SQL 기본 문법은 잘 알고있어서 지난주엔 수월했는데, 이번주에 배운 조건문은 조금 생소했다. RFM분석과 같은 비즈니스 분석을 할때 조건문이 잘 쓰일 거 같아서 수업 복습 겸 블로그에 포스팅을 남겼다. [SQL중급] 조건문 활용하기 (CASE문, IF문) 데이터 분석을 위한 중급 SQL SQL 조건문 CASE 문 SELECT CASE WHEN id = 1 THEN "음료" WHEN id = 2 THEN "조미료" ELSE "기타" END as 'categoryName', * -- 아스타로 전체 테이블 확인 FROM products WHEN안에 조건 여러 개 작성 dogplot42-6.tistory.com
데이터 분석을 위한 중급 SQL SQL 조건문 CASE 문 SELECT CASE WHEN id = 1 THEN "음료" WHEN id = 2 THEN "조미료" ELSE "기타" END as 'categoryName', * -- 아스타로 전체 테이블 확인 FROM products WHEN안에 조건 여러 개 작성도 가능하다. (WHEN 조건1 AND 조건 2 THEN “결과”) categoryName이라는 새로 만든 컬럼으로 group by도 가능 SELECT CASE WHEN id = 1 THEN "음료" WHEN id = 2 THEN "소스" ELSE "그외" END as 'categoryName', AVG(price) FROM products GROUP BY categoryName [해커랭크 문제 풀..
새로운 분야를 공부하다보니 정말 많은 책을 짧은 시간에 접하게 되었다. 그래서 목표는 완독이 아니라, 일부분을 보더라도 그 부분을 잘 흡수해서 부트캠프 수업을 따라가는 데 도움이 되는 것이다. 시간 날때 교보문고에 가서 책을 둘러보기도 했고, 위키독스 사이트에서 몇 권의 좋은 책을 알게되었다. 또, 최근에 밀리의 서재를 구독한 것도 잘한 선택이었던 것 같다. (첫 달은 무료!) 궁금한 책이 많은데 도서관은 멀어서 불편하고, 구매하기엔 책 값이 부담스러울 때 좋은 선택지 인 것 같다. 특히 나처럼 처음부터 끝까지 꼼꼼히 읽을 책이 아니라, 필요한 부분만 읽고 싶을때 좋다. 그리고 생각보다 IT나 통계 관련 책도 다양하게 있어서 좋았다. 9월의 책 발견 리스트 [읽고 있는 책들] - 비전공자를 위한 IT지식..
