문과생의_코딩공부_2주차_느낌.jpg 저작권 걱정 없이 직접 그린 짤 겨우 2주차지만, 앞으로 공부를 하면서, 내가 공부한 것들에 대해 100% 이해나 확신이란 없을 것 같다. 알면 알수록 알아야 할 것의 범위가 계속 늘어나고 있다. 요기 조금 저기 조금 알다보면 갑자기 이어지는 기분이 들 때는 있다! 이전까지 했던 정해진 시험범위를 외우는 공부랑은 확실히 느낌이 다르다. 새로운 뇌를 써야한다. 부트캠프 과정 중에 알게 된 것은, 그 전엔 혼자서 어떻게 코딩을 공부해야 될 지 모르겠고, 진입장벽이 높다고 느꼈는데, 알고보니 양질의 무료 자료가 엄청나게 많다는 것을 알게 되었다. (유튜브나 위키독스만해도 방대하다) [언젠가 봐야할 참고 자료 리스트]를 적어봤는데 끝이 없다. 그리고 계속 추가되겠지... 볼..
목요일은 인싸이트데이, 우리팀의 발표 주제는 API였다. 발표팀으로 선정되서 정말 오랜만에 발표를 했는데 1~2분 정도의 짧은 분량이지만 떨리기도하고, 또 어떻게 잘 전달할까 고민하면서 의사소통 스킬을 조금 더 키울 수 있는 기회였던 것 같다! API API란? API(Application Programming Interface)는 클라이언트, 서버와 같은 서로 다른 프로그램에서 요청과 응답을 주고 받을 수 있게 만든 체계이다. API의 정의, 요청과 응답 부분은 비전공자를 위한 이해할 수 있는 IT지식 도서를 참고했다. (비전공자를 위한 이해할 수 있는 IT 지식) 요청과 응답(request, response) 클라이언트는 요청(request)을 보내고, 서버는 요청을 받아서 응답(response)을 ..
웹크롤링이란 용어가 널리 사용되서 웹크롤링이라고 썼지만 스크래핑에 더 가까운 실습입니다. 본 실습 과정은 멋쟁이사자처럼 AI스쿨에 저작권이 있습니다. 네이버 금융 뉴스 기사 수집하기 수집할 URL가져오기 웹페이지 전체가 아니라 일부 데이터만을 가져올 것이기 때문에 해당 부분의 링크를 찾아내는 것이 필요하다 구글 크롬 웹브라우저의 검사(inspector) - 네트워크 - Doc를 참고하면 Requests URL 주소를 알 수 있다. 가져온 URL주소에서 변하는 부분과 변하지 않는 부분을 구분하여 f스트링을 통해 변수를 넣어주면 준비 완료 item_code = "035420" item_name = "네이버" page_no = 1 url=f"https://finance.naver.com/item/news_ne..
오늘의 회고 사실(Fact) : 네이버 금융 페이지 웹 스크랩핑, Beautiful Soup, 수집 함수 만들기 느낌(Feeling) : 웹크롤링도 반복하다보니까 익숙해지고 있는 것 같다. 교훈(Finding) : 미니프로젝트할때 열심히 적용시켜봐야겠다 웹크롤링 (웹스크랩핑) 네이버 금융 페이지 실습 웹페이지에서 필요한 URL 주소를 찾는 법 '뉴스', '일간시세' 테이블 정보 가져오기 (requests, get방식, BeautifulSoup, JSON) 가져온 데이터 파일로 저장하기 데이터 가져오는 과정을 모두 포함한 사용자 함수 정의하기 미니프로젝트1: 원하는 웹 페이지 크롤링 실습 어제 오늘 학습한 웹크롤링 관련 내용은 별도의 포스팅으로 자세하게 복습해볼 예정이다.
오늘의 회고 사실(Fact) : seaborn 범주형 변수 시각화 실습, FinanceDataReader 실습, 네이버 금융 뉴스 웹크롤링 실습 느낌(Feeling) : Seaborn과 Pandas dataframe에 좀 익숙해진 것 같다. 코드가 이제 낯설게 보이지 않는다. 근데 크롤링을 해보니 또 다시 새로웠다. 교훈(Finding) : seaborn example다른 그래프도 읽어보고 그려봐야겠다. 웹크롤링 부분 다시 자세히 복습해봐야겠다. 범주형 데이터 EDA, Seaborn # mpg 데이터셋을 불러옵니다. df = sns.load_dataset("mpg") df.shape # shape는 어트리뷰트라서 ()를 안붙여도 된다. 매서드가 아니다 df.head() df.tail() df.info()..
오늘의 회고 사실(Fact) : 지난주에 이어서 Pandas, Seaborn 실습을 진행했다. EDA 과정을 추상화된 도구를 사용하는 방법과 직접 작성하는 방법을 학습했다. 느낌(Feeling) : 코드를 보고 따라하는 건 할 수 있지만, 그래프마다 다른 용도나 필요한 값들, 기술 통계 안에 있는 수치의 의미를 정확히 이해하기 어려워서, 공부하고 나서 개운하지 않았다. 교훈(Finding) : 통계 관련 자료나 책을 더 찾아서 읽어보자 멋사 AI스쿨 main lecture by 박조은 강사님 mpg 데이터셋을 활용한 EDA 분석, 시각화 EDA란? Exploratory data analysis (탐색적 자료 분석) 1. 추상화된 EDA 도구 활용 pandas profiling, Sweetviz, Auto..
인싸이트 데이 7일차는 첫번째 인사이트데이로, 오전에는 으쌰으쌰복습을, 오후에는 팀별 발표 + 회고 + 자습 으로 진행되었다. 주제별로 깊이 복습하고, 또 자습 시간에 파이썬 문제를 풀어보면서 부족한 부분을 스스로 채워나갈 수 있는 시간이라 만족스러웠다. 우리팀의 키워드는 "함수"였는데, 그중에서 유용했던 자료이다. 출처_https://blog.naver.com/youndok/222032150902 Special Lecture 8일차 금요일엔 SQL을 배웠다. SQL은 원래 좀 다룰 줄 알기도 해서 이번 기회에 복습한 내용을 별도로 sql 게시물에 정리해보았다. 엑셀과 SQL이 재밌어서 이 길을 선택한 것도 있어서, 데이터 분석 현업으로 일하셨던 강사님들의 강의를 들은 뒤, sql을 주로 사용하는 데이터..
mysql 기초 수업은 데이터리안 강사님들의 라이브 강의, 인프런 인강을 통해 진행되었습니다. SQL 이론, 실습 참고하기 좋은 사이트: w3school (가입 없이 이용할 수 있습니다) SQL Tryit Editor v1.6 WebSQL stores a Database locally, on the user's computer. Each user gets their own Database object. WebSQL is supported in Chrome, Safari, Opera, and Edge(79). If you use another browser you will still be able to use our Try SQL Editor, but a different ver www.w3schools...
지금으로부터 10년 전, 고등학교때 SQL문법을 처음 배웠을때 정리했던 기록입니다. 그 당시에 나름대로 재미를 느껴서 스스로 만들었던 자료입니다. 원본 테이블 정보가 남아있지 않아서 어떤 부분은 이해하기 어려울 수도 있지만 SQL 문법을 까먹을 때마다 참고용으로 보기 좋아서 이번 기회에 블로그에 남겨두려고 합니다. MS Access 프로그램 기준입니다. 지금은 sql 수업에서 MySQL을 기준으로 학습하고 있는데, 문법이 같은 부분도 있고 조금 다른 부분도 있더라구요. (와일드카드, distinct위치 등) 참고부탁드립니다! 데이터 베이스 SQL 쿼리문 정리 [ 새 테이블 만들기 ] CREATE table 주문(생산 품목 varchar(10), 수량 int, 단가 int, 고객번호 varchar(5) )..
