웹크롤링이란 용어가 널리 사용되서 웹크롤링이라고 썼지만 스크래핑에 더 가까운 실습입니다. 본 실습 과정은 멋쟁이사자처럼 AI스쿨에 저작권이 있습니다. 네이버 금융 뉴스 기사 수집하기 수집할 URL가져오기 웹페이지 전체가 아니라 일부 데이터만을 가져올 것이기 때문에 해당 부분의 링크를 찾아내는 것이 필요하다 구글 크롬 웹브라우저의 검사(inspector) - 네트워크 - Doc를 참고하면 Requests URL 주소를 알 수 있다. 가져온 URL주소에서 변하는 부분과 변하지 않는 부분을 구분하여 f스트링을 통해 변수를 넣어주면 준비 완료 item_code = "035420" item_name = "네이버" page_no = 1 url=f"https://finance.naver.com/item/news_ne..
오늘의 회고 사실(Fact) : 네이버 금융 페이지 웹 스크랩핑, Beautiful Soup, 수집 함수 만들기 느낌(Feeling) : 웹크롤링도 반복하다보니까 익숙해지고 있는 것 같다. 교훈(Finding) : 미니프로젝트할때 열심히 적용시켜봐야겠다 웹크롤링 (웹스크랩핑) 네이버 금융 페이지 실습 웹페이지에서 필요한 URL 주소를 찾는 법 '뉴스', '일간시세' 테이블 정보 가져오기 (requests, get방식, BeautifulSoup, JSON) 가져온 데이터 파일로 저장하기 데이터 가져오는 과정을 모두 포함한 사용자 함수 정의하기 미니프로젝트1: 원하는 웹 페이지 크롤링 실습 어제 오늘 학습한 웹크롤링 관련 내용은 별도의 포스팅으로 자세하게 복습해볼 예정이다.
오늘의 회고 사실(Fact) : seaborn 범주형 변수 시각화 실습, FinanceDataReader 실습, 네이버 금융 뉴스 웹크롤링 실습 느낌(Feeling) : Seaborn과 Pandas dataframe에 좀 익숙해진 것 같다. 코드가 이제 낯설게 보이지 않는다. 근데 크롤링을 해보니 또 다시 새로웠다. 교훈(Finding) : seaborn example다른 그래프도 읽어보고 그려봐야겠다. 웹크롤링 부분 다시 자세히 복습해봐야겠다. 범주형 데이터 EDA, Seaborn # mpg 데이터셋을 불러옵니다. df = sns.load_dataset("mpg") df.shape # shape는 어트리뷰트라서 ()를 안붙여도 된다. 매서드가 아니다 df.head() df.tail() df.info()..
오늘의 회고 사실(Fact) : 지난주에 이어서 Pandas, Seaborn 실습을 진행했다. EDA 과정을 추상화된 도구를 사용하는 방법과 직접 작성하는 방법을 학습했다. 느낌(Feeling) : 코드를 보고 따라하는 건 할 수 있지만, 그래프마다 다른 용도나 필요한 값들, 기술 통계 안에 있는 수치의 의미를 정확히 이해하기 어려워서, 공부하고 나서 개운하지 않았다. 교훈(Finding) : 통계 관련 자료나 책을 더 찾아서 읽어보자 멋사 AI스쿨 main lecture by 박조은 강사님 mpg 데이터셋을 활용한 EDA 분석, 시각화 EDA란? Exploratory data analysis (탐색적 자료 분석) 1. 추상화된 EDA 도구 활용 pandas profiling, Sweetviz, Auto..
인싸이트 데이 7일차는 첫번째 인사이트데이로, 오전에는 으쌰으쌰복습을, 오후에는 팀별 발표 + 회고 + 자습 으로 진행되었다. 주제별로 깊이 복습하고, 또 자습 시간에 파이썬 문제를 풀어보면서 부족한 부분을 스스로 채워나갈 수 있는 시간이라 만족스러웠다. 우리팀의 키워드는 "함수"였는데, 그중에서 유용했던 자료이다. 출처_https://blog.naver.com/youndok/222032150902 Special Lecture 8일차 금요일엔 SQL을 배웠다. SQL은 원래 좀 다룰 줄 알기도 해서 이번 기회에 복습한 내용을 별도로 sql 게시물에 정리해보았다. 엑셀과 SQL이 재밌어서 이 길을 선택한 것도 있어서, 데이터 분석 현업으로 일하셨던 강사님들의 강의를 들은 뒤, sql을 주로 사용하는 데이터..
mysql 기초 수업은 데이터리안 강사님들의 라이브 강의, 인프런 인강을 통해 진행되었습니다. SQL 이론, 실습 참고하기 좋은 사이트: w3school (가입 없이 이용할 수 있습니다) SQL Tryit Editor v1.6 WebSQL stores a Database locally, on the user's computer. Each user gets their own Database object. WebSQL is supported in Chrome, Safari, Opera, and Edge(79). If you use another browser you will still be able to use our Try SQL Editor, but a different ver www.w3schools...
