본문 바로가기

데이터 수집

(2)
2_웹 크롤링 데이터 수집을 하기 위해 웹 크롤링을 사용했습니다. 크롤링이란? 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술 이런 프로그램을 크롤러(Crawler) 또는 스파이더(Spider)라고 부르기도 한다 저희는 네이버 지도의 플레이스 화면에 나와있는 정보를 크롤링으로 수집해 CSV파일로 저장 후 얻은 데이터를 시각화 하는 프로젝트를 하기로 결정 했습니다. 먼저 네이버 지도 플레이스의 화면 입니다. 경로를 지정해 줘야하기 때문에 웹 사이트를 살펴보았습니다. 먼저 검색창에 카페의 이름을 검색 해줘야하고 2번 공간을 맨밑까지 스크롤을 해줘야합니다. (스크롤 하면 계속 업체가 추가되서 나옴) 다시 맨 위부터 카페정보를 순서대로 크롤링 하고 다음 페이지로 넘어가서 같은 작업을 반복 합니다. 크롤링이 끝나면..
1_데이터 수집 프로젝트(웹 크롤링) 안녕하세요 강동믓재이 입니다. 이번엔 제가 다니고 있는 KG 에듀원 아이티 뱅크에서 저희 조원들과 진행한 프로젝트에 대해 포스팅 하겠습니다. IT공부를 시작하고 간단하지만 첫 프로젝트였던 만큼 긴장이 많이 되었습니다. 포스팅 시작 하겠습니다. '데이터 수집' 프로젝트 이번 프로젝트는 '데이터 수집' 프로젝트 입니다. 저희 팀은 '서울시 각 구의 인구들과 서울시 각 구 카페의 점포수와 유형별 분석' 이라는 주제로 데이터 수집을 하기로 했습니다. 이 주제를 선정한 이유는 단순히 저희 조원들이 좋아하는 것을 찾다보니 접근하게 되었고 '우리 동네에 어떤카페의 수가 많지?' 라는 질문이 생겨 이 주제를 선정하게 되었습니다. 프로젝트의 흐름 분석 주제 선정 프로젝트의 흐름 데이터 수집 확인 데이터 분석 프로젝트 결..

728x90