공공 데이터 포털(data.go.kr) 빅데이터 이용 삽질기
한국에서 아마존 효과가 어떻게 나타나고 있냐를 살펴보려고, 공공 데이터 포털에서 수집/공개하는 온라인 가격 데이터를 돌려보려고 하는데…소위 빅데이터이다. 본 글은 그야말로 삽질기를 기록한 것이다. 공공 데이터 OPEN API 실전 사용기는 여기로 오픈API에 맞게 코드를 짜서 해보니 전체 데이터는 2014년부터인데, API로는 2015년부터만 가능해서 일단 2015년 이후로만 해보려다, 이게 하루에 웹으로 긁은 모든 가격 데이터를 일별로 쏴주는 것이다 보니까 상품이나 품목별로 가격 추이를 얻으려면 또 전체 데이터를 한번 붙여야 하는 상황이 발생. ▲R 코드 예시 회사 클라우드 PC로 하루 이틀 정도는 어찌 돌렸는데, 전체 데이터를 붙여서 뽑아 낸다는 것이 불가능하다는 판단에 대안으로 시도해본것이 https://rstudio....