Python

공공데이터 포털를 활용할 일들이 많아지고 있다. 몇해 전부터 정부와 지자체에서 열심히 데이터를 공개해주고 있어서 이를 쏠쏠하게 활용해볼 수 있다. 오픈API로 데이터를 불러서 데이터프레임에만 데이터를 잘 쌓아놓으면 이래저래 활용하기가 매우 쉬워진다. 오늘은 서울시 공공데이터 포털인 ‘서울 열린데이터 광장’ 에서 지하철 승하차 인원 정보를 불러와서 코로나 이후 지하철 이용이 어떻게 변했는지 알아보자. 참고로 공공데이터포털에는 한국정보화진흥원에서 운영하는 정부 공식 ‘공공데이터포털’ 도 있고, 통계청에서 운영하는 Kosis 공유서비스 , 한국은행 Ecos 등등 엄청 많다. 전체 흐름은 다음과 같다....

요즘 데이터 분석에 한창이다. 파이썬에 하둡을 물려서 SQL 쿼리를 날리고, 이를 판다스로 불러와 분석하거나 간단한 것은 엑셀 피벗테이블으로 돌려보고 있다. 그러다 보니 수없이 많은 에러 메시지를 접하게 된다. 특히, 간단한 쿼리문을 날리는 것에도 에러가 나서 좌절을 경험하곤 했다. 그런데, 조금 겪고 보니 결국은 간단한 나의 실수가 만든 일이었다. 에러도 데이터가 좀 쌓이다 보니 일정한 패턴이 있는데, 그 중요한 유형이 바로 <오타>였다. 그러면서 문득 미당 서정주의 유명한 시구절이 생각났다. “스물 세 해 동안 나를 키운 건 팔 할이 바람이다....