University & Department Data
(미완) 프로젝트 끝나고 내용 정돈이 필요. 지금은 약식으로만 작성한다.
V2 Architecture
공공데이터 포털에서 제공하는 API를 통해 전체 데이터를 주기적으로 업데이트하는 파이프라인을 구축하고자 한다.
첫 번째로, 공공데이터 포털은 일일 호출 수 제한이 있다. 테스트 버전은 일일 1000건, 운영계정은 10만건이다. 그럼 만약 유저가 동시에 10만명이 접속하면 문제가 API 호출에 제약이 생긴다. 물론 웬만해선 그럴 일은 없다.
두 번째로, UX이다. 사용자가 정확한 대학교명을 입력하지 않으면, 검색결과에 안나온다. 당장 API를 사용하는 개발자 입장에서도 불편한데, 사용자는 얼마나 불편하겠는가. 정확히 대학교명으로 매칭시켜도 문제다. 명지대의 경우 409건 정도가 나왔다 (일부 데이터 csv 기준). 필터링을 제대로 걸려면 학과까지도 맞춰줘야할 것이다. 근데 그 학과명도 정확히 매칭이 안된다면?? 상당히 번거로워질 것이다. 이 문제를 해결하기 위해서는 데이터가 사전에 DB Modeling이 이뤄져 있어야 한다. 그러려면 전체 데이터가 일단 있어야 하므로, 전체데이터를 로드하는 파이프라인을 구축해야한다.
→ 사용자 희생을 강요할게 아니라면, 확장성과 UX를 위해 전체 데이터셋 지속 업데이트 시스템이 필요하다.
🧐 데이터 전체 파일 제공해주던데, 그거 그냥 크롤링으로 가져오면 안되나?
↳ 개인 목적이 아닌 용도로 크롤링 하는 것은 법적 리스크가 존재한다.