← 프로젝트 목록Paper Radar 아키텍처논문 수집부터 분류·요약·대시보드 조회까지의 데이터 파이프라인입니다. 연락하기
Backend Project · 07
Paper Radar
OpenAlex API에서 논문 메타데이터를 일 단위 수집해 Elasticsearch로 검색·집계하는 연구·기술 트렌드 레이더. trend_score 기반으로 키워드·기관 Top N을 집계하고, reindex+alias로 무중단 매핑 변경을 처리한다.
Overview
OpenAlex API에서 논문 메타데이터를 일 단위 수집해 Elasticsearch로 검색·집계하는 연구·기술 트렌드 레이더. trend_score 기반으로 키워드·기관 Top N을 집계하고, reindex+alias로 무중단 매핑 변경을 처리한다.
Problem
연구·기술 동향을 조사할 때 논문 메타데이터가 외부 API에 흩어져 있어 키워드·기관별 변화를 반복해서 수작업으로 집계해야 했다. 수집 중단과 검색 스키마 변경이 사용자 검색 경험을 깨지 않도록, 적재·검색·무중단 재색인을 분리할 필요가 있었다.
Architecture
01 · 수집·분석
외부 논문 소스를 정기 수집하고 관심 주제로 분류
- 01Paper SourcesarXiv · RSS
- fetch
- 02Scheduled Collector중복 제거 · 재시도
- enqueue
- analyze
- 04NLP Pipeline분류 · 요약 · 키워드
- store
- 05Research DB논문 · 분석 결과
02 · 탐색·알림
저장된 분석 결과를 검색하고 새 논문을 알림
- 01Research DB검색 인덱스
- query
- 02Search API필터 · 정렬
- render
- 03Dashboard주제별 탐색
- notify
- 04Digest Alert관심 논문 알림
- 사용자·클라이언트
- 애플리케이션
- 데이터
- 비동기 처리
- 배포
- 관측
- 보안·검증
- 외부 시스템
Next Step