Table of contents
Issue Point
D리포트에서 24일 이후 데이터가 모두 누락되어 mysql의 donga_article 테이블에 저장되어 있지 않음. 때문에 donga_article에서 donga_id를 FK로 데이터를 join 하여 저장하는 naver, daum의 조회수 데이터도 저장되지 않음. 이로 인해, 24일 이후 D리포트 시각화 서비스 오류 발생.
Detail
•
Lambda 데이터 수집 및 저장 파이프라인 확인
update-donga-view-count
→ 2026/01/16 15:05:00 기준으로 에러 발생후 stop
get-donga-analytics
get-donga-view-count
save-donga-view-count
save-donga-articles
→ 2026/01/23 기준으로 에러 생기고 stop
Solution
13일 기준으로 전체 람다 다 돌리고 GA4 쿼터 고려해서 안터지게 배치 돌리기
local-workers/scrape_all_today_donga_articles/main.py 로컬 실행하여 수집 (3일치 데이터 가져옴)
•
.env 파일
DONGA_MEDIA_CODE=20131015
DONGA_MEDIA_PWSSWD=da1920
SQS_QUEUE_URL=https://sqs.ap-northeast-2.amazonaws.com/715841357940/all-donga-article-today
AWS_ACCESS_KEY_ID=AKIA2NK3YJB2EYAI2KOB
AWS_SECRET_ACCESS_KEY=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
AWS_DEFAULT_REGION=ap-northeast-2
Plain Text
복사
아래 쿼리 실행결과 24일 이후 데이터 empty
SELECT DATE(published_at) as date, COUNT(*) as cnt
FROM donga_article
WHERE published_at >= '2026-01-24'
GROUP BY DATE(published_at)
ORDER BY date;
SQL
복사
main.py 파일 로컬에서 실행 26 ~ 30일까지 데이터 호출 후 위의 쿼리 재실행하여 데이터 조회.
+------------+-----+
| date | cnt |
+------------+-----+
| 2026-01-24 | 41 |
| 2026-01-25 | 94 |
| 2026-01-26 | 243 |
| 2026-01-27 | 376 |
| 2026-01-28 | 382 |
| 2026-01-29 | 358 |
| 2026-01-30 | 290 |
+------------+-----+
12 rows in set, 1 warning (0.215 sec)
SQL
복사
•
Local Computer Powershell 접속
ssh -t donga@10.60.16.85 "powershell.exe -NoExit"
Plain Text
복사
추가 사항
희래님이 데이터 일괄 수집 주기 3일 → 7일로 바꿔놓으심. 관련 주석이랑 로그도 수정 후 커밋 남기기.