Skip to content

[improve/#336] MMR 추천 하이퍼파라미터 최적화 및 평가 체계 개선#337

Merged
Dimo-2562 merged 9 commits intodevelopfrom
improve/#336
Mar 8, 2026
Merged

[improve/#336] MMR 추천 하이퍼파라미터 최적화 및 평가 체계 개선#337
Dimo-2562 merged 9 commits intodevelopfrom
improve/#336

Conversation

@Dimo-2562
Copy link
Contributor

❤️ 기능 설명

MMR 결정적 모드 지원

  • RecommendationPropertiesmmrFirstTopK, mmrTopK 설정 추가
  • 값이 1이면 랜덤 샘플링 없이 항상 최고 점수 선택 (평가용)
  • 프로덕션 기본값(5, 3)은 유지하여 기존 동작에 영향 없음

단계별 하이퍼파라미터 최적화 결과

Phase 항목 최적값 비교 대상
1 임베딩 가중치 title=0.6, summary=0.2, content=0.2 7개 조합 (균등, 제목 중심, 요약 중심, 컨텐츠 중심 등)
2 KNN K값 knnSearchSize=50, numCandidates=150 5개 조합 (30/90 ~ 70/210), 성능과 레이턴시 균형
3 MMR 후보군 크기 mmrCandidateSize=60 4개 (40, 60, 80, 100)
4 Lambda 0.80~1.0 세밀 탐색 7개 값

주요 평가 지표 (Phase 1 - 가중치)

  • 제목 중심(0.6/0.2/0.2)이 R@8: 0.1000, nDCG@8: 0.2934으로 최고 (기존 균등 가중치 대비 R@8 +9.8%, nDCG@8 +5.7%)

주요 평가 지표 (Phase 2 - KNN K값)

  • 현재(50/150)이 nDCG@8: 0.2655, 레이턴시 618ms로 성능/속도 균형 최적
  • 70/210이 정확성은 최고(nDCG@8: 0.2825)지만 레이턴시 929ms로 50% 증가

평가 환경 개선

  • 테스트 시 ES forcemerge + warmup 적용 (프로덕션과 동일 조건)
  • 평가 결과를 JSON 리포트로 저장 (phase1~4)
  • 테스트용 logback-test.xml 추가

연결된 issue

연결된 issue를 자동으로 닫기 위해 아래 {이슈넘버}를 입력해주세요.

close #336



✅ 체크리스트

  • PR 제목 규칙 잘 지켰는가?
  • 추가/수정사항을 설명하였는가?
  • 테스트 결과 사진을 넣었는가?
  • 이슈넘버를 적었는가?

@Dimo-2562 Dimo-2562 self-assigned this Mar 8, 2026
@Dimo-2562 Dimo-2562 added ✨ IMPROVE 기존 기능 변경 📊 domain:recommendation 추천 시스템 labels Mar 8, 2026
@Dimo-2562 Dimo-2562 merged commit 5afaa26 into develop Mar 8, 2026
1 check passed
@Dimo-2562 Dimo-2562 deleted the improve/#336 branch March 8, 2026 12:02
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

📊 domain:recommendation 추천 시스템 ✨ IMPROVE 기존 기능 변경

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[IMPROVE] MMR 추천 하이퍼파라미터 최적화 및 평가 체계 개선

1 participant