[DABOM-408] usage-events 중복 처리 방지 로직 추가

[ChoiSeungeon]

🍀 이슈 & 티켓 넘버

• closed: [DABOM-408] 중복 이벤트 방지 기능 추가 #48
• jira: DABOM-408

---

🎯 목적

앱 차단 정책에 따라 특정 유저가 차단된 앱에서 데이터 사용을 시도할 때, 해당 사용량을 차단하는 로직이 필요

📝 변경 사항

• usage-event 소비 시 동일 eventId를 기준으로 중복 처리 방지 로직 추가
• Redis Lua에서 중복 검사와 사용량 반영을 함께 처리하도록 변경
• 중복 이벤트는 Redis 차감, 월 사용량 누적, 후속 publish를 모두 스킵
• usage-event dedup TTL 설정 추가
• duplicate hit 시 Kafka dedup metric 기록 로직 추가
• 관련 단위 테스트 보강

📂 변경 범위

도메인	controller	service	repository	entity	infra	global
usage		[x]

---

🖥️ 주요 코드 설명

if (parsed.duplicate()) {
    kafkaMetrics.incrementDedupHit(
            KafkaTopics.USAGE_EVENTS,
            KafkaConsumerGroups.DABOM_PROCESSOR_USAGE_MAIN,
            KafkaEventTypes.DATA_USAGE);
    log.info(
            "Skip duplicated usage event. eventId={}, familyId={}, customerId={}",
            logSanitizer.sanitize(eventId),
            familyId,
            customerId);
    return;
}

if dedupTtlSeconds > 0 then
    local firstSeen = redis.call('SET', KEYS[6], '1', 'NX', 'EX', dedupTtlSeconds)
    if not firstSeen then
        return getResult("DUPLICATE", duplicatedMonthly, true)
    end
end

💬 리뷰어에게

• usage-events 중복 소비 시 Redis 사용량과 후속 이벤트 발행이 중복되지 않도록 보강했습니다.
• dedup은 Java 선행 체크가 아니라 Lua 내부에서 함께 처리하도록 넣어 원자성을 맞췄습니다.
• usage-persist의 DB unique 기반 idempotency와는 별도로, usage-event 단계의 Redis 반영 중복을 막는 목적입니다.

---

📋 체크리스트

기본

• Merge 대상 브랜치가 올바른가?
• ./gradlew build가 정상적으로 통과하는가?
• Spotless / Checkstyle을 통과하는가? (./gradlew spotlessApply checkstyleMain)
• 전체 변경사항이 500줄을 넘지 않는가?

코드 품질

• 의존성 방향을 준수하는가? (Controller → Service → Repository → Entity)
• Setter 없이 비즈니스 메서드로 상태를 변경하는가?
• @Transactional은 Service에만 선언했는가?

테스트

• 신규 비즈니스 로직에 대한 단위 테스트를 작성했는가?

📌 참고 사항

• 로컬 Kafka에서 실제 usage-events 메시지를 같은 eventId로 두 번 넣어 검증했고 관련 매트릭 증가도 확인

[gemini-code-assist]

Summary of Changes

Hello, I'm Gemini Code Assist¹! I'm currently reviewing this pull request and will post my feedback shortly. In the meantime, here's a summary to help you and other reviewers quickly get up to speed!

이 풀 리퀘스트는 앱 차단 정책에 따라 특정 유저가 차단된 앱에서 데이터 사용을 시도할 때 발생할 수 있는 usage-events의 중복 처리를 방지하는 데 중점을 둡니다. Redis Lua 스크립트 내에서 중복 검사 및 사용량 반영을 원자적으로 처리하여 데이터 무결성을 강화하고, 중복 이벤트로 인한 불필요한 리소스 사용 및 후속 이벤트 발행을 방지합니다. 이는 시스템의 안정성과 효율성을 높이는 데 기여합니다.

Highlights

• Usage Event 중복 처리 방지: 동일한 eventId를 기준으로 usage-event의 중복 처리를 방지하는 로직이 추가되었습니다.
• Redis Lua 스크립트 개선: Redis Lua 스크립트 내에서 중복 검사와 사용량 반영 로직을 함께 처리하여 원자성을 확보했습니다.
• 중복 이벤트 처리 스킵: 중복으로 감지된 이벤트는 Redis 차감, 월 사용량 누적, 후속 이벤트 발행을 모두 건너뛰도록 변경되었습니다.
• 중복 제거 TTL 설정: usage-event 중복 제거를 위한 TTL(Time-To-Live) 설정이 추가되어 Redis 키의 유효 기간을 관리합니다.
• Kafka Dedup 메트릭 기록: 중복 이벤트 발생 시 Kafka dedup 메트릭을 기록하는 로직이 추가되어 모니터링을 강화했습니다.
• 단위 테스트 보강: 새롭게 추가된 중복 처리 로직에 대한 단위 테스트가 보강되었습니다.

🧠 New Feature in Public Preview: You can now enable Memory to help Gemini Code Assist learn from your team's feedback. This makes future code reviews more consistent and personalized to your project's style. Click here to enable Memory in your admin console.

Changelog

• src/main/java/com/project/domain/usage/service/UsageSyncServiceImpl.java
  • KafkaMetrics 의존성과 dedupTtlSeconds 설정 값을 추가했습니다.
  • syncUsage 메서드에서 Lua 스크립트 실행 시 중복 제거 키(dedupKey)와 TTL(dedupTtlSeconds)을 전달하도록 변경했습니다.
  • Lua 스크립트 결과에 따라 중복 이벤트인 경우 Kafka 메트릭을 증가시키고 처리를 조기에 종료하는 로직을 추가했습니다.
• src/main/java/com/project/domain/usage/service/dto/UsageUpdateResult.java
  • 사용량 업데이트 결과에 중복 여부를 나타내는 duplicate 필드를 추가했습니다.
• src/main/java/com/project/domain/usage/service/helper/UsageLuaExecutor.java
  • Lua 스크립트 실행 시 dedupKey와 dedupTtlSeconds를 인자로 전달하도록 execute 메서드를 수정했습니다.
  • Lua 스크립트의 반환 값 파싱 로직을 업데이트하여 duplicate 필드를 처리하도록 했습니다.
  • UsageLuaCommand 레코드에 dedupKey와 dedupTtlSeconds 필드를 추가했습니다.
• src/main/java/com/project/global/util/RedisKeyGenerator.java
  • usage-event 중복 제거 키 생성을 위한 USAGE_EVENT_DEDUP_KEY_PREFIX 상수를 추가했습니다.
  • generateUsageEventDedupKey 메서드를 추가하여 usage-event 중복 제거 키를 생성하도록 했습니다.
  • 기존 키 생성 메서드에 대한 주석을 추가했습니다.
• src/main/resources/application.yml
  • Kafka 중복 제거 설정에 usage-ttl-seconds 속성을 추가했습니다.
• src/main/resources/lua/usage_update.lua
  • KEYS[6]와 ARGV[4]를 각각 중복 제거 키와 TTL 인자로 추가했습니다.
  • 스크립트 시작 부분에 SET NX EX 명령을 사용하여 usage-event 중복 검사 로직을 구현했습니다.
  • getResult 함수에 duplicate 인자를 추가하고, 반환 값에 중복 여부를 포함하도록 수정했습니다.
  • 기존의 모든 getResult 호출에 duplicate 인자를 추가했습니다.
• src/test/java/com/project/domain/usage/service/UsageSyncServiceImplTest.java
  • KafkaMetrics 목 객체를 추가했습니다.
  • dedupTtlSeconds 필드를 ReflectionTestUtils를 사용하여 설정했습니다.
  • UsageUpdateResult 객체 생성 시 duplicate 플래그를 포함하도록 수정했습니다.
  • stubCommon 메서드에 eventId 인자를 추가하고 중복 제거 키를 생성하도록 했습니다.
  • 중복 이벤트 처리 및 메트릭 증가를 검증하는 syncUsage_DuplicateSkipsPublish 테스트 케이스를 추가했습니다.
• src/test/java/com/project/domain/usage/service/helper/UsageEventPublisherTest.java
  • UsageUpdateResult 객체 생성 시 duplicate 플래그를 포함하도록 수정했습니다.
• src/test/java/com/project/domain/usage/service/helper/UsageLuaExecutorTest.java
  • UsageLuaCommand 객체 생성 시 dedupKey와 dedupTtlSeconds를 포함하도록 수정했습니다.
  • redisTemplate.execute 목 설정 시 추가 인자와 반환 값을 처리하도록 업데이트했습니다.
  • duplicate 플래그 파싱을 검증하는 execute_ParseDuplicateFlag 테스트 케이스를 추가했습니다.
  • execute_InvalidResultSize 테스트에서 예상되는 반환 값 개수를 7개로 조정했습니다.
• src/test/resources/application-test.yml
  • 테스트 환경에서 usage-ttl-seconds를 설정하는 app.kafka.dedup 속성을 추가했습니다.

Activity

• 이 풀 리퀘스트는 ChoiSeungeon 님이 작성하셨습니다.
• 현재까지 리뷰 활동이나 추가적인 코멘트는 없습니다.

Using Gemini Code Assist

The full guide for Gemini Code Assist can be found on our documentation page, here are some quick tips.

Invoking Gemini

You can request assistance from Gemini at any point by creating a comment using either /gemini <command> or @gemini-code-assist <command>. Below is a summary of the supported commands on the current page.

Feature	Command	Description
Code Review	/gemini review	Performs a code review for the current pull request in its current state.
Pull Request Summary	/gemini summary	Provides a summary of the current pull request in its current state.
Comment	@gemini-code-assist	Responds in comments when explicitly tagged, both in pull request comments and review comments.
Help	/gemini help	Displays a list of available commands.

Customization

To customize Gemini Code Assist for GitHub experience, repository maintainers can create a configuration file and/or provide a custom code review style guide (such as PEP-8 for Python) by creating and adding files to a .gemini/ folder in the base of the repository. Detailed instructions can be found here.

Limitations & Feedback

Gemini Code Assist may make mistakes. Please leave feedback on any instances where its feedback is incorrect or counter productive. You can react with 👍 and 👎 on @gemini-code-assist comments. If you're interested in giving your feedback about your experience with Gemini Code Assist for GitHub and other Google products, sign up here.

You can also get AI-powered code generation, chat, as well as code reviews directly in the IDE at no cost with the Gemini Code Assist IDE Extension.

Footnotes

1. Review the Privacy Notices, Generative AI Prohibited Use Policy, Terms of Service, and learn how to configure Gemini Code Assist in GitHub here. Gemini can make mistakes, so double check it and use code with caution. ↩

[github-actions]

SonarQube Quality Summary (Community)

❌ Quality Gate FAILED

Branch: feat/DABOM-408
Compared to: default branch

Issues

• 🐞 Bugs: 7
• 🔐 Vulnerabilities: 0
• 📎 Code Smells: 93

Measures

• Coverage: 0%
• Duplication: 0%

🔗 Dashboard: https://sonarqube.swthewhite.store/dashboard?id=dabom-processor-usage&branch=feat/DABOM-408

Generated automatically by GitHub Actions.

[gemini-code-assist]

Code Review

The pull request implements a Kafka usage event deduplication mechanism using Redis. The UsageSyncServiceImpl now passes a deduplication key and TTL to a Redis Lua script. If the Lua script identifies an event as a duplicate, the service logs the event, increments a Kafka deduplication hit metric, and skips further processing. The UsageUpdateResult DTO was extended with a duplicate flag, and the usage_update.lua script was updated to perform the deduplication check using Redis's SET NX EX command. A review comment suggests optimizing the Lua script by immediately returning fixed values upon detecting a duplicate, rather than performing unnecessary Redis lookups for currentMonthly and monthlyLimit, as these detailed values are not utilized by the Java code for duplicate events.

[github-actions]

SonarQube Quality Summary (Community)

✅ Quality Gate PASSED

Branch: feat/DABOM-408
Compared to: default branch

Issues

• 🐞 Bugs: 7
• 🔐 Vulnerabilities: 0
• 📎 Code Smells: 93

Measures

• Coverage: 0%
• Duplication: 0%

🔗 Dashboard: https://sonarqube.swthewhite.store/dashboard?id=dabom-processor-usage&branch=feat/DABOM-408

Generated automatically by GitHub Actions.

[k0081915]

이벤트 중복 처리 확인했습니다~