using Application.Abstractions.Data; using Application.Helpers; using Domain.Entities.Stocks; using Domain.Entities.Stocks.ValueObject; using Microsoft.EntityFrameworkCore; using Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.Logging; using Microsoft.Extensions.Options; using SharedKernel; namespace Infrastructure.StockData; /// /// 종목 마스터 동기화 (KRX OpenAPI) — stk_isu_base_info(KOSPI) + ksq_isu_base_info(KOSDAQ) + knx_isu_base_info(KONEX) 종목기본정보를 /// 일 1회(기본 07:40 KST) 전량 수집하여 Stock upsert. 신규 상장 = insert, 명칭/시장/영문명/업종 변경 = update, /// 스냅샷에서 사라진 활성 종목 = 상폐 soft-off. ApiKey 미설정 시 로그만 남기고 skip (data.go.kr 배치와 동일 정책). /// 종목기본정보는 basDd 단위 스냅샷 — 직전 영업일부터 최대 7일 소급하며 데이터가 있는 기준일을 찾는다. /// 상폐 sweep 은 시장별 가드(StockMasterDelist)를 통과한 시장에서만 수행 — 한 시장만 빈/부분 응답일 때 /// 그 시장 전체(예: KOSDAQ ~1,700종목)가 하루 동안 대량 상폐되던 결함 방지 (0건 또는 활성 대비 80% 미만이면 보류+경고). /// KONEX 응답 필드셋은 KOSPI/KOSDAQ 과 동일(ISU_SRT_CD/ISU_CD/ISU_ABBRV/ISU_ENG_NM/LIST_DD/MKT_TP_NM/SECT_TP_NM) — KrxStockParser 재사용. /// internal sealed class KrxStockMasterSyncService( IServiceScopeFactory scopeFactory, IHttpClientFactory httpClientFactory, IOptions settings, ILogger logger ) : DailyScheduledService(logger) { // (시장, 엔드포인트 경로) — KOSPI/KOSDAQ/KONEX. 세 시장 모두 Stock 테이블에 Market 으로만 구분되어 적재된다. private static readonly (StockMarket Market, string Path)[] Endpoints = [ (StockMarket.KOSPI, "/svc/apis/sto/stk_isu_base_info"), (StockMarket.KOSDAQ, "/svc/apis/sto/ksq_isu_base_info"), (StockMarket.KONEX, "/svc/apis/sto/knx_isu_base_info") ]; private const int MaxBaseDateLookback = 7; protected override string JobName => "KrxStockMasterSync"; protected override TimeOnly TargetTime => ParseTime(settings.Value.KRXCoKr.MasterSyncTime, new TimeOnly(7, 40)); protected override async Task RunOnceAsync(DateOnly todayKst, CancellationToken ct) { var cfg = settings.Value.KRXCoKr; if (string.IsNullOrWhiteSpace(cfg.ApiKey)) { Logger.LogWarning("[{Job}] KRXCoKr:ApiKey 미설정 — 수집 skip", JobName); return true; } using var scope = scopeFactory.CreateScope(); var db = scope.ServiceProvider.GetRequiredService(); var client = httpClientFactory.CreateClient(KrxCoKrHttp.ClientName); // 종목기본정보는 basDd 단위 스냅샷 — 직전 영업일부터 최대 7일 소급하며 데이터가 있는 기준일을 찾는다 var baseDate = await MarketCalendar.GetPreviousBusinessDayAsync(db, todayKst.AddDays(1), ct); Dictionary>? snapshot = null; for (var back = 0; back < MaxBaseDateLookback; back++) { snapshot = await FetchSnapshotAsync(client, cfg, baseDate, ct); if (snapshot.Values.Sum(c => c.Count) > 0) { break; } baseDate = await MarketCalendar.GetPreviousBusinessDayAsync(db, baseDate, ct); } if (snapshot is null || snapshot.Values.Sum(c => c.Count) == 0) { Logger.LogError("[{Job}] 종목기본정보 스냅샷 없음 — 최근 {Days}영업일 조회 실패", JobName, MaxBaseDateLookback); return true; } // 동일 코드 중복 행은 마지막 행 우선 var byCode = new Dictionary(); foreach (var item in snapshot.Values.SelectMany(c => c)) { byCode[item.Code] = item; } var stocks = await db.Stock.ToListAsync(ct); var stockByCode = stocks.ToDictionary(c => c.Code); var inserted = 0; var updated = 0; var delisted = 0; foreach (var (code, item) in byCode) { if (stockByCode.TryGetValue(code, out var stock)) { var wasUpdated = stock.UpdatedAt; stock.UpdateMaster(item.Name, item.Market, item.Isin, item.EnglishName, item.SectorName); if (stock.UpdatedAt != wasUpdated) { updated++; } } else { await db.Stock.AddAsync(Stock.Create(code, item.Name, item.Market, item.ListedDate, item.Isin, englishName: item.EnglishName, sectorName: item.SectorName), ct); inserted++; } } // 스냅샷에서 사라진 활성 종목 = 상폐 soft-off — 단, 시장별 가드(빈 응답/활성 대비 80% 미만)를 통과한 시장만 var snapshotCountByMarket = snapshot.ToDictionary(c => c.Key, c => c.Value.Count); var activeCountByMarket = stocks.Where(c => c.IsActive).GroupBy(c => c.Market).ToDictionary(c => c.Key, c => c.Count()); var delistableMarkets = StockMasterDelist.GetDelistableMarkets(snapshotCountByMarket, activeCountByMarket).ToHashSet(); foreach (var (market, snapshotCount) in snapshotCountByMarket.Where(c => !delistableMarkets.Contains(c.Key))) { Logger.LogWarning("[{Job}] {Market} 상폐 sweep 보류 — snapshot={Snapshot}, active={Active} (빈/부분 응답 방어)", JobName, market, snapshotCount, activeCountByMarket.TryGetValue(market, out var active) ? active : 0); } foreach (var stock in stocks.Where(c => c.IsActive && delistableMarkets.Contains(c.Market) && !byCode.ContainsKey(c.Code))) { stock.MarkDelisted(baseDate); delisted++; } await db.SaveChangesAsync(ct); Logger.LogInformation("[{Job}] 완료 — basDd={BaseDate}, snapshot={Snapshot}, inserted={Inserted}, updated={Updated}, delisted={Delisted}", JobName, baseDate, byCode.Count, inserted, updated, delisted); return true; } /// 시장별 스냅샷 수집 — 상폐 sweep 가드를 위해 시장 단위 건수를 보존해 반환한다 (0건 시장도 키 존재). private async Task>> FetchSnapshotAsync(HttpClient client, AppSettings.KRXCoKrSection cfg, DateOnly baseDate, CancellationToken ct) { var byMarket = new Dictionary>(); foreach (var (market, path) in Endpoints) { var url = $"{cfg.BaseUrl.TrimEnd('/')}{path}?basDd={baseDate:yyyyMMdd}"; var json = await KrxCoKrHttp.GetStringWithRetryAsync(client, url, cfg.ApiKey, Logger, ct); var rows = KrxStockParser.ParseMasterInfo(json, market); Logger.LogInformation("[{Job}] {Market} basDd={BaseDate} rows={Rows}", JobName, market, baseDate, rows.Count); byMarket[market] = rows.ToList(); } return byMarket; } }