|
@@ -1,4 +1,5 @@
|
|
|
using Application.Abstractions.Data;
|
|
using Application.Abstractions.Data;
|
|
|
|
|
+using Application.Helpers;
|
|
|
using Domain.Entities.Stocks;
|
|
using Domain.Entities.Stocks;
|
|
|
using Domain.Entities.Stocks.ValueObject;
|
|
using Domain.Entities.Stocks.ValueObject;
|
|
|
using Microsoft.EntityFrameworkCore;
|
|
using Microsoft.EntityFrameworkCore;
|
|
@@ -11,10 +12,13 @@ namespace Infrastructure.StockData;
|
|
|
|
|
|
|
|
/// <summary>
|
|
/// <summary>
|
|
|
/// 일별 마감 시세 수집 (KRX OpenAPI) — stk_bydd_trd(KOSPI) + ksq_bydd_trd(KOSDAQ) + knx_bydd_trd(KONEX) 일별매매정보.
|
|
/// 일별 마감 시세 수집 (KRX OpenAPI) — stk_bydd_trd(KOSPI) + ksq_bydd_trd(KOSDAQ) + knx_bydd_trd(KONEX) 일별매매정보.
|
|
|
-/// 기본 18:10 KST 실행(장 마감 15:30 이후 확정), basDd=직전 영업일 전량 수집 →
|
|
|
|
|
|
|
+/// 기본 18:10 KST 실행(장 마감 15:30 이후 확정). 공용 KrxBackfill 로 최근 BackfillYears(기본 3)년치를 endDate(직전 영업일)부터
|
|
|
|
|
+/// 과거로 훑으며 미적재일만 채운다. quota 보호를 위해 1회 실행당 BackfillMaxPerRun(기본 60)일까지만 fetch →
|
|
|
|
|
+/// 여러 날에 걸쳐 3년치를 메우고 이후엔 최신만 유지한다. 각 날짜는 3개 시장 엔드포인트를 모두 수집해
|
|
|
/// StockDailyPrice upsert (StockID+TradingDate) + Stock.UpdateLastPrice denorm(최근 종가/등락률/시총) 갱신.
|
|
/// StockDailyPrice upsert (StockID+TradingDate) + Stock.UpdateLastPrice denorm(최근 종가/등락률/시총) 갱신.
|
|
|
-/// 마스터 미동기화 코드는 skip (다음 마스터 동기화 후 자연 반영). 미반영(0건)이면 2시간 간격 2회 재시도.
|
|
|
|
|
-/// ApiKey 미설정 시 로그만 남기고 skip (data.go.kr 배치와 동일 정책).
|
|
|
|
|
|
|
+/// (denorm 은 Stock.UpdateLastPrice 가 최신일보다 과거일이면 무시하므로 과거 백필이 최신값을 덮지 않는다.)
|
|
|
|
|
+/// 마스터 미동기화 코드는 skip (다음 마스터 동기화 후 자연 반영).
|
|
|
|
|
+/// ApiKey 미설정 시 로그만 남기고 skip (다른 KRX 배치와 동일 정책).
|
|
|
/// KONEX 응답 필드셋은 KOSPI/KOSDAQ 과 동일(ISU_CD/TDD_*/ACC_*/MKTCAP/LIST_SHRS) — KrxStockParser 재사용.
|
|
/// KONEX 응답 필드셋은 KOSPI/KOSDAQ 과 동일(ISU_CD/TDD_*/ACC_*/MKTCAP/LIST_SHRS) — KrxStockParser 재사용.
|
|
|
/// </summary>
|
|
/// </summary>
|
|
|
internal sealed class KrxDailyPriceSyncService(
|
|
internal sealed class KrxDailyPriceSyncService(
|
|
@@ -53,27 +57,58 @@ internal sealed class KrxDailyPriceSyncService(
|
|
|
var db = scope.ServiceProvider.GetRequiredService<IAppDbContext>();
|
|
var db = scope.ServiceProvider.GetRequiredService<IAppDbContext>();
|
|
|
var client = httpClientFactory.CreateClient(KrxCoKrHttp.ClientName);
|
|
var client = httpClientFactory.CreateClient(KrxCoKrHttp.ClientName);
|
|
|
|
|
|
|
|
- var targetDate = await MarketCalendar.GetPreviousBusinessDayAsync(db, todayKst.AddDays(1), ct);
|
|
|
|
|
|
|
+ var endDate = await MarketCalendar.GetPreviousBusinessDayAsync(db, todayKst.AddDays(1), ct);
|
|
|
|
|
+ var years = cfg.BackfillYears > 0 ? cfg.BackfillYears : 3;
|
|
|
|
|
+ var startDate = todayKst.AddYears(-years);
|
|
|
|
|
+
|
|
|
|
|
+ // 백필 창 전체의 휴장일을 한 번에 로드 (KrxBackfill 은 주말은 자동 제외, 휴장일만 필요)
|
|
|
|
|
+ var holidays = (await db.MarketHoliday.AsNoTracking()
|
|
|
|
|
+ .Where(c => c.Date >= startDate && c.Date <= endDate)
|
|
|
|
|
+ .Select(c => c.Date)
|
|
|
|
|
+ .ToListAsync(ct)).ToHashSet();
|
|
|
|
|
+
|
|
|
|
|
+ var maxPerRun = cfg.BackfillMaxPerRun > 0 ? cfg.BackfillMaxPerRun : 60;
|
|
|
|
|
+
|
|
|
|
|
+ var fetched = await KrxBackfill.RunAsync(
|
|
|
|
|
+ existsForDate: (day, token) => db.StockDailyPrice.AsNoTracking().AnyAsync(c => c.TradingDate == day, token),
|
|
|
|
|
+ fetchAndUpsertForDate: (day, token) => FetchAndUpsertAsync(db, client, cfg.BaseUrl, cfg.ApiKey, day, token),
|
|
|
|
|
+ startDate: startDate,
|
|
|
|
|
+ endDate: endDate,
|
|
|
|
|
+ holidays: holidays,
|
|
|
|
|
+ maxPerRun: maxPerRun,
|
|
|
|
|
+ delayMs: 300,
|
|
|
|
|
+ ct: ct);
|
|
|
|
|
+
|
|
|
|
|
+ Logger.LogInformation("[{Job}] 완료 — 창=[{Start}~{End}], 이번 실행 fetch={Fetched}일 (maxPerRun={Max})",
|
|
|
|
|
+ JobName, startDate, endDate, fetched, maxPerRun);
|
|
|
|
|
+
|
|
|
|
|
+ // fetch 가 0 이어도(이미 최신까지 적재됨) 정상 완료 — 재시도 불필요
|
|
|
|
|
+ return true;
|
|
|
|
|
+ }
|
|
|
|
|
+
|
|
|
|
|
+ /// <summary>한 날짜에 대해 3개 시장 엔드포인트를 모두 수집하고 StockDailyPrice upsert + Stock denorm 갱신.</summary>
|
|
|
|
|
+ private async Task FetchAndUpsertAsync(IAppDbContext db, HttpClient client, string baseUrl, string apiKey, DateOnly day, CancellationToken ct)
|
|
|
|
|
+ {
|
|
|
var rows = new List<KrxStockParser.DailyPriceItem>();
|
|
var rows = new List<KrxStockParser.DailyPriceItem>();
|
|
|
|
|
|
|
|
foreach (var (market, path) in Endpoints)
|
|
foreach (var (market, path) in Endpoints)
|
|
|
{
|
|
{
|
|
|
- var url = $"{cfg.BaseUrl.TrimEnd('/')}{path}?basDd={targetDate:yyyyMMdd}";
|
|
|
|
|
- var json = await KrxCoKrHttp.GetStringWithRetryAsync(client, url, cfg.ApiKey, Logger, ct);
|
|
|
|
|
|
|
+ var url = $"{baseUrl.TrimEnd('/')}{path}?basDd={day:yyyyMMdd}";
|
|
|
|
|
+ var json = await KrxCoKrHttp.GetStringWithRetryAsync(client, url, apiKey, Logger, ct);
|
|
|
var parsed = KrxStockParser.ParseDailyPrices(json, market);
|
|
var parsed = KrxStockParser.ParseDailyPrices(json, market);
|
|
|
|
|
|
|
|
- Logger.LogInformation("[{Job}] {Market} basDd={TargetDate} rows={Rows}", JobName, market, targetDate, parsed.Count);
|
|
|
|
|
|
|
+ Logger.LogInformation("[{Job}] {Market} basDd={Day} rows={Rows}", JobName, market, day, parsed.Count);
|
|
|
rows.AddRange(parsed);
|
|
rows.AddRange(parsed);
|
|
|
}
|
|
}
|
|
|
|
|
|
|
|
if (rows.Count == 0)
|
|
if (rows.Count == 0)
|
|
|
{
|
|
{
|
|
|
- Logger.LogInformation("[{Job}] basDd={TargetDate} 시세 미반영 (0건)", JobName, targetDate);
|
|
|
|
|
- return false;
|
|
|
|
|
|
|
+ Logger.LogInformation("[{Job}] basDd={Day} 시세 미반영 (0건)", JobName, day);
|
|
|
|
|
+ return;
|
|
|
}
|
|
}
|
|
|
|
|
|
|
|
var stockByCode = await db.Stock.ToDictionaryAsync(c => c.Code, ct);
|
|
var stockByCode = await db.Stock.ToDictionaryAsync(c => c.Code, ct);
|
|
|
- var existingByStockID = await db.StockDailyPrice.Where(c => c.TradingDate == targetDate).ToDictionaryAsync(c => c.StockID, ct);
|
|
|
|
|
|
|
+ var existingByStockID = await db.StockDailyPrice.Where(c => c.TradingDate == day).ToDictionaryAsync(c => c.StockID, ct);
|
|
|
var inserted = 0;
|
|
var inserted = 0;
|
|
|
var updated = 0;
|
|
var updated = 0;
|
|
|
var unknown = 0;
|
|
var unknown = 0;
|
|
@@ -105,9 +140,7 @@ internal sealed class KrxDailyPriceSyncService(
|
|
|
|
|
|
|
|
await db.SaveChangesAsync(ct);
|
|
await db.SaveChangesAsync(ct);
|
|
|
|
|
|
|
|
- Logger.LogInformation("[{Job}] 완료 — basDd={TargetDate}, rows={Rows}, inserted={Inserted}, updated={Updated}, unknownCode={Unknown}",
|
|
|
|
|
- JobName, targetDate, rows.Count, inserted, updated, unknown);
|
|
|
|
|
-
|
|
|
|
|
- return true;
|
|
|
|
|
|
|
+ Logger.LogInformation("[{Job}] basDd={Day} 적재 — rows={Rows}, inserted={Inserted}, updated={Updated}, unknownCode={Unknown}",
|
|
|
|
|
+ JobName, day, rows.Count, inserted, updated, unknown);
|
|
|
}
|
|
}
|
|
|
}
|
|
}
|