SeibroSupplySyncService.cs 23 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411
  1. using Application.Abstractions.Data;
  2. using Application.Helpers;
  3. using Domain.Entities.Stocks.ValueObject;
  4. using Microsoft.EntityFrameworkCore;
  5. using Microsoft.Extensions.DependencyInjection;
  6. using Microsoft.Extensions.Logging;
  7. using Microsoft.Extensions.Options;
  8. using SharedKernel;
  9. namespace Infrastructure.StockData;
  10. /// <summary>
  11. /// SEIBro 수급 이벤트 수집 (Wave 2 ★P1) — 기본 07:00 KST(IssuerSync 06:30·Dividend 06:40 다음 슬롯), `Seibro:SupplySync` 게이트.
  12. /// 다섯 단계가 하나의 주식(Stock) 카테고리 예산(SeibroQuota, Seibro:StockBudget)을 공유한다.
  13. ///
  14. /// a) SecuritiesLending (getSlbDealingByIsin, per-ISIN×일): 당일(최신 영업일) 전 상장종목 대차를 최우선 배분(~2,700콜).
  15. /// 잔여 예산으로만 3년 백필 = 시총상위 LendingBackfillTopN + 커뮤니티 활성종목(StockBoardStats.Posts>0) 대상 과거 날짜 rolling.
  16. /// b) LockupEvent 예수 (getSafeDpDutyDepoStatus BIZ_TPCD:1, 월 윈도우 스윕): BEGIN_DT~EXPRY_DT(≤1개월) → 예수일(SafedpDt) window delete+insert.
  17. /// ⚠️ 범위(BEGIN_DT+EXPRY_DT)와 BIZ_TPCD 둘 다 필수 — 단일일이거나 BIZ_TPCD 누락 시 SEIBro 가 003(서버오류) 반환(2026-07-10 라이브 확인). getStkListInfo 와 동일 월 윈도우 패턴.
  18. /// 반환(BIZ_TPCD:2, OCCR_SEQ=2)은 현재 미수집 — LockupEvent UQ 에 반환일이 없어 다중 부분반환이 UQ 충돌. 저장하려면 스키마 변경(키에 반환일) 필요(후속).
  19. /// c) StockIssuanceChange (getStkIncdecDetails, rolling per-회사번호): Stock.IssucoCustno non-null 중 미수집·stale 우선.
  20. /// d) ListingChangeEvent (getStkListInfo, 월 윈도우 스윕): ALT_BEGIN_DT~ALT_EXPRY_DT 최대 1개월/콜 3년 → 적용일 window delete+insert.
  21. /// e) UnlistedCirculation (getUnlistCirclInfo, 날짜 스윕): STD_DT 만 필수 = 그날 전체 비상장 유통 종목 반환(per-종목 불필요) → 전 캘린더일 스윕, StdDt 스탬핑.
  22. ///
  23. /// 실패/0행 = 정상 빈결과. HTTP·파싱 오류 = 경고 + false(RetryDelay 후 재시도). quota 소진 = 정상 종료(true). ApiKey 미설정 시 skip.
  24. /// ⚠️ 콜 수가 큼(대차 전종목 ~2,700/일) — 당일 대차를 최우선 배분하고, 백필류(대차 과거·보호예수·증감·유통변경·비상장)는 잔여 예산으로만 진행한다.
  25. /// </summary>
  26. internal sealed class SeibroSupplySyncService(
  27. IServiceScopeFactory scopeFactory,
  28. IHttpClientFactory httpClientFactory,
  29. SeibroQuota quota,
  30. IOptions<AppSettings> settings,
  31. ILogger<SeibroSupplySyncService> logger
  32. ) : DailyScheduledService(logger)
  33. {
  34. private static readonly StockMarket[] LendingMarkets = [StockMarket.KOSPI, StockMarket.KOSDAQ, StockMarket.KONEX];
  35. // 마커 job 키 (리뷰 결함 #1) — 조용한 날/정상 0행 재조회·starvation 해소
  36. private const string LockupJobKey = "supply-lockup"; // month-window sweep, 예수(BIZ_TPCD:1)/SafedpDt 축 (SweptDate, Date=windowBegin)
  37. private const string ListingJobKey = "supply-listing"; // date-sweep, 월 윈도우 (SweptDate, Date=windowBegin)
  38. private const string UnlistedJobKey = "supply-unlisted"; // date-sweep (SweptDate)
  39. private const string IncdecJobKey = "stk-incdec"; // rolling (FetchMarker)
  40. protected override string JobName => "SeibroSupplySync";
  41. protected override TimeOnly TargetTime => ParseTime(settings.Value.Seibro.SupplySyncTime, new TimeOnly(7, 0));
  42. protected override int MaxRetryCount => 2;
  43. protected override TimeSpan RetryDelay => TimeSpan.FromHours(2);
  44. protected override async Task<bool> RunOnceAsync(DateOnly todayKst, CancellationToken ct)
  45. {
  46. var cfg = settings.Value.Seibro;
  47. using var scope = scopeFactory.CreateScope();
  48. var collectorSettings = scope.ServiceProvider.GetRequiredService<ICollectorSettingsProvider>();
  49. if (!await collectorSettings.IsEnabledAsync(CollectorFlag.SeibroSupply, ct))
  50. {
  51. return true;
  52. }
  53. cfg = cfg with { ApiKey = await collectorSettings.GetKeyAsync(CollectorKey.Seibro, ct) ?? cfg.ApiKey };
  54. if (string.IsNullOrWhiteSpace(cfg.ApiKey))
  55. {
  56. Logger.LogWarning("[{Job}] Seibro:ApiKey 미설정 — 수집 skip", JobName);
  57. return true;
  58. }
  59. var db = scope.ServiceProvider.GetRequiredService<IAppDbContext>();
  60. var client = httpClientFactory.CreateClient(SeibroHttp.ClientName);
  61. var years = cfg.BackfillYears > 0 ? cfg.BackfillYears : 3;
  62. var startDate = todayKst.AddYears(-years);
  63. // SEIBro 대차/수급은 T+1 — 당일(todayKst)은 아직 미반영이라 직전 영업일을 "최신 데이터일"로 사용
  64. var latestBizDay = await MarketCalendar.GetPreviousBusinessDayAsync(db, todayKst, ct);
  65. // 단계별 독립 실행 — 한 단계의 SEIBro 오류(예: getSafeDpDutyDepoStatus 003)가 다른 단계를 막지 않도록 개별 try/catch.
  66. // 반환 false = 예산 소진(전체 중단). 파싱/HTTP 오류 = 해당 단계만 skip(마커 미기록 → 다음 실행 재시도).
  67. async Task<bool> Phase(string name, Func<CancellationToken, Task<bool>> body)
  68. {
  69. try
  70. {
  71. return await body(ct);
  72. }
  73. catch (Exception ex) when (ex is HttpRequestException or System.Xml.XmlException or FormatException)
  74. {
  75. Logger.LogWarning(ex, "[{Job}] {Phase} SEIBro 오류 — 단계 skip(다음 실행 재시도)", JobName, name);
  76. return true;
  77. }
  78. }
  79. // a) 당일 대차 최우선 → b) 보호예수 → c) 증감내역 → d) 유통변경 → e) 비상장 유통 → f) 대차 백필
  80. if (!await Phase("당일대차", t => SweepTodayLendingAsync(db, client, cfg, latestBizDay, t))) { return true; }
  81. if (!await Phase("보호예수", t => SweepLockupAsync(db, client, cfg, startDate, latestBizDay, t))) { return true; }
  82. if (!await Phase("증감내역", t => RollIssuanceChangesAsync(db, client, cfg, t))) { return true; }
  83. if (!await Phase("유통형태변경", t => SweepListingChangesAsync(db, client, cfg, startDate, latestBizDay, t))) { return true; }
  84. if (!await Phase("비상장유통", t => SweepUnlistedAsync(db, client, cfg, startDate, latestBizDay, t))) { return true; }
  85. // f) 대차 3년 백필 (void 반환) — 개별 try/catch
  86. await Phase("대차백필", async t => { await BackfillLendingAsync(db, client, cfg, startDate, latestBizDay, t); return true; });
  87. return true;
  88. }
  89. /// <summary>a) 당일 대차 — 전 상장종목(KOSPI/KOSDAQ/KONEX, ISIN 있음) 중 당일 미적재. 예산 소진 시 false.</summary>
  90. private async Task<bool> SweepTodayLendingAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, DateOnly day, CancellationToken ct)
  91. {
  92. var existing = await db.SecuritiesLending.AsNoTracking().Where(c => c.StdDt == day).Select(c => c.Isin).ToListAsync(ct);
  93. var have = existing.ToHashSet();
  94. var isins = await db.Stock.AsNoTracking()
  95. .Where(c => c.IsActive && c.ISIN != null && LendingMarkets.Contains(c.Market))
  96. .OrderByDescending(c => c.MarketCap)
  97. .Select(c => c.ISIN!)
  98. .ToListAsync(ct);
  99. var targets = isins.Where(c => !have.Contains(c)).ToList();
  100. var quotaExhausted = false;
  101. var fetched = 0;
  102. foreach (var isin in targets)
  103. {
  104. ct.ThrowIfCancellationRequested();
  105. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  106. {
  107. quotaExhausted = true;
  108. break;
  109. }
  110. if (fetched > 0 && cfg.DelayMs > 0)
  111. {
  112. await Task.Delay(cfg.DelayMs, ct);
  113. }
  114. await FetchLendingAsync(db, client, cfg, isin, day, ct);
  115. fetched++;
  116. }
  117. Logger.LogInformation("[{Job}] 당일 대차 스윕 — 기준일={Day}, 대상={Targets}, 수집={Fetched}", JobName, day, targets.Count, fetched);
  118. return !quotaExhausted;
  119. }
  120. /// <summary>대차 1콜 수집 후 upsert (Isin+StdDt 스탬핑).</summary>
  121. private async Task FetchLendingAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, string isin, DateOnly day, CancellationToken ct)
  122. {
  123. var xml = await SeibroHttp.GetStringWithRetryAsync(client, cfg.BaseUrl, cfg.ApiKey, "getSlbDealingByIsin", [new("ISIN", isin), new("STD_DT", day.ToString("yyyyMMdd"))], Logger, ct);
  124. var rows = SeibroSlbDealingParser.Parse(SeibroXml.Parse(xml));
  125. await SeibroSupplyImport.UpsertLendingAsync(db, isin, day, rows, ct);
  126. }
  127. /// <summary>f) 대차 3년 백필 — 시총상위 TopN + 활성종목(StockBoardStats.Posts>0). 종목별 미적재 과거 영업일 recent-first, 잔여 예산.</summary>
  128. private async Task BackfillLendingAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, DateOnly startDate, DateOnly latestBizDay, CancellationToken ct)
  129. {
  130. var remaining = quota.Remaining(SeibroCategory.Stock, cfg.StockBudget);
  131. if (remaining <= 0)
  132. {
  133. Logger.LogInformation("[{Job}] 대차 백필 skip — 당일 수집으로 주식 예산({Budget}) 소진", JobName, cfg.StockBudget);
  134. return;
  135. }
  136. var topN = cfg.LendingBackfillTopN > 0 ? cfg.LendingBackfillTopN : 300;
  137. var topIsins = await db.Stock.AsNoTracking()
  138. .Where(c => c.IsActive && c.ISIN != null && LendingMarkets.Contains(c.Market))
  139. .OrderByDescending(c => c.MarketCap)
  140. .Take(topN)
  141. .Select(c => c.ISIN!)
  142. .ToListAsync(ct);
  143. var activeCodes = await db.StockBoardStats.AsNoTracking().Where(c => c.Posts > 0).Select(c => c.StockCode).ToListAsync(ct);
  144. var activeIsins = await db.Stock.AsNoTracking()
  145. .Where(c => c.IsActive && c.ISIN != null && LendingMarkets.Contains(c.Market) && activeCodes.Contains(c.Code))
  146. .Select(c => c.ISIN!)
  147. .ToListAsync(ct);
  148. var universe = topIsins.Concat(activeIsins).Distinct().ToList();
  149. if (universe.Count == 0)
  150. {
  151. return;
  152. }
  153. // 백필 창(주말/휴장 제외)의 휴장일 로드
  154. var holidays = (await db.MarketHoliday.AsNoTracking().Where(c => c.Date >= startDate && c.Date <= latestBizDay).Select(c => c.Date).ToListAsync(ct)).ToHashSet();
  155. var fetched = 0;
  156. // 종목을 순회하며 각 종목의 미적재 과거일을 recent-first 로 채운다. 예산 소진 시 즉시 종료.
  157. foreach (var isin in universe)
  158. {
  159. ct.ThrowIfCancellationRequested();
  160. var have = (await db.SecuritiesLending.AsNoTracking().Where(c => c.Isin == isin && c.StdDt >= startDate && c.StdDt <= latestBizDay).Select(c => c.StdDt).ToListAsync(ct)).ToHashSet();
  161. for (var day = latestBizDay; day >= startDate; day = day.AddDays(-1))
  162. {
  163. if (day.DayOfWeek is DayOfWeek.Saturday or DayOfWeek.Sunday || holidays.Contains(day) || have.Contains(day))
  164. {
  165. continue;
  166. }
  167. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  168. {
  169. Logger.LogInformation("[{Job}] 대차 백필 종료 — 주식 예산 소진 (백필 수집={Fetched})", JobName, fetched);
  170. return;
  171. }
  172. if (cfg.DelayMs > 0)
  173. {
  174. await Task.Delay(cfg.DelayMs, ct);
  175. }
  176. await FetchLendingAsync(db, client, cfg, isin, day, ct);
  177. fetched++;
  178. }
  179. }
  180. Logger.LogInformation("[{Job}] 대차 백필 완료 — 대상종목={Universe}, 수집={Fetched}", JobName, universe.Count, fetched);
  181. }
  182. /// <summary>b) 보호예수 월 윈도우 스윕(최신→과거, 최대 1개월/콜) — 미적재 월만. BEGIN_DT~EXPRY_DT 범위 + BIZ_TPCD:1(예수) 필수(단일일·무BIZ 는 SEIBro 003). 예수일 window delete+insert. 예산 소진 시 false.</summary>
  183. private async Task<bool> SweepLockupAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, DateOnly startDate, DateOnly today, CancellationToken ct)
  184. {
  185. var fetched = 0;
  186. var first = true;
  187. // 월 단위 창: [monthStart, monthEnd] 최대 1개월. 최신 달부터 과거로. getSafeDpDutyDepoStatus 는 범위+BIZ_TPCD 필수(단일일/무BIZ = 003).
  188. var windowEnd = today;
  189. while (windowEnd >= startDate)
  190. {
  191. ct.ThrowIfCancellationRequested();
  192. var monthStart = new DateOnly(windowEnd.Year, windowEnd.Month, 1);
  193. var windowBegin = monthStart < startDate ? startDate : monthStart;
  194. // 당월(현재 진행 중 달)은 아직 예수가 추가될 수 있어 매 실행 재수집(월중 신규 누락 방지, 리뷰 finding#2). 과거 달만 데이터 존재/마커로 스킵.
  195. var isCurrentMonth = monthStart.Year == today.Year && monthStart.Month == today.Month;
  196. var alreadyDone = !isCurrentMonth
  197. && (await db.LockupEvent.AsNoTracking().AnyAsync(c => c.SafedpDt >= windowBegin && c.SafedpDt <= windowEnd, ct)
  198. || await SeibroMarkers.IsSweptAsync(db, LockupJobKey, windowBegin, null, ct));
  199. if (!alreadyDone)
  200. {
  201. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  202. {
  203. Logger.LogWarning("[{Job}] 주식 예산({Budget}) 소진 — getSafeDpDutyDepoStatus {Begin}~{End} 부터 중단", JobName, cfg.StockBudget, windowBegin, windowEnd);
  204. return false;
  205. }
  206. if (!first && cfg.DelayMs > 0)
  207. {
  208. await Task.Delay(cfg.DelayMs, ct);
  209. }
  210. first = false;
  211. // getSafeDpDutyDepoStatus 는 정상 파라미터에도 간헐적 003(서버측)을 반환 — 해당 월만 skip(마커 미기록 → 다음 실행 재시도)하고
  212. // 나머지 과거 월은 계속 진행한다(한 달 transient 오류가 전체 백필을 막지 않도록, SeibroRollingSweep per-key 철학과 동일).
  213. try
  214. {
  215. var xml = await SeibroHttp.GetStringWithRetryAsync(client, cfg.BaseUrl, cfg.ApiKey, "getSafeDpDutyDepoStatus", [new("BEGIN_DT", windowBegin.ToString("yyyyMMdd")), new("EXPRY_DT", windowEnd.ToString("yyyyMMdd")), new("BIZ_TPCD", "1")], Logger, ct);
  216. var rows = SeibroLockupParser.Parse(SeibroXml.Parse(xml));
  217. var (inserted, deleted) = await SeibroSupplyImport.ReplaceLockupWindowAsync(db, windowBegin, windowEnd, rows, ct);
  218. await SeibroMarkers.MarkSweptAsync(db, LockupJobKey, windowBegin, null, ct); // 0행 포함 조회완료 기록
  219. Logger.LogInformation("[{Job}] getSafeDpDutyDepoStatus {Begin}~{End} rows={Rows} — inserted={Inserted}, deleted={Deleted}", JobName, windowBegin, windowEnd, rows.Count, inserted, deleted);
  220. fetched++;
  221. }
  222. catch (Exception ex) when (ex is HttpRequestException or System.Xml.XmlException or FormatException)
  223. {
  224. Logger.LogWarning(ex, "[{Job}] getSafeDpDutyDepoStatus {Begin}~{End} SEIBro 오류(간헐 003 등) — 이 달만 skip(다음 실행 재시도)", JobName, windowBegin, windowEnd);
  225. }
  226. }
  227. windowEnd = monthStart.AddDays(-1); // 이전 달 말일
  228. }
  229. Logger.LogInformation("[{Job}] 보호예수 월 윈도우 스윕 완료 — 창=[{Start}~{End}], fetch={Fetched}월", JobName, startDate, today, fetched);
  230. return true;
  231. }
  232. /// <summary>c) 증감내역 rolling — Stock.IssucoCustno non-null 중 미수집·stale 우선. SHOTN_ISIN(=Code)으로 조회. 예산 소진 시 false.</summary>
  233. private async Task<bool> RollIssuanceChangesAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, CancellationToken ct)
  234. {
  235. var stocks = await db.Stock.AsNoTracking().Where(c => c.IssucoCustno != null && c.ISIN != null).Select(c => new { c.Code, c.ISIN }).ToListAsync(ct);
  236. if (stocks.Count == 0)
  237. {
  238. Logger.LogInformation("[{Job}] getStkIncdecDetails 대상 없음 (Stock.IssucoCustno 미스탬핑)", JobName);
  239. return true;
  240. }
  241. // 조회 시도(0행 포함) 마커 기준 정렬(키=단축코드) — 증감 없는 종목도 재조회 회피(#1)
  242. var markers = await SeibroMarkers.LoadFetchMarkersAsync(db, IncdecJobKey, ct);
  243. var targets = stocks.Select(s => (Key: s.Code, LastUpdatedAt: markers.TryGetValue(s.Code, out var last) ? (DateTime?)last : null)).ToList();
  244. var maxPerRun = quota.Remaining(SeibroCategory.Stock, cfg.StockBudget);
  245. var quotaExhausted = false;
  246. var processed = await SeibroRollingSweep.RunAsync(
  247. targets: targets,
  248. fetchAndUpsert: async (code, token) => {
  249. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  250. {
  251. quotaExhausted = true;
  252. return;
  253. }
  254. var xml = await SeibroHttp.GetStringWithRetryAsync(client, cfg.BaseUrl, cfg.ApiKey, "getStkIncdecDetails", [new("SHOTN_ISIN", code)], Logger, token);
  255. var rows = SeibroStkIncdecParser.Parse(SeibroXml.Parse(xml));
  256. var (inserted, updated) = await SeibroSupplyImport.UpsertIssuanceChangesAsync(db, rows, token);
  257. await SeibroMarkers.TouchFetchMarkerAsync(db, IncdecJobKey, code, token);
  258. Logger.LogInformation("[{Job}] getStkIncdecDetails SHOTN_ISIN={Code} rows={Rows} — inserted={Inserted}, updated={Updated}", JobName, code, rows.Count, inserted, updated);
  259. },
  260. maxPerRun: maxPerRun,
  261. delayMs: cfg.DelayMs,
  262. ct: ct);
  263. Logger.LogInformation("[{Job}] getStkIncdecDetails rolling 완료 — 대상={Targets}, 호출={Processed} (maxPerRun={Max})", JobName, targets.Count, processed, maxPerRun);
  264. return !quotaExhausted;
  265. }
  266. /// <summary>d) 유통형태변경 월 윈도우 스윕(최신→과거, 최대 1개월/콜) — 미적재 월만. 적용일 window delete+insert. 예산 소진 시 false.</summary>
  267. private async Task<bool> SweepListingChangesAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, DateOnly startDate, DateOnly today, CancellationToken ct)
  268. {
  269. var fetched = 0;
  270. var first = true;
  271. // 월 단위 창: [monthStart, monthEnd] 최대 1개월. 최신 달부터 과거로.
  272. var windowEnd = today;
  273. while (windowEnd >= startDate)
  274. {
  275. ct.ThrowIfCancellationRequested();
  276. var monthStart = new DateOnly(windowEnd.Year, windowEnd.Month, 1);
  277. var windowBegin = monthStart < startDate ? startDate : monthStart;
  278. // 월 윈도우 시작일을 마커 Date 로 사용 — 데이터 존재 OR 조회완료 마커 → 스킵 (변경 없는 달도 재조회 회피, 리뷰 결함 #1)
  279. if (!await db.ListingChangeEvent.AsNoTracking().AnyAsync(c => c.ApliDt >= windowBegin && c.ApliDt <= windowEnd, ct) && !await SeibroMarkers.IsSweptAsync(db, ListingJobKey, windowBegin, null, ct))
  280. {
  281. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  282. {
  283. Logger.LogWarning("[{Job}] 주식 예산({Budget}) 소진 — getStkListInfo {Begin}~{End} 부터 중단", JobName, cfg.StockBudget, windowBegin, windowEnd);
  284. return false;
  285. }
  286. if (!first && cfg.DelayMs > 0)
  287. {
  288. await Task.Delay(cfg.DelayMs, ct);
  289. }
  290. first = false;
  291. var xml = await SeibroHttp.GetStringWithRetryAsync(client, cfg.BaseUrl, cfg.ApiKey, "getStkListInfo", [new("ALT_BEGIN_DT", windowBegin.ToString("yyyyMMdd")), new("ALT_EXPRY_DT", windowEnd.ToString("yyyyMMdd"))], Logger, ct);
  292. var rows = SeibroStkListParser.Parse(SeibroXml.Parse(xml));
  293. var (inserted, deleted) = await SeibroSupplyImport.ReplaceListingChangeWindowAsync(db, windowBegin, windowEnd, rows, ct);
  294. await SeibroMarkers.MarkSweptAsync(db, ListingJobKey, windowBegin, null, ct); // 0행 포함 조회완료 기록
  295. Logger.LogInformation("[{Job}] getStkListInfo {Begin}~{End} rows={Rows} — inserted={Inserted}, deleted={Deleted}", JobName, windowBegin, windowEnd, rows.Count, inserted, deleted);
  296. fetched++;
  297. }
  298. windowEnd = monthStart.AddDays(-1); // 이전 달 말일
  299. }
  300. Logger.LogInformation("[{Job}] 유통형태변경 월 윈도우 스윕 완료 — 창=[{Start}~{End}], fetch={Fetched}월", JobName, startDate, today, fetched);
  301. return true;
  302. }
  303. /// <summary>e) 비상장 유통 전 캘린더일 스윕(최신→과거) — STD_DT 만으로 그날 전체 종목 반환. 미적재일만. 예산 소진 시 false.</summary>
  304. private async Task<bool> SweepUnlistedAsync(IAppDbContext db, HttpClient client, AppSettings.SeibroSection cfg, DateOnly startDate, DateOnly today, CancellationToken ct)
  305. {
  306. var fetched = 0;
  307. var first = true;
  308. for (var day = today; day >= startDate; day = day.AddDays(-1))
  309. {
  310. ct.ThrowIfCancellationRequested();
  311. // 데이터 존재 OR 조회완료 마커 → 스킵 (유통 없는 날도 재조회 회피, 리뷰 결함 #1)
  312. if (await db.UnlistedCirculation.AsNoTracking().AnyAsync(c => c.StdDt == day, ct) || await SeibroMarkers.IsSweptAsync(db, UnlistedJobKey, day, null, ct))
  313. {
  314. continue;
  315. }
  316. if (!quota.TryConsume(SeibroCategory.Stock, 1, cfg.StockBudget))
  317. {
  318. Logger.LogWarning("[{Job}] 주식 예산({Budget}) 소진 — getUnlistCirclInfo {Day} 부터 중단", JobName, cfg.StockBudget, day);
  319. return false;
  320. }
  321. if (!first && cfg.DelayMs > 0)
  322. {
  323. await Task.Delay(cfg.DelayMs, ct);
  324. }
  325. first = false;
  326. var xml = await SeibroHttp.GetStringWithRetryAsync(client, cfg.BaseUrl, cfg.ApiKey, "getUnlistCirclInfo", [new("STD_DT", day.ToString("yyyyMMdd"))], Logger, ct);
  327. var rows = SeibroUnlistCirclParser.Parse(SeibroXml.Parse(xml));
  328. var (inserted, updated) = await SeibroSupplyImport.UpsertUnlistedAsync(db, day, rows, ct);
  329. await SeibroMarkers.MarkSweptAsync(db, UnlistedJobKey, day, null, ct); // 0행 포함 조회완료 기록
  330. Logger.LogInformation("[{Job}] getUnlistCirclInfo {Day} rows={Rows} — inserted={Inserted}, updated={Updated}", JobName, day, rows.Count, inserted, updated);
  331. fetched++;
  332. }
  333. Logger.LogInformation("[{Job}] 비상장 유통 스윕 완료 — 창=[{Start}~{End}], fetch={Fetched}일", JobName, startDate, today, fetched);
  334. return true;
  335. }
  336. }