SionicAI Pre-training Project
종합 기술 리포트

Core 모델 아키텍처

GDN-MoE 하이브리드 아키텍처

30B-A3B 급 Grouped DeltaNet (GDN) 하이브리드 구조를 채택했다. 전체 40개 레이어 중 75%가 GDN 레이어(linear attention), 나머지 25%가 풀 GQA attention으로 구성된다. 3:1 비율은 Kimi Linear, OLMo Hybrid, Qwen3-Next/3.5가 공통으로 수렴한 비율이며, 내부 92개 아키텍처 블록서치(0.2B 프록시)와 문헌 적대검증(3-0/2-1)을 모두 통과했다.

MoE 레이어는 256개 라우티드 전문가 + 1개 공유 전문가, top-8 라우팅을 사용한다. 비교하면 Qwen3-30B-A3B는 128 experts/top-8, Kimi K3는 896 experts/top-16, SKT A.X-K2는 256 experts/top-8을 쓰므로 우리 구성은 A.X-K2와 동일한 스케일이다.

아키텍처 결정 매트릭스 (v3, 2026-08-07 확정)

GDN vs Mamba2 — 왜 GDN인가

프록시 실험(1.3B/100B 토큰, 동일 조건)에서 GDN이 Mamba2보다 낮은 perplexity에 도달했다: Wikitext 16.42 vs 16.56, LAMBADA 12.17 vs 12.56, commonsense 평균 55.32 vs 54.89. 체감 "느린 수렴"은 아키텍처가 아니라 커널 성숙도 격차가 원인 — NVIDIA가 Megatron에 Mamba2를 TE+fused kernel+FP8까지 최적화한 반면, GDN은 외부 Triton 기반 FLA 커널에 의존했다.

OLMo Hybrid (arXiv:2604.03444)는 이 결론을 7B 스케일에서 재확인했다: GDN(3:1) > pure GDN > standard Transformer > hybrid Mamba2 > pure Mamba2 순서이며, MMLU에서 49% 적은 토큰으로 OLMo 3 성능에 도달했다. 이는 아키텍처 변경만으로 2배 데이터 효율을 달성한 것이다.

18개 하이브리드 모델 컨텍스트 적용표

내부 문서에서 18개 프로덕션/연구 하이브리드 모델을 대조한 핵심 패턴:

• 256K-1M 설계 목표 모델은 전부 ~25% global (3:1)로 수렴 — Kimi, Qwen3, Solar, OLMo, 비-linear 하이브리드까지 동일
• 장문 설계 = global 층 NoPE — Kimi·Solar·Nemotron·Jamba·K-EXAONE 공통
• Attn 출력 gate는 2025-26 플래그십 전원 채택 — attention sink 완화에 필수
• 실패 사례 경고 — MiniMax M2가 linear→full attn 회귀. 벤치에서는 동률이었으나 스케일에서만 복합 multi-hop 추론 결함 발현

Strategy 학습 전략

멀티스테이지 학습

3단계 WSD (Warmup-Stable-Decay) 스케줄을 사용한다. 1T 지점에서 1.2T 보험 분기 체크포인트를 별도 유지하여, 후반 학습에서 문제 발생 시 되돌아갈 수 있도록 했다.

두 번의 학습 런

Optimizer: Muon vs AdamW

92개 아키텍처 × 150it 블록서치에서 Muon이 AdamW를 압도했다: 동일 조건 1500it에서 final loss 3.08 vs 3.60. 그러나 Muon을 쓰면 SFT도 Muon을 강제해야 하는 제약이 있어, 운영은 AdamW, Muon은 1급 대안으로 유지한다.

• 운영 LR = 6e-4 (주) / 3e-4 (보수) — AdamW hard 절벽 2.4-3.2e-3, 마진 ~4배
• nvfp4 채택 — bf16 ≈ fp8 ≈ nvfp4 품질 동일 + ~19% 빠름
• Kimi K3는 WSD 대신 cosine LR decay를 독립적 스케일링 법칙 탐색 후 채택한 것으로 알려짐

스케일링 법칙 적용

Stepfun Law를 GDN + OLMo 시리즈에 적용한 결과, 배치 보정 후 적절한 최소 loss 범위에 들어왔다. 다만 1B 미만 모델에서는 loss와 downstream 성능 간 상관관계가 거의 없었다 — 구조 검증은 proxy로 하되, 최종 성능은 full-scale에서만 신뢰할 수 있다.

토큰 예산

Data 데이터 파이프라인

코퍼스 현황 (2026-08-25 실물 census)

데이터 믹싱 비율

봉인된 비율 (2026-08-28 확정): ko 20% · math ~3.5% · ja 1-2% · paper 편입. 잔여 축(en/code 배분·품질 티어)은 Gate 2 sweep 후 확정.

3T vs 10T 런 판정

한국어 데이터 처리 (완료)

3단계 dedup: exact hash → MinHash → BFF substring. 10개 벤치마크, 72,721개 문항 대상 decontamination. 정규화 149.91M docs → 최종 148,812,596건 보존 (dedup -918k/0.61%, decontam -190k/0.13%).

데이터 필터링 파이프라인

Raw Web / PDF / Code
  → [1] Extraction / Normalization (HTML boilerplate, Unicode, LangID, PII/NSFW)
  → [2] Heuristic Filtering (length, repetition, n-gram, symbol ratio)
  → [3] Deduplication (exact hash, URL, MinHash+LSH, sub-string)
  → [4] Model-based Quality Scoring (LLM annotation → FastText distillation)
  → [5] Domain-specific (code syntax, math validation)
  → [6] Benchmark Decontamination
  → [7] Final Mixing / Curriculum

Strategy 전략적 비전

Noah(대표)의 핵심 테제

리소스 배분

• B300 32 GPU — 30B-A3B 모델 1-3T 토큰 프리트레이닝
• 4-8 GPU — 데이터 품질 판별 모델
• 8-16 GPU — 강화학습용 증류 모델 추론 / 데이터 생성

모델 공개 전략

파운데이션 자체는 공개하지 않는다 — 벤치마크 비교에서 "조리돌림" 리스크를 회피. 대신 도메인별 RL fine-tuned 모델을 독립 공개한다: 코딩, 제조지식, 금융, 법률. 프리트레이닝 프로세스 자체가 정부/모태펀드의 대량 GPU 조달을 위한 '프롬스크래치' 역량 증명이 핵심 목적.

아키텍처는 보수적으로

연산량/추론 압축 기법은 테크 리포트용으로 한정적으로 수용. TTQ(Test-Time Quantization) 같은 추론 최적화에 집중. RL은 코딩 외 분야에서 어려우므로 RAG + 웹서치 = 에이전트 기반 RL을 고려 — 기존 제품(Storm)과 정렬.

Landscape 동급 모델 비교

30B-A3B는 사실상 산업 표준이 됐다. 128-256 experts, top-6/8, ~10:1 희소성이 공통이며, 순수 Transformer-MoE vs 하이브리드 Mamba 두 계보로 나뉜다. 토큰 예산은 18-36T에 수렴 중.

Critical Kimi K3와의 거리

Kimi K3는 SionicAI의 GDN-MoE와 동일한 아키텍처 계보에서 나온 모델이다. DeltaNet → Gated DeltaNet (GDN) → Kimi Delta Attention (KDA)로 진화한 같은 뿌리이며, 3:1 하이브리드 비율, NoPE, Attention Residuals까지 공유한다. 그러나 스케일이 근본적으로 다르다.

Kimi 모델 패밀리 진화

K3의 2.5× 스케일링 효율

Kimi K3는 K2 대비 약 2.5배의 전체 스케일링 효율 향상을 달성했다고 보고한다. 이 수치는 단순한 컴퓨트 증가가 아니라, 아키텍처 개선(KDA, AttnRes, Stable LatentMoE)과 데이터 레시피 최적화의 결합이다.

• 배치 사이즈, LR, tokens-per-parameter, 모델 형상에 대해 독립적 스케일링 법칙 탐색을 재실행
• WSD와 cosine LR decay를 각각 독립적으로 스케일링 법칙 탐색 후 cosine 채택
• KDA가 1M 토큰에서 6.3배 빠른 디코딩 제공

벤치마크 격차

Kimi K3 아키텍처 상세

• 93 레이어: 69 KDA + 24 Gated MLA (3:1 비율 — 우리와 동일)
• Stable LatentMoE: 896 experts에서 16개 활성화 — FFN 전문가를 down-projection으로 압축하는 Nemotron 3 Ultra 방식
• NoPE 전면 채택: 모든 RoPE 제거, 위치 정보는 KDA의 recurrent decay만으로 전달 — 프론티어 모델 최초
• Attention Residuals: 레이어 간 attention score 기반 연결 — 학습 비용 +4%, 추론 비용 +2%로 일관된 성능 향상
• MXFP4 양자화: inference 효율화 — 우리의 nvfp4 채택과 같은 방향

Context 한국어 LLM 지형

주요 플레이어

정부 GPU 인프라

• ₩1.46T (~$1.1B) — 13,000 고성능 GPU 조달 (2025.07)
• 해남 KOACC — ₩2.4T, 2028년까지 15,000 → 2030년 50,000 GPU
• 국가성장기금 — ₩150T 5개년, AI+반도체에 ~$36B, 직접 투자 $11B
• 주권 AI 파운데이션 모델 프로그램 — ₩530B, 6개월 단위 다윈식 리뷰

비용 현실

$400M ≈ 프론티어 런 1-4회 (GPT-4급 런 $100M+). OpenAI 누적 $180B, Anthropic $59B. 독일 Aleph Alpha는 $500M+도 부족해 Cohere에 흡수됐다. DCLM 연구에 따르면 데이터 품질 최적화만으로 40% 컴퓨팅 절감 가능 — 이 효율은 어떤 베이스 모델 위에서든 복리로 작동한다.

Analysis 리서치 관점의 우려

1. 아키텍처 계보의 역설

SionicAI의 아키텍처 선택은 최신 문헌과 정확히 정렬되어 있다. GDN 3:1, NoPE, MLA, Gated Attention — 모두 2025-26 프론티어 모델이 수렴한 구성이다. 그러나 이것이 역설적으로 우려를 키운다: Kimi K3가 같은 아키텍처 계보에서 이미 프론티어를 찍었다. 아키텍처적 차별화가 불가능한 상황에서, 경쟁력은 순수하게 스케일(컴퓨트 × 데이터 × 팀)의 함수가 된다.

2. 스케일 격차의 현실

3. 학습 효율의 한계

OLMo Hybrid가 아키텍처만으로 2× 데이터 효율을 달성한 것은 고무적이다. 그러나 Kimi K3의 2.5× 효율 향상은 아키텍처 + 대규모 HP 탐색 + 데이터 레시피 최적화의 결합이었다. 32 GPU로는 이 수준의 탐색 자체가 컴퓨트 제약에 걸린다. 0.2B 프록시의 92개 구조 블록서치는 훌륭하지만, Kimi K3 팀이 수행한 규모의 스케일링 법칙 재탐색과는 차원이 다르다.

4. 대안 경로의 검토

Kimi K3, Qwen3, DeepSeek V4의 오픈 웨이트가 존재하는 현재 시점에서, from-scratch 학습이 유일한 경로는 아니다:

• Continued Pre-training (CPT) — 오픈 프론티어 베이스 위에 한국어 + 도메인 데이터를 추가 학습. 컴퓨트 효율이 from-scratch의 수배에서 수십 배.
• Distillation — Kimi K3나 GPT-5.5 등 대형 모델의 지식을 소형 모델로 증류. SionicAI의 OpenGateway가 이미 다수 모델 접근을 제공.
• 도메인 특화 RL — 에이전틱, RAG, 웹서치 기반 강화학습은 기존 Storm 플랫폼과 직접 시너지.

5. 열린 연구 기여 포인트

다만, 내부 문서에서 식별된 "아무도 안 한" 연구 방향이 있다:

• Linear-hybrid × agentic mid-training — 기존 레시피는 전부 dense/MoE Transformer 대상. GDN 하이브리드에서의 에이전틱 mid-train은 공개 선례 0건
• neg-eigenvalue GDN의 30B급 최적화 동역학 — 7B까지만 검증된 상태
• MLA + NSA/DSA + GDN + NoPE 스택의 128K+ parity — 이 조합은 문헌에서 미검증

이 영역에서 신규 실증을 제공할 수 있다면, from-scratch 학습의 연구적 정당성이 강화된다. 그러나 이는 벤치마크 경쟁력과는 별개의 가치이며, 테크 리포트의 기여도로 평가받을 영역이다.