Vaibhaav-Tiwari/deepseek-v3-jax

이 저장소는 Flax, Equinox 또는 PyTorch에 의존하지 않으며, 매개변수는 일반 사전(dictionary) 형태이고 모델 전체가 deepseek_v3.py 파일 안에 구현되어 있습니다. MLA는 각 토큰당 작은 잠재 벡터 하나만 캐싱하며, DeepSeekMoE는 1개의 공유 전문가와 16개의 라우팅된 전문가로 구성되고 전문가 편향(bias)을 기반으로 부하 분산을 수행합니다. 또한 다중 토큰 예측 모듈이 포함되어 있습니다. 저자는 퍼블릭 도메인 추리 소설을 사용하여 총 3620만 개 매개변수(토큰당 활성화 1360만 개)를 가진 모델을 훈련했으며, M5 MacBook Air에서 약 2.6시간 동안 실행했습니다. 부하 분산 편향을 끄고 켰을 때 검증 손실은 거의 동일했지만 전문가 부하가 눈에 띄게 더 균일해졌으며, 이는 논문에서의 설명과 일치합니다.

이 저장소는 Flax, Equinox 또는 PyTorch에 의존하지 않으며, 매개변수는 일반 사전(dictionary) 형태이고 모델 전체가 deepseek_v3.py 파일 안에 구현되어 있습니다. MLA는 각 토큰당 작은 잠재 벡터 하나만 캐싱하며, DeepSeekMoE는 1개의 공유 전문가와 16개의 라우팅된 전문가로 구성되고 전문가 편향(bias)을 기반으로 부하 분산을 수행합니다. 또한 다중 토큰 예측 모듈이 포함되어 있습니다. 저자는 퍼블릭 도메인 추리 소설을 사용하여 총 3620만 개 매개변수(토큰당 활성화 1360만 개)를 가진 모델을 훈련했으며, M5 MacBook Air에서 약 2.6시간 동안 실행했습니다. 부하 분산 편향을 끄고 켰을 때 검증 손실은 거의 동일했지만 전문가 부하가 눈에 띄게 더 균일해졌으며, 이는 논문에서의 설명과 일치합니다.

왜 중요한가 논문에서 언급된 잠재 주의(attention), 혼합 전문가(MoE), 보조 손실 없는 부하 분산, 다중 토큰 예측은 각각 하나의 함수로 대응되며, 위에서 아래로 읽으면 V3의 구조를 이해할 수 있습니다.

스타 수 102

이유

  • 저장소는 11월 13일에 생성되었으며 MIT 라이선스를 적용합니다. README를 확인했으며, 단락별 해설이 포함된 긴 문서와 재현 가능한 데이터 해시를 제공합니다.
  • 저자는 이것이 아키텍처 데모일 뿐 실제 사용 가능한 언어 모델이 아니라고 명시하며, 구현되지 않은 부분(FP8 훈련, DualPipe, YaRN 등)을 나열했습니다.

사용법

  • Apple Silicon Mac, Python 3.12, uv가 필요합니다. 클론 후 README에 따라 고정된 버전의 의존성을 설치하고, prepare_data.py를 실행해 데이터를 준비한 뒤 train.py로 훈련합니다. Mac이 없는 경우 'Running on CPU' 섹션을 참고하여 CPU에서 실행할 수 있습니다.

리스크

  • 공개된 체크포인트는 Python pickle 파일이며, 로드 시 코드가 실행될 수 있으므로 저자는 신뢰할 수 있는 출처의 파일만 로드하도록 경고합니다.
  • 훈련 결과 수치는 저자의 단일 실행에서 나온 것입니다.

열기

GitHub

최신 AI 소식 보기