데이터 파이프라인부터 학습 커널까지 한 연구자가 처음부터 만든 두 개의 언어 모델: Praxis(총 파라미터 2.94B, 패스당 활성화 0.46B)와 Logos(총 파라미터 10.23B, 패스당 활성화 1.18B). 두 모델 모두 Mamba-2와 어텐션을 혼합한 MoE 구조를 사용하며, 각 토큰에 대해 동일한 가중치로 전체 네트워크를 두 번 실행합니다(‘두 번 보기’). 각각 1.02T개의 토큰으로 학습되었으며, 컨텍스트 길이는 131,072입니다. 보고서 후반부에서는 발생한 오류들을 구체적으로 다루고 있습니다: 설정된 옵티마이저가 실제로 적용되지 않았던 점, n-gram 메모리 모듈이 스스로 비활성화되는 법을 배운 점, 다섯 가지 미세 조정 선택으로 인해 성능이 저하된 점, 그리고 그룹 내 평균 정규화 시 길이 보상 함수가 ‘길게 쓴 정답’을 페널티로 부과하는 문제입니다. 저자는 이에 대한 증명과 한 줄짜리 절단(truncation) 수정 사항을 제시합니다.
좋아요 4 · 코드 스타 수 0
이유
- 명확한 효율성 지향: 저자는 학습 데이터가 유사 공개 모델 중앙값의 약 1/12 수준이며, 토큰당 활성화 파라미터 수가 적어 데이터 양과 컴퓨팅 자원 두 가지 파레토 프론트(front)에 위치한다고 주장합니다. 수학 랭킹에서는 30개 모델 중 2위를 차지했습니다(AIME 2025 67.50%).
- 즉시 사용 가능: Apache-2.0 라이선스의 가중치가 Hugging Face에 공개되어 있으며, FP8, NVFP4, GGUF, MLX 4/8bit 버전도 제공됩니다. 저자가 직접 작성한 추론 엔진 Dromos(Apache-2.0)는 NVIDIA, Apple 칩 및 CPU를 지원하며 OpenAI 호환 인터페이스를 제공합니다.
- 실패 기록의 참고 가치: 그룹 내 통과율이 2/3을 초과할 때 길이 보상 함수의 부호가 반전되는 문제는 강화 학습 기반 추론 훈련을 하는 사람들에게 직접 점검해 볼 수 있는 함정입니다.
사용법
- 가장 빠른 방법: curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh를 실행한 후, dromos run logos:fp8로 터미널에서 대화하거나 dromos serve logos:fp8로 OpenAI 호환 인터페이스(포트 8080)를 열 수 있습니다. dromos doctor 명령어로本机에서 실행 가능한 형식을 확인할 수 있습니다.
- GPU 사양에 따른 형식 선택(모델 카드 기준): 32GB 이상은 BF16, 16/24GB는 FP8, 8/12GB는 NVFP4(Dromos에서만 읽기 가능), Mac은 MLX, CPU/노트북은 GGUF Q4_K_M(llama.cpp)을 사용합니다.
- Transformers 사용 시: AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True)를 호출하며, transformers 4.57 이상 버전이 필요합니다. 사고 모드(thinking mode)에서는 temperature 0.8, repetition_penalty 1.05를 권장하며, 0.6 미만으로 설정하지 마십시오.
리스크
- 저자는 코드 생성, 지시문 준수 및 긴 컨텍스트 처리 능력이 상대적으로 약하다고 명시했습니다. 40개 벤치마크 평균 점수는 비교군인 17개 모델 중 7위이며, Qwen3-4B와 1점 이내의 차이를 보입니다.
- Dromos의 vLLM 대비 디코딩 속도 향상 수치는 저자가 단일 RTX 5070 Ti에서 테스트한 결과입니다. trust_remote_code 옵션이 필요하며, llama.cpp / Ollama 환경에서는 모델 카드에 따라 반복 페널티 윈도우를 조정해야 합니다. 그렇지 않으면 사고 모드에서 무한 루프에 빠질 수 있습니다.
- 개인 프로젝트이며, 벤치마크는 저자가 동일한 평가 프레임워크 내에서 자체 측정한 것으로 제3자에 의한 재현 검증이 없습니다.
열기 · 코드 · Hugging Face 논문 페이지