jingyaogong/minimind

MiniMind는 약 64M 매개변수를 가진 초소형 언어 모델의 전체 학습 파이프라인을 오픈소스로 공개했습니다. 데이터 클리닝, 사전 학습, 지도 미세 조정(SFT), LoRA, DPO, PPO / GRPO / CISPO, 도구 호출, 다중 턴 에이전트 강화 학습 및 증류가 포함되며, MoE 버전과 비전, 멀티모달 확장 기능도 제공합니다. 저자는 SFT 단계에서 단일 3090으로 한 에포크를 약 2시간에 실행할 수 있다고 언급했습니다. 가중치는 Hugging Face와 ModelScope(마따)에 게시되어 있으며, 온라인으로 체험할 수 있습니다.

MiniMind는 약 64M 매개변수를 가진 초소형 언어 모델의 전체 학습 파이프라인을 오픈소스로 공개했습니다. 데이터 클리닝, 사전 학습, 지도 미세 조정(SFT), LoRA, DPO, PPO / GRPO / CISPO, 도구 호출, 다중 턴 에이전트 강화 학습 및 증류가 포함되며, MoE 버전과 비전, 멀티모달 확장 기능도 제공합니다. 저자는 SFT 단계에서 단일 3090으로 한 에포크를 약 2시간에 실행할 수 있다고 언급했습니다. 가중치는 Hugging Face와 ModelScope(마따)에 게시되어 있으며, 온라인으로 체험할 수 있습니다.

왜 중요한가 핵심 알고리즘은 transformers, trl, peft의 고수준 인터페이스에 의존하지 않고 네이티브 PyTorch로 처음부터 작성되어, 대규모 모델 학습의 각 단계를 세부적으로 이해하는 데 적합합니다.

스타 수 65991 (+192 / 24h)

이유

  • 24시간 동안 스타 192개 증가, 총 스타 수 65991개, Trendshift와 GitHub Trending에서 당일 순위 14위(관심도만 반영); Apache-2.0 라이선스
  • README의 변경 로그에 따르면 4월에 minimind-3 시리즈가 출시되었고, 3월에 다중 턴 Tool-Use 강화 학습 스크립트가 추가되었습니다

사용법

  • README에 따라 데이터셋을 준비하고, 사전 학습, SFT 등 학습 스크립트를 순서대로 실행하세요. 체험만 원한다면 ModelScope(마따)의 온라인 데모를 바로 사용할 수 있습니다

리스크

  • 이는 교육용 소형 모델로, 범용 대규모 모델의 성능에는 미치지 못합니다. 저장소는 2024년에 생성되었으며, 최근 몇 달간 새로운 주요 버전이 없습니다
  • README에는 모든 실험 브랜치의 가중치가 지속적으로 유지보수되는 것은 아니라고 명시되어 있습니다

열기

Trendshift(GitHub Trending 快照)

최신 AI 소식 보기