KLM 1.6: небольшая базовая модель с менее чем 100 млн параметров

Базовая английская модель MinimaLabs с 99 млн параметров, обученная с продолжения с чекпоинта KLM 1.5 перед затуханием; единственное основное изменение — увеличение длительности этапа затухания скорости обучения с 20 млрд токенов до 100 млрд токенов. Обучение состоит из трёх этапов: сначала прогрев с помощью обучения на суперпозиции токенов (Token-Superposition Training, где каждая позиция входа представляет собой среднее значение 7 последовательных токенов), авторы утверждают, что для покрытия 128 млрд токенов использовано около 18 млрд вычислительных единиц; затем обучение с постоянной скоростью обучения на 80 млрд токенов; наконец, затухание на 100 млрд токенов. Архитектура представляет собой смесь из 24 слоёв Gated DeltaNet-2 и внимания 3:1, а также n-gram памяти, содержащей 12.5 тысяч биграмм и 3.8 тысяч триграмм. Авторы сообщают об индексе интеллекта 33.95 в рейтинге Open SLM, занимая первое место в трёх категориях: до 100 млн, до 150 млн и до 250 млн параметров.

Оригинальное название: MinimaLabs/KLM-1.6

Базовая английская модель MinimaLabs с 99 млн параметров, обученная с продолжения с чекпоинта KLM 1.5 перед затуханием; единственное основное изменение — увеличение длительности этапа затухания скорости обучения с 20 млрд токенов до 100 млрд токенов. Обучение состоит из трёх этапов: сначала прогрев с помощью обучения на суперпозиции токенов (Token-Superposition Training, где каждая позиция входа представляет собой среднее значение 7 последовательных токенов), авторы утверждают, что для покрытия 128 млрд токенов использовано около 18 млрд вычислительных единиц; затем обучение с постоянной скоростью обучения на 80 млрд токенов; наконец, затухание на 100 млрд токенов. Архитектура представляет собой смесь из 24 слоёв Gated DeltaNet-2 и внимания 3:1, а также n-gram памяти, содержащей 12.5 тысяч биграмм и 3.8 тысяч триграмм. Авторы сообщают об индексе интеллекта 33.95 в рейтинге Open SLM, занимая первое место в трёх категориях: до 100 млн, до 150 млн и до 250 млн параметров.

Почему это важно Пример рецепта обучения для моделей с менее чем 100 млн параметров: прогрев с суперпозицией токенов, гибридная архитектура с линейным вниманием и n-gram память описаны в карточке модели

Рост рейтинга: 51 · Лайки: 51 · Загрузки: 666

Причины

  • Источники данных для обучения, трёхэтапное обучение, настройки оптимизатора и параметры архитектуры полностью описаны в карточке модели, что облегчает воспроизведение обучения малых моделей
  • Реализация на чистом PyTorch, требуется только библиотека transformers, можно запускать даже на CPU

Использование

  • Загрузка и генерация текста с помощью AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True)
  • Это базовая модель; для диалога или рассуждений требуется собственная дообучение; в токенизаторе уже зарезервированы специальные символы, такие как <|im_start|> и <think>

Риски

  • Поддерживается только английский язык, контекстное окно составляет 2,048 токенов; авторы отмечают слабые знания и частые фактические ошибки
  • Безопасное выравнивание не проводилось; перед использованием конечными пользователями необходимо самостоятельно добавить фильтры
  • Сравнение в рейтинге приведено со слов авторов, в данном обзоре не проверялось

Открыть

Hugging Face Trending

Открыть последние новости ИИ