Оригинальное название: MinimaLabs/KLM-1.6
Базовая английская модель MinimaLabs с 99 млн параметров, обученная с продолжения с чекпоинта KLM 1.5 перед затуханием; единственное основное изменение — увеличение длительности этапа затухания скорости обучения с 20 млрд токенов до 100 млрд токенов. Обучение состоит из трёх этапов: сначала прогрев с помощью обучения на суперпозиции токенов (Token-Superposition Training, где каждая позиция входа представляет собой среднее значение 7 последовательных токенов), авторы утверждают, что для покрытия 128 млрд токенов использовано около 18 млрд вычислительных единиц; затем обучение с постоянной скоростью обучения на 80 млрд токенов; наконец, затухание на 100 млрд токенов. Архитектура представляет собой смесь из 24 слоёв Gated DeltaNet-2 и внимания 3:1, а также n-gram памяти, содержащей 12.5 тысяч биграмм и 3.8 тысяч триграмм. Авторы сообщают об индексе интеллекта 33.95 в рейтинге Open SLM, занимая первое место в трёх категориях: до 100 млн, до 150 млн и до 250 млн параметров.
Почему это важно Пример рецепта обучения для моделей с менее чем 100 млн параметров: прогрев с суперпозицией токенов, гибридная архитектура с линейным вниманием и n-gram память описаны в карточке модели
Рост рейтинга: 51 · Лайки: 51 · Загрузки: 666
Причины
- Источники данных для обучения, трёхэтапное обучение, настройки оптимизатора и параметры архитектуры полностью описаны в карточке модели, что облегчает воспроизведение обучения малых моделей
- Реализация на чистом PyTorch, требуется только библиотека transformers, можно запускать даже на CPU
Использование
- Загрузка и генерация текста с помощью AutoModelForCausalLM.from_pretrained("MinimaLabs/KLM-1.6", trust_remote_code=True)
- Это базовая модель; для диалога или рассуждений требуется собственная дообучение; в токенизаторе уже зарезервированы специальные символы, такие как <|im_start|> и <think>
Риски
- Поддерживается только английский язык, контекстное окно составляет 2,048 токенов; авторы отмечают слабые знания и частые фактические ошибки
- Безопасное выравнивание не проводилось; перед использованием конечными пользователями необходимо самостоятельно добавить фильтры
- Сравнение в рейтинге приведено со слов авторов, в данном обзоре не проверялось