（リポジトリ概要）最先端のMoEモデル向け階層型推論エンジン：ホットなエキスパートはGPU（CUDA、Vulkan）で、ウォームなものはRAMで、コールドなものはNVMeからストリーミング。C言語で記述され、既存のハードウェアで動作する。
スター数 47253（+802 / 24時間）
理由
- 24 時間で新たに 802 スター増加、合計スター数 47253（注目度のみを示す）。
使い方
- 使い方はリポジトリのREADMEを参照。
リスク
- 自動生成の初稿：編集者によるレビュー未実施。
JustVugg/colibri
（リポジトリ概要）最先端のMoEモデル向け階層型推論エンジン：ホットなエキスパートはGPU（CUDA、Vulkan）で、ウォームなものはRAMで、コールドなものはNVMeからストリーミング。C言語で記述され、既存のハードウェアで動作する。