sybil-solutions/inference-optimisation-skill

inference-optimisation은 단일 사용자 및 동시 디코딩, 추측 디코딩, 프리필, KV 캐시 용량, 시작 시간 및 첫 토큰 지연 시간을 다룹니다. 이 스킬은 에이전트가 먼저 대역폭과 연산 능력을 기준으로 이론적 상한선을 계산한 후, 한 번에 하나의 변수만 변경하고 양쪽 대조군 사이에서 교대로 측정하며, 모든 결과(실패한 경우 포함)를 대장에 기록하도록 요구합니다. 마지막으로 긴 컨텍스트 검색 및 최대 부하 안정성 검사를 통과하고, 깨끗한 고정 버전으로 재검증한 후에만 릴리스합니다. Python 표준 라이브러리와 bash만으로 작성된 벤치마킹, 상한선 계산 및 큐잉 스크립트가 포함되어 있어 OpenAI 호환 서비스라면 어떤 것이든 벤치마킹할 수 있습니다.

inference-optimisation은 단일 사용자 및 동시 디코딩, 추측 디코딩, 프리필, KV 캐시 용량, 시작 시간 및 첫 토큰 지연 시간을 다룹니다. 이 스킬은 에이전트가 먼저 대역폭과 연산 능력을 기준으로 이론적 상한선을 계산한 후, 한 번에 하나의 변수만 변경하고 양쪽 대조군 사이에서 교대로 측정하며, 모든 결과(실패한 경우 포함)를 대장에 기록하도록 요구합니다. 마지막으로 긴 컨텍스트 검색 및 최대 부하 안정성 검사를 통과하고, 깨끗한 고정 버전으로 재검증한 후에만 릴리스합니다. Python 표준 라이브러리와 bash만으로 작성된 벤치마킹, 상한선 계산 및 큐잉 스크립트가 포함되어 있어 OpenAI 호환 서비스라면 어떤 것이든 벤치마킹할 수 있습니다.

왜 중요한가 이 스킬은 저자가 다양한 GPU에서 튜닝한 방식을 규칙으로 문서화했습니다. 한 번에 한 가지만 변경하고, 전후에 대조군을 배치하며, 긴 컨텍스트 검색과 최대 부하 안정성 검사를 통과해야만 유효한 것으로 간주합니다.

스타 수 1114 (+184 / 24h)

이유

  • 24시간 동안 스타 184개 증가, 총 스타 수 1114(관심도만 나타냄); MIT 라이선스, 11월 16일 생성
  • README에는 저자가 Intel Arc B390 내장 그래픽, Arc Pro B70, RTX 3090, H200 GPU 4개에서 튜닝 전후 데이터를 나열하고 원본 로그와 레시피를 링크했습니다.

사용법

  • 저장소의 skills/inference-optimisation을 ~/.claude/skills/에 복사한 후, 에이전트에게 '메모리 상한 40 GiB 내에서 :8000의 모델 디코딩 및 프리필 속도를 향상시켜'라고 지시합니다. 에이전트를 사용하지 않고도 ceiling.py를 실행해 상한선을 계산하고 bench.py로 벤치마킹할 수 있습니다.

리스크

  • 속도 향상 수치는 모두 저자의 하드웨어에서 얻은 결과입니다(저자는 B390의 단일 사용자 디코딩 속도가 43.6에서 53 tok/s로 향상되었다고 주장합니다). 모델, 엔진 또는 GPU가 바뀌면 결과가 달라질 수 있습니다.
  • 튜닝에는 추론 서비스의 반복적인 재시작과 장시간 부하 테스트가 필요하므로, 외부에 서비스를 제공하지 않는 머신에서 수행하는 것이 좋습니다.

열기

GitHub

최신 AI 소식 보기