clawhub
@alexhegit
公开技能 2 个
在 AMD ROCm 上用 Docker Compose 自动部署 vLLM 推理服务并测试、生成…
基于llama.cpp的基准测试工具,针对GGUF模型做prompt处理、token生成性能测试,支持多后端。