zhangnengwei123vLLM-docker-Qwen2 学习vLLM，使用vLLM部署Qwen2-0.5B的模型，并使用docker部署。
vLLM 学习vLLM，使用vLLM部署Qwen2-0.5B的模型，并使用docker部署。 https://docs.vllm.ai/en/latest/serving/deploying_with_docker.html https://www.modelscope.cn/models/qwen/Qwen2-0.5B-Instruct-GPTQ-Int4 https://github.com/QwenLM/Qwen2?tab=readme-ov-file https://huggingface.co/Qwen/Qwen2-0.5B-Instruct-GPTQ-Int4 环境 python 3.8 cuda 12.5 pytorch #与cuda匹配的版本,这里选择与12.1的cuda匹配 transformers>=4.40.0 安装cuda…
Read More