Dockerfile.spyre

# Global Args #################################################################
ARG BASE_UBI_IMAGE_TAG=9.4
ARG PYTHON_VERSION=3.12

# Base Layer ##################################################################
FROM registry.access.redhat.com/ubi9/ubi-minimal:${BASE_UBI_IMAGE_TAG} AS base
ARG PYTHON_VERSION
ENV PYTHON_VERSION=${PYTHON_VERSION}
WORKDIR /workspace

# Install some basic utilities ##################################################################
RUN microdnf update -y && microdnf install -y \
    python${PYTHON_VERSION}-devel python${PYTHON_VERSION}-pip python${PYTHON_VERSION}-wheel git vim gcc g++ kmod\
    && microdnf clean all
RUN ln -sf $(which python${PYTHON_VERSION}) /usr/bin/python && \
    ln -sf $(which pip${PYTHON_VERSION}) /usr/bin/pip

# Download and install vllm ###########################################################
RUN pip install vllm==0.7.3

# Install vllm Spyre plugin ##################################################################
RUN mkdir /workspace/vllm-spyre
COPY . /workspace/vllm-spyre
RUN cd /workspace/vllm-spyre && pip install --no-build-isolation -v -e .
ENV VLLM_PLUGINS=spyre

CMD ["/bin/bash"]