INT4 量子化を使って Llama 4 Scout を NVIDIA H100 1 枚で動かす

uv venv -p 3.11
. .venv/bin/activate
uv pip install llama-stack

llama download --source meta --model-id Llama-4-Scout-17B-16E-Instruct --meta-url <ダウンロードリンク>

git clone git@github.com:meta-llama/llama-models.git
cd llama-models
pip install .[torch]

#!/bin/bash

NGPUS=4
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS

MODE=fp8_mixed  # or int4_mixed
if [ $MODE == "fp8_mixed" ]; then
  NGPUS=2
else
  NGPUS=1
fi
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS \
  --quantization-mode $MODE

# 利用する GPU を指定する
export CUDA_VISIBLE_DEVICES=0
NGPUS=1

# コンテキスト長を指定する
SEQ_LEN=10000

# 同じマシンの別の GPU でも実行する場合は torchrun のポートを個別に指定する
MASTER_PORT=29004

# INT4 量子化で推論を実行する
MODE=int4_mixed
CHECKPOINT_DIR=~/.llama/checkpoints/Llama-4-Scout-17B-16E-Instruct
PYTHONPATH=$(git rev-parse --show-toplevel) \
  torchrun --nproc_per_node=$NGPUS --master-port $MASTER_PORT \
  -m models.llama4.scripts.chat_completion $CHECKPOINT_DIR \
  --world_size $NGPUS \
  --quantization-mode $MODE \
  --max-seq-len $SEQ_LEN