评测效率和硬件资源占用

[Huyueeer]

我的配置信息是：

python run.py --datasets CLUE_afqmc_gen \
--hf-path /home/jovyan/work/llama-2-13b-chat-hf \
--tokenizer-path /home/jovyan/work/llama-2-13b-chat-hf \
--model-kwargs device_map='auto' trust_remote_code=True \
--tokenizer-kwargs padding_side='left' truncation='left' use_fast=False trust_remote_code=True \
--max-out-len 2048 \
--max-seq-len 2048 \
--batch-size 4 \
--no-batch-padding \
--num-gpus 2 \
--debug

我的硬件资源是两张 Tesla P100-PCIE-16GB;
我比较好奇的是采用以上配置以后，我的GPU使用率始终是40%-50%这样，并没有很大的提升到80%，甚至100%，是哪个环节出现问题了么？感觉这样效率很低