Skip to content

Latest commit

 

History

History

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 

README.md

代码评估

本文档将向您完整地介绍codeshell的代码评估过程,该评估脚本都是基于bigcode-evaluation-harness

开始步骤

首先,复制bigcode-evaluation-harness仓库并导航至所在的文件夹内:

git clone https://github.com/bigcode-project/bigcode-evaluation-harness.git
cd bigcode-evaluation-harness

接下来,依照您设备的规格,安装PyTorch,然后运行以下命令安装剩余的依赖:

pip install -e .

要使用评估脚本生成和评估任务,请按下述样例进行。确保您位于正确的目录中(codeshell/evaluation),然后依次执行两个 run_eval.sh 命令:

cd codeshell/evaluation
./run_eval.sh local_gen humaneval $model_name_or_path $save_folder
./run_eval.sh eval humaneval $model_name_or_path $save_folder