We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
There was an error while loading. Please reload this page.
1 parent 55e8404 commit 776366fCopy full SHA for 776366f
README_CN.md
@@ -131,7 +131,13 @@ MAX_JOBS=8 python setup.py install
131
torchrun --nproc_per_node 1 sess_megatron.py --model-dir "path/to/model_weights_dir"
132
```
133
134
-将 "path/to/model_weights_dir"替换为您下载模型权重后的本地地址。
+将 "path/to/model_weights_dir" 替换为您下载模型权重后的本地地址。
135
+
136
+或者通过 huggingface 的 transformers 库进行推理测试:
137
138
+```bash
139
+python sess_huggingface.py
140
+```
141
142
#### Python 脚本
143
@@ -302,7 +308,7 @@ class MyClass(object):
302
308
303
309
训练配置:
304
310
- 70% 为结构化 FIM (Fill in the middle)训练任务,30% 为自回归语言模型任务;
305
-- BFlot 16 数据类型
311
+- BFloat 16 数据类型
306
312
- AdamW 优化器,学习率最大1e-5,最小 1e-6,采用余弦衰减
307
313
- 预训练长度为 32,768
314
0 commit comments