用当前项目提供的预加载模型,使用的是CPU机器,生成文本的时间比较长: 比如请求参数:title=晚霞 max_len=100,生成文本用了20s+ 这个时间感觉太长,大伙用模型跑起来后,生成时间大概多长,是否有什么优化之道呢?
用当前项目提供的预加载模型,使用的是CPU机器,生成文本的时间比较长:
比如请求参数:title=晚霞 max_len=100,生成文本用了20s+
这个时间感觉太长,大伙用模型跑起来后,生成时间大概多长,是否有什么优化之道呢?