Skip to content

vllm部署aiXcoder #39

@hcbr

Description

@hcbr

假设我用vllm启动了aiXcoder。需要传递prompt去生成代码。
我依据input_wrapper构造了prompt:

Image

但是input_ids会多一个25558 导致结果不对。(跟input_wrapper中的pad_len对应,但是不理解为什么只对later_code做)。
怎么能避免这个情况。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions