Skip to content

SenseVoiceSmall模型导出onnx格式之后GPU版运行特别慢 #2707

@moro0v0

Description

@moro0v0

我测试了导出的量化INT8的SenseVoiceSmall产生的onnx模型直接拿cpu和gpu去预测一个语音模型,观察到语音模型在使用cpu第一次只要1s多第二次只要0.1s。然后使用gpu反而更忙了第一次20s,第二次1s。这是什么问题

Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    questionFurther information is requested

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions