你的报错是 flashinfer 在 T4(算力 7.5)上调用 isdigit () 时类型错误导致的,这是 flashinfer 的已知 bug,T4 也不支持 FlashAttention v2。 vLLM 理论上会自动切换到 FlexAttention,但如果 MinerU 启用了 custom logits processors,还是会触发 flashinfer 路径,导致报错。
Customer stories Events & webinars Ebooks & reports Business insights GitHub Skills ...
Some results have been hidden because they may be inaccessible to you
Show inaccessible results