【亲测解决flash_atten2问题】lib/python3.11/site-packages/flash_attn-2.5.6-py3.11-linux-x86_64.egg/flash_attn

时间:2025-04-26 08:14:16

微信公众号:leetcode_algos_life,代码随想随记
小红书:412408155
****:/woai8339?type=blog ,代码随想随记
GitHub: /riverind
抖音【暂未开始,计划开始】:tian72530,代码随想随记
知乎【暂未开始,计划开始】:happy001

问题

加载大模型跑的时候,出现报错,报错信息如下:

lib/python3.11/site-packages/flash_attn-2.5.6-py3.11-linux-x86_64.egg/flash_attn_2_cuda.cpython-311-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops15sum_IntList_out4callERKNS_6TensorEN3c1016OptionalArrayRefIlEEbSt8optionalINS5_10ScalarTypeEERS2_ (type=value_error)

解决方案

conda activate 环境名
pip uninstall flash-attn
FLASH_ATTENTION_FORCE_BUILD=TRUE pip install flash-attn