快科技5月13日音信，开导者Stormrage34近日发布llama.cpp分支TurboQuant-HIP v0.3.0版块淮南设备保温施工队，通过重写矩阵乘法内核，收效将AMD RX 6800 XT显卡的MoE大模子预填充速率从上游llama.cpp主分支下的约480 t/s擢升至1770 t/s

该团队恒久珍爱面向AMD GPU度适配的llama.cpp属分支，门针对AMD硬件特化大言语模子理能。

上游官版块llama.cpp此前将AMD GPU行为通用后端适配淮南设备保温施工队，中枢机划内核均针对NVIDIA架构开导，随后获胜移植到AMD后端，在RDNA2架构上存在多数带宽糜掷问题，MoE场景运算受内存带宽收尾。

该团队从HIP底层切入作念针对矫正，新开导的基于BFE的IQ4_XS反量化内核，立入手速率较原有案擢升13倍。

同期淮南设备保温施工队，新增异步活水线提拔逻辑，将内核启动蔓延和运算进程作念访佛惩办，获胜裁汰31的内核启动支拨。

带来MoE场景约4倍能跃升的中枢，管道保温施工是现实LDS双缓冲矩阵乘法内核，竣事权重加载和DP4A筹画并行，大化诈骗硬件算力资源。

当今该中枢化仅开死心动艳丽位启用，仍存在对称瓦片尺寸下的LDS存储体打破问题，致蔓延波动偏暂不适分娩环境，齐全缔造案照旧制定完成。

用户可通过技俩仓库提供的剧本获胜构建测试版块，需修改CMake建树文献，该分支齐全保留上游一开头有。

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。