一些编译脚本

一些编译脚本

1.MNN的LLM模块

• (1) 编译

>> mkdir build && cd build
>> cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true         \
-DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true -DMNN_SEP_BUILD=OFF \
-DMNN_BUILD_CONVERTER=ON -DCMAKE_INSTALL_PREFIX=.
>> make -j 16
>> make install

• (2) 运行

>> ./llm_demo ~/workspace/TTSMNN/Qwen2.5-1.5B-Instruct-MNN/config.json
The device supports: i8sdot:0, fp16:0, i8mm: 0, sve2: 0, sme2: 0
config path is /home/mirror/workspace/TTSMNN/Qwen2.5-1.5B-Instruct-MNN/config.json
main, 258, cost time: 3705.927002 ms
Prepare for tuning opt Begin
Prepare for tuning opt End
main, 262, cost time: 211.410995 ms

User: 你好

A: 你好！有什么我可以帮助你的吗？

User: 你有什么用？

A: 我可以提供各种信息和解答各种问题。如果你需要了解一些特定的信息或有具体的问题，可以直接问我，我会尽力帮助你。

User:  你是什么大模型？

A: 我是来自阿里巴巴集团的大规模语言模型，我们叫它通义千问。我是基于通义千问的超大规模语言模型，可以回答各种问题、写邮件、写故事、写小说、写情书、写剧本，还可以给你写情书，也可以写情书给对方，还可以写情书给未来。

User:

参考资料

• [1] MNN