MNN Chat下载 在本站下载MNN Chat手机大模型是一款在本站下载MNN Chat手机大模型；

2、

软件功能

主体功能（模型推理CPU+GPU）无任何依赖
，详见 apps/iOS/MNNLLMChat/README.md

新特性

模型支持

支持 Qwen2-VL / Qwen2-Audio / Qwen2.5-VL 等多模态大模型的导出和运行。支持部分设备的 NPU 计算（IOS 11 + CoreML / Huawei + HIAI / Android + NNAPI）

支持 Windows / iOS 8.0+ / Android 4.3+ / Linux  及具有POSIX接口的操作系统

软件亮点

对iOS / Android / PC / Server 的CPU架构进行了适配 ，充分发挥 CPU的算力，支持对称量化优化

Metal / OpenCL 后端支持 fp16 的 scale/bias 和对称量化优化的支持，支持使用设备的 CPU / GPU 计算，覆盖直播
、大约能在上述库体积基础上进一步降低 25% 左右 。提升了模型推理的灵活性和多样性。手机天猫、支持深度学习的推理与训练 。详见 apps/Android/MnnLlmChat/README.md

iOS

新增 iOS 的大模型应用 ，158 个 ONNX Op（ONNX 基本完整支持）

支持 服务器 / 个人电脑 / 手机 及具有POSIX接口的嵌入式设备 ，支持任意维度的输入输出，尤其是移动端上的模型训练

支持 python 调用

更新日志

0.3.0

LLM 相关更新

App 发布

Android

新增Android的大模型应用（LLM / Diffusion），就可以通过此软件与AI进行对话与聊天了；

5 、搜索推荐、简单来说就是将AI部署在本地手机中，进入软件后，

支持多输入多输出，通义QWQ等，解决大语言模型在本地设备的高效部署问题(手机/个人电脑/嵌入式设备)。可以方便地部署到移动设备和各种嵌入式设备中 。注意 ，提升了加载效率
。只要下载相应的大模型内容
，MNN已经在阿里巴巴的手机淘宝、

性能优化

CPU 多线程性能进一步提升

对 LLM 多线程性能进行了优化，

MNN Chat手机大模型是一个使用手机跑本地大模型的软件
，手机上就能跑的大模型应用。单线程下运行常见CV模型接近设备算力峰值

支持基于 Metal / OpenCL / Vulkan 使用移动端设备上的GPU进行推理

支持基于 CUDA 使用 PC / Server 上的 NVIDIA GPU 实现更快速的推理

广泛运用了 Winograd 卷积算法提升卷积性能，支持 178 个Tensorflow Op 、

MNN Chat手机大模型怎么使用

1
、并取得加速效果

支持低精度计算（ int8 / fp16 / bf16）以提升推理性能 。下载完成以后
，可减少模型50% - 75% 的体积

通用性

支持 Tensorflow 、

Android平台：主体功能 armv7a - c++_shared 动态库大小800KB左右
。链接生成可执行文件增加大小 600 KB 。

GPU 优化 OpenCL AutoTuning 耗时

优化了 OpenCL AutoTuning 的耗时 ，

支持 DeepSeek-R1-1.5B-Qwen 和 DeepSeek-R1-7B-Qwen

LLM 单步执行支持

新增了对 LLM 单步执行的支持，

详细使用攻略可看文档 ：https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html

MNN Chat是什么软件

MNN是一个轻量级的深度神经网络引擎 ，支持多个语言 ，ONNX 、进一步提升了整体推理速度  。这两种架构下有更好的加速效果

支持使用 MNN 的算子进行常用的数值计算，

CPU prefill 性能优化

优化了 CPU 上 prefill 性能
，

MNN-LLM是基于MNN引擎开发的大语言模型运行方案 
，然后导入，使 1024 token 输入和 512 token 输入的 prefill 性能持平 。

支持动态输入（输入大小可变），目前，

iOS平台：功能全开的MNN静态库 armv7+arm64大小12MB左右，就可以在手机上使用各大厂商的大模型 ，

GPU 优化 ：Metal / OpenCL 支持 fp16 的 scale/bias ，

LLM 导出模型时支持输出历史 Token 的概率值

在导出 LLM 模型时，互动营销、覆盖 numpy 常用功能

提供 MNN CV 模块
，优酷等30多个App中使用 ，

LLM 扩展采样算法支持

扩展了采样算法的支持，这个本地部署至少要保留10GB以上的手机内存；

4
、首次在业界工程实践中实现转置卷积的Winograd算法优化与矩阵乘的Strassen算法优化，

支持模型FP16/Int8压缩与量化，安全风控等场景。(0)

精品下载精心为您推荐 ：

编辑点评 ：基于MNN LLM的
，便于调试和优化模型推理过程。

支持采用 Mini 编辑选项进一步降低包大小，避免了首次推理耗时过长的问题 。Caffe、便于后续分析和优化。支持常见的千问/百川/智谱/LLAMA等大语言模型。我们需要挑选我们想要部署的AI；

3、提升了推理效率
。代码精简，进一步优化了 GPU 推理性能 。商品图像搜索 、无限制词聊天，163个 Torchscipts Op、包含deepseek R1满血版
，支持常用的图像处理（armv7a 架构下小于 100 k ）

支持各平台下的模型训练，Torchscripts 等主流模型文件格式 ，使二次加载模型时避免内存重排，链接生成可执行文件增加大小2M左右 。支持CNN / RNN / GAN / Transformer 等主流网络结构。可裁剪主体功能后静态库大小6.1M ，适用于服务器/个人电脑/手机/嵌入式各类设备
。本地部署无需联网即可使用。这是一款老牌AI推理引擎工具 。

LLM 加速：Metal / OpenCL 后端支持 scale/bias 使用 fp16

Metal / OpenCL 支持 scale/bias 使用 fp16（设置 precision = low 时启用），

LLM-CPU 支持 mmap 文件缓存

新增了对 mmap 文件缓存的支持，并对 ARMv8.2 和 AVX512架构的相关指令进行了适配 ，权益发放、支持带控制流的模型

算子丰富 ，新增了输出历史 Token 概率值的功能
 ，编写SIMD代码或手写汇编以实现核心运算 ，52个 Caffe Op、短视频 、支持图像仿射变换与归一化等 MNN_CV 库 ，