[iphone] 手机上运行大模型，AI iPhone要来了？
这项新研究支持有限容量的设备运行内存2倍大小的LLM，GPU的推理速度可以提升数十倍。媒体称，苹果将生成式AI集成到iOS 18的计划或将加快推进。
AI iPhone要来了？
据媒体报道，近日，苹果发布了一篇论文，介绍了一种可以再超出可用DRAM容量的设备上运行LLM（大语言模型）的方法。
通过大幅提高内存使用效率，这项新研究支持有限容量的设备运行内存2倍大小的LLM，GPU的推理速度可以提升数十倍。
论文称，LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战，该论文构建了一个以闪存为基础的推理成本模型，将在两个关键领域进行优化：减少从闪存中传输的数据量、更多更流畅地读取数据块。
这意味着，该项突破性研究扩大了LLM适用性和可及性，苹果将生成式AI集成到iOS 18的计划或将加快推进。
LLM能在手机上运行了？
一般来说，DRAM就是我们常说的“内存”，而flash（闪存）指的是硬盘。
运算数据时，CPU通常会以DRAM为“中间桥梁”，把硬盘中的数据复制到内存中来，再在内存中做数据处理，这样速度可以提升至数百万倍。
但在容量上，DRAM相较于硬盘要小一个数量级。而LLM运行时，需要同时处理的数据量庞大，对容量有限的设备来说构成了极大的挑战。
但这篇论文提出的新框架似乎发现了突破点。该框架旨在将模型参数存储在闪存中，在需要的时候再将数据调入DRAM，解决了LLM运行时数据处理量超过DRAM可用容量的的难题。
具体而言，苹果主要运用了两种技术：
（1）“窗口化”技术：重复使用此前激活过的神经元，以此减少数据传输；
（2）“行列捆绑”技术：针对闪存的数据特征，定制访问数据块的顺序，从而增加从闪存读取的数据块大小。
论文提及，一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数，超过了大多数网络端点的承受能力。但是通过该框架，能够实现最小化数据传输并最大化闪存吞吐量，从而减少数据负载、提高内存使用效率。
研究结果显示，与传统的加载方法相比，该框架支持DRAM两倍大小的模型，在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。研究团队在文末总结道：
“这项突破性技术对于在资源有限的环境中部署先进的LLM尤为重要，从而扩大LLM适用性和可及性。”
[物价飞涨的时候 这样省钱购物很爽]
这条新闻还没有人评论喔，等着您的高见呢
AI iPhone要来了？
据媒体报道，近日，苹果发布了一篇论文，介绍了一种可以再超出可用DRAM容量的设备上运行LLM（大语言模型）的方法。
通过大幅提高内存使用效率，这项新研究支持有限容量的设备运行内存2倍大小的LLM，GPU的推理速度可以提升数十倍。
论文称，LLM密集的计算量和内存要求对于DRAM容量来说是一大挑战，该论文构建了一个以闪存为基础的推理成本模型，将在两个关键领域进行优化：减少从闪存中传输的数据量、更多更流畅地读取数据块。
这意味着，该项突破性研究扩大了LLM适用性和可及性，苹果将生成式AI集成到iOS 18的计划或将加快推进。
LLM能在手机上运行了？
一般来说，DRAM就是我们常说的“内存”，而flash（闪存）指的是硬盘。
运算数据时，CPU通常会以DRAM为“中间桥梁”，把硬盘中的数据复制到内存中来，再在内存中做数据处理，这样速度可以提升至数百万倍。
但在容量上，DRAM相较于硬盘要小一个数量级。而LLM运行时，需要同时处理的数据量庞大，对容量有限的设备来说构成了极大的挑战。
但这篇论文提出的新框架似乎发现了突破点。该框架旨在将模型参数存储在闪存中，在需要的时候再将数据调入DRAM，解决了LLM运行时数据处理量超过DRAM可用容量的的难题。
具体而言，苹果主要运用了两种技术：
（1）“窗口化”技术：重复使用此前激活过的神经元，以此减少数据传输；
（2）“行列捆绑”技术：针对闪存的数据特征，定制访问数据块的顺序，从而增加从闪存读取的数据块大小。
论文提及，一个70亿参数的模型就需要超过14GB的内存来加载半精度浮点格式的参数，超过了大多数网络端点的承受能力。但是通过该框架，能够实现最小化数据传输并最大化闪存吞吐量，从而减少数据负载、提高内存使用效率。
研究结果显示，与传统的加载方法相比，该框架支持DRAM两倍大小的模型，在CPU和GPU中推理速度可分别提升4-5倍、20-25倍。研究团队在文末总结道：
“这项突破性技术对于在资源有限的环境中部署先进的LLM尤为重要，从而扩大LLM适用性和可及性。”
[物价飞涨的时候 这样省钱购物很爽]
| 分享: |
| 注： | 在此页阅读全文 |
| 延伸阅读 | 更多... |
推荐: