新闻 
苹果300亿参数大模型首亮相 还买了家AI公司
苹果300亿参数大模型首亮相 还买了家AI公司苹果300亿参数大模型首亮相 还买了家AI公司
放弃造车后的苹果，正在加速入局大模型战争。
当地时间3月15日，苹果就披露了两个关键大模型动作。
其中一个值得关注的是苹果的收购事件。彭博社报道称，苹果已经收购了一家加拿大AI初创公司DarwinAI。
苹果的AI团队一下子扩充了几十个技术人员——作为收购交易的一部分，DarwinAI的几十名员工都被纳入苹果麾下，DarwinAI联合创始人、加拿大滑铁卢大学系统设计工程系教授Alexander Wong加盟苹果，担任AI团队的主管。
此前，DarwinAI的技术主要在视觉模型方向，他们此前主要给制造业提供零部件视觉检测的AI技术，致力于把AI系统打造得更小型和更快速。这符合此前苹果一直对外说的要打造更小的端侧大模型方向。
“买买买”是苹果布局AI的思路之一，此前苹果已经陆续收购了Voysis、Curious AI、 AI Music、WaveOne等初创AI公司，来不断扩充自身的AI实力。
践行收购战略的同时，苹果也在不断加大自研技术的力度。被披露收购DarwinAI的同一时间，苹果低调的在arxiv.org网站上发布论文，官宣了在多模态大模型领域的最新成果。
在论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》（MM1: 多模式LLM预训练的方法、分析和见解）中可以看到，MM1是一个图文的多模态大模型，参数规模有30亿、70亿、300亿三种大小，有图像识别和自然语言推理能力。
其中，参与该论文的作者有30人，一半以上都是华人。
MM1测试效果不如Gemini和GPT4V
和市面上其他大模型相比，MM1亮点并不在惊艳的效果上，也没有提出特别的技术路线，而是通过控制各种变量，做实验，找出影响模型效果中关键因素。
在测试中，MM1-30B-Chat在TextVQA、SEED和MMMU上的表现优于Emu2-Chat37B和CogVLM-30B，但是表现不如谷歌的Gemini和OpenAI的GPT4V。
苹果做了各种变量实验，通过修改数据源、修改图像分辨率等，来看各种因素对模型效果的影响。
目前，苹果发现让多模态大模型变得更聪明、效果更好的主要因素有：
图像分辨率和图像标记数量对模型性能影响较大，比如更高清的图像，标注的细节越多，模型的效果就更好。
视觉语言连接器对模型的影响较小，视觉语言连接器指的是可以将图像和文本结合起来，进行信息融合的一种技术。论文中也提到，虽然影响不大，但仍然需要选择合适的视觉语言连接器。
不同类型的预训练数据对模型的性能有不同的影响。交错的图像文本数据和文本数据对于提高模型的少样本（few-shot）和零样本（zero-shot）性能至关重要，类似在训练时，需要使用“多样化的教材”可以帮助大模型更好地适应不同类型的问题。
模型的架构和训练过程，包括模型大小和训练超参数的选择，对于模型性能很重要，可以理解为在“建造大模型大楼”的过程中，需要选择“合适的建筑材料”和“施工方法”。
模型架构上，使用了混合专家（Mixture of Experts, MoE）架构是MM1的亮点之一，苹果探索发现，在模型的前馈网络层中使用MoE架构，可以有效地扩展模型的容量而不牺牲推理速度。
我们可以将MoE架构理解为一个大型的客服中心，其中有许多专门处理不同问题的专家——有的专家专门处理技术问题，有的专家处理账单查询，还有的专家负责解答产品使用问题。在大模型训练过程中，当数据进入模型中后，大模型会像“客服中心”一样，根据问题的性质被分配给最合适的专家来解决。
在实验过程中，苹果采用了一种名为Top-2 Gating的方法，来做“调度员”，根据图像的内容和文本语义等数据特点，来决定输入数据应该被送往哪些专家处理。在处理数据过程中，苹果还采用了一种叫“稀疏激活”的方式，只选择一部分“专家”进行计算，其余处于“休眠”状态，来提高模型训练的效率。
此外，在训练大模型过程中，苹果还在3B参数的MoE模型中使用了64个专家，在7B参数的MoE模型中使用了32个专家。这些专家被分布在模型的不同层中，来提高模型处理多模态数据的能力。
为什么苹果要发布这样一篇实验性的技术论文？
[加西网正招聘多名全职sales 待遇优]
还没人说话啊，我想来说几句
当地时间3月15日，苹果就披露了两个关键大模型动作。
其中一个值得关注的是苹果的收购事件。彭博社报道称，苹果已经收购了一家加拿大AI初创公司DarwinAI。
苹果的AI团队一下子扩充了几十个技术人员——作为收购交易的一部分，DarwinAI的几十名员工都被纳入苹果麾下，DarwinAI联合创始人、加拿大滑铁卢大学系统设计工程系教授Alexander Wong加盟苹果，担任AI团队的主管。
此前，DarwinAI的技术主要在视觉模型方向，他们此前主要给制造业提供零部件视觉检测的AI技术，致力于把AI系统打造得更小型和更快速。这符合此前苹果一直对外说的要打造更小的端侧大模型方向。
“买买买”是苹果布局AI的思路之一，此前苹果已经陆续收购了Voysis、Curious AI、 AI Music、WaveOne等初创AI公司，来不断扩充自身的AI实力。
践行收购战略的同时，苹果也在不断加大自研技术的力度。被披露收购DarwinAI的同一时间，苹果低调的在arxiv.org网站上发布论文，官宣了在多模态大模型领域的最新成果。
在论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》（MM1: 多模式LLM预训练的方法、分析和见解）中可以看到，MM1是一个图文的多模态大模型，参数规模有30亿、70亿、300亿三种大小，有图像识别和自然语言推理能力。
其中，参与该论文的作者有30人，一半以上都是华人。
MM1测试效果不如Gemini和GPT4V
和市面上其他大模型相比，MM1亮点并不在惊艳的效果上，也没有提出特别的技术路线，而是通过控制各种变量，做实验，找出影响模型效果中关键因素。
在测试中，MM1-30B-Chat在TextVQA、SEED和MMMU上的表现优于Emu2-Chat37B和CogVLM-30B，但是表现不如谷歌的Gemini和OpenAI的GPT4V。
苹果做了各种变量实验，通过修改数据源、修改图像分辨率等，来看各种因素对模型效果的影响。
目前，苹果发现让多模态大模型变得更聪明、效果更好的主要因素有：
图像分辨率和图像标记数量对模型性能影响较大，比如更高清的图像，标注的细节越多，模型的效果就更好。
视觉语言连接器对模型的影响较小，视觉语言连接器指的是可以将图像和文本结合起来，进行信息融合的一种技术。论文中也提到，虽然影响不大，但仍然需要选择合适的视觉语言连接器。
不同类型的预训练数据对模型的性能有不同的影响。交错的图像文本数据和文本数据对于提高模型的少样本（few-shot）和零样本（zero-shot）性能至关重要，类似在训练时，需要使用“多样化的教材”可以帮助大模型更好地适应不同类型的问题。
模型的架构和训练过程，包括模型大小和训练超参数的选择，对于模型性能很重要，可以理解为在“建造大模型大楼”的过程中，需要选择“合适的建筑材料”和“施工方法”。
模型架构上，使用了混合专家（Mixture of Experts, MoE）架构是MM1的亮点之一，苹果探索发现，在模型的前馈网络层中使用MoE架构，可以有效地扩展模型的容量而不牺牲推理速度。
我们可以将MoE架构理解为一个大型的客服中心，其中有许多专门处理不同问题的专家——有的专家专门处理技术问题，有的专家处理账单查询，还有的专家负责解答产品使用问题。在大模型训练过程中，当数据进入模型中后，大模型会像“客服中心”一样，根据问题的性质被分配给最合适的专家来解决。
在实验过程中，苹果采用了一种名为Top-2 Gating的方法，来做“调度员”，根据图像的内容和文本语义等数据特点，来决定输入数据应该被送往哪些专家处理。在处理数据过程中，苹果还采用了一种叫“稀疏激活”的方式，只选择一部分“专家”进行计算，其余处于“休眠”状态，来提高模型训练的效率。
此外，在训练大模型过程中，苹果还在3B参数的MoE模型中使用了64个专家，在7B参数的MoE模型中使用了32个专家。这些专家被分布在模型的不同层中，来提高模型处理多模态数据的能力。
为什么苹果要发布这样一篇实验性的技术论文？
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
推荐: