看到这个标题，你可能会觉得是噱头。谁不知道 chatGpt 模型有 1750 亿以上的参数，别说是在笔记本电脑上跑，就是使用高性能 GpU 的台式机，也无法带得动啊。老老实实调用 ApI 不好吗？其实，LLm（大语言模型）有非常宽泛的参数量范围。咱们今天介绍的这个模型 Gpt4All 只有 70 亿参数，在 LLm 里面现在算是妥妥的小巧玲珑。不过看这个名字你也能发现，它确实是野心勃勃，照着 chatGpt 的性能去对标的。Gpt4All 基于 meta 的 LLama 模型训练。你可能立即觉得不对，你这跟 Gpt 有啥关系？为什么要无端蹭热度？且慢，Gpt4All 确实和 chatGpt 有关 —— 它用来微调的训练数据，正是调用 chatGpt 产生的大量问答内容。我怕你对技术细节不感兴趣，因此只用下面这张图来说明 Gpt4All 的训练过程。??Gpt4All 其实就是非常典型的蒸馏（distill）模型 —— 想要模型尽量靠近大模型的性能，又要参数足够少。听起来很贪心，是吧？据开发者自己说，Gpt4All 虽小，却在某些任务类型上可以和 chatGpt 相媲美。但是，咱们不能只听开发者的一面之辞。还是试试看比较好，你说是吧？深度神经网络由多个层组成。每一层包含处理输入数据并通过非线性激活函数（Sigmoid 或 ReLU）传递给其他层的神经元。每一层的输出会传递给另一层，在传递给下一层进行进一步处理之前，这一层会对这个中间表示进行某种操作。 这个架构可以分为两个主要部分：输入层和输出层。 输入层 - 这表示一组输入，这些输入被送入人工神经网络（ANN）作为训练数据或测试数据，然后由深度学习算法使用，以根据历史信息（例如过去的交易等）预测未来事件 \/ 结果，这一过程使用输入层及其相关权重。 输出层 - 这表示一组输出，这些输出在经过人工神经网络内部的各个层（例如卷积神经网络、循环神经网络或长短时记忆网络）处理后被送回到 ANN 中，然后由深度学习算法使用，以根据历史信息（例如过去的交易等）预测未来事件 \/ 结果，这一过程使用输出层及其相关权重。 深度学习模型的架构可能会因各种因素而有所不同，例如数据类型、特征数量、目标变量或正在解决的分类问题。transformer 是一类深度学习架构，在自然语言处理（NLp）和其他领域中已变得非常流行，这归功于它们强大的性能和可扩展性。transformer 首次在 Vaswani 等人于 2017 年发表的论文 \&Attention is All You Need\& 中被介绍。transformer 基于自注意力机制，这使它们能够捕获长距离依赖关系并在序列中建模复杂的模式。自注意力机制：transformer 的核心是自注意力机制，它允许模型衡量每个输入标记与序列中每个其他标记的关系的重要性。这是通过使用三个可学习的向量实现的，分别称为查询向量（q）、键向量（K）和值向量（V）。自注意力机制计算每对标记之间的注意力分数，然后用于生成值向量的加权和。多头注意力：transformer 使用多头注意力来捕捉输入序列的不同方面。多头注意力层中的每个 \&头\& 都独立执行自注意力，并生成自己的输出。这些输出然后被连接并线性转换以创建多头注意力层的最终输出。看到这里，你可能已经怒了 —— 有这么比的吗？！你拿一个如此精致的小模型 Gpt4All（70b）跟 Gpt-4 这样的大怪物去比。Gpt-4 胜之不武，我为 Gpt4All 鸣不平！且慢恼怒，我想表达的意思是这样的：如果一个模型真的能达到蒸馏浓缩的作用，那么显然体积的显着减小是重大优势，毕竟这意味着训练和应用成本降低，速度显着提升。但如果模型缩小以后在解决问答、解释和编程能力上和大模型相比差距显着，那么我们就不能武断地说小模型「性价比」更高了。有研究证实过在「有人类调教的情况下」，60 亿参数的小模型甚至可以在某些任务上面击败 1750 亿参数的大模型 (ouyang et al. 2022)。只不过，这里的比较并不公平 —— 它指的是小模型有人工调教，而大模型缺乏调教的情况。chatGpt 不缺乏调教，因此我们并没有看到 Gpt4All 能够以少量的参数达到 chatGpt 这么好的性能，即便它充分使用了 chatGpt 的输入输出数据。训练大语言模型时，多大的语料会使得模型对外部世界真实认知产生质的飞跃（可以在各项任务上都有好的表现）？目前的经验是 300 亿单词的输入量 (Zhang et al. 2020)。但是大语料需要足够高的模型复杂度来承载。模型相对输入数据过于复杂固然不好（过拟合，over-fitting）。然而一个太小的模型在面对大数据的时候，也会力不从心（欠拟合）。大和