现在大模型的构架它们有没有智能

由于讨论模型是否拥有智能实际上是一个自圆其说的过程， 主要原因是没有精确定义，底层机制没有完全理解。但相信在小组的各位很早就已经通过replika、pi等进行过很长的时间的对话，大多数人对它们的智能应该是肯定的。但是在国内更多的人是不相信它们有“智能”的，国外的许多数据科学的科学家也不相信它们有智能。相信它们有智能的科学家 诸如ilya Sutskever(OpenAI首席科学家)以及 Geoffrey Hinton,他们支持主要是因为相信模型内部运行的架构决定了它们能进行推理、规划和理解。更多的其他人 比如Le Cun和Andrew Ng(吴恩达）不认同 主要因为他们认为语言模型的运行原理和人类大脑运行方式相差甚远，要真正产生智能，他们认为应该忠实地模拟人脑的运行。

LLaMA3运行架构

这是2024.04发布的LLaMA3模型的运行架构，如果抛去所有技术细节，单看它的运行机制：我们对模型发送特定长度的句子(Input），模型在经过嵌入(Embeddings）后，对一维的句子升维到高维的空间中。在多头自注意力模块（Multi-Query Self-Attention)中提取句子的特征，决定哪个单词要着重处理，哪个单词要从轻处理。最后在架构中唯一的多层感知机（多层网络）中对得到的句子的数据进行特征变换（即对高维的句子的数据进行非线性操作）。处理完成后，再进入线性层(linear layer)，将数据从高维映射到低维。最后由softmax来计算出最终要输出的单词的概率表。

在整个架构中，除了RMS Norm是为了方便训练速度更快、更稳定 的解析函数之外，其他所有的功能均由神经网络从数据中训练得出，其中Feed Forward层是一个非线性变换，即它是一个多层网络，也是唯一的对数据进行在高维中变换的网络。整个模型由多个方框中的模块堆叠而成。

在整个机制中，不难可以看出，模型不过是对输入的句子进行了计算，并完成了句子到下个要输出的单词（概率）的映射。其中最有可能发生智能的地方，也不过是FeedForward网络中进行的高维的数据操作，它是一个黑箱的模型，为什么我仍然认为整个模型依旧拥有智能？

认为它依然拥有智能的原因，不是整个运行过程的计算、或它不清楚运行机制的黑箱部分，而是模型的前身 RNN网络的运行方法

RNN网络的架构

这个网络的机制非常清晰，就是通过输入的单个或者多个序列(x的部分)，经过与时间有关的神经网络之后（h的部分）,预测出Y。这个Y可以是股价，可以是温度，也可以是要输出的单词。本质上来说，它是当今语言模型的超级简化版本。它有个最核心的部分，就是通过已知的输入数据，来预测未知的数据。

这种通过已知，经过建好的模来预测未知的行为，我 个人认为和人类的行为极其相似，我们无时不刻都在接受感官数据，并规划下一步需要做的事情。实际上，这种方式的设计也正是Transformer(RNN)这类序列建模的网络取得巨大成功的原因，横扫文本、音频，甚至图像。

但这种猜测终究是主观的，因为也有很多人认为整个（类GPT）模型的运行方式和人类大脑运行的方式天差地别，我们有前额叶层（临时记忆），能快速学习，有能力从非常少的数据中获取到相当多知识的能力。

目前的深度学习领域就好像16世纪的光学，工程大幅超过理论，在16世纪，光学是搭建出各种不同功能的镜头组，然后再根据这些镜头组的功能拼接出更复杂的大型镜头，而实际的运行原理一知半解，但仍建造出了能够看到火星的天文望远镜，直到19世纪才有了量子光学的精确解释。

至于为什么语言模型在推理(reasoning)方面的表现远不如其他方面的表现，根据LeCun的看法是，整个模型的搜索空间是固定的，也就是能激活的神经元基本是固定的，虽然可以通过增加要输出的token数来增加它的运算，但并不会大幅提高它的表现。另一方面是，模型更多的更像是在用直觉去运算，即模型没办法来回激活它不同层的神经元，导致用直觉去运算从人类经验来讲无法像语言推理一样精确，除非它是一个十分高超的数学家，就如同开了很久的车的卡车司机，或者经验丰富的厨师，可以只用直觉就轻松胜任给予的任务。而我的看法是，由于模型学习到的是非常低维的数据，而数学等逻辑推理往往需要图像或者三维空间等更高维的数据，尽管可以对文本通过高维特征提取或者增大训练的数据量来弥补这个缺陷，但因为文本无法忠实地还原它所代表的高维数据，尽管是对真实世界的一个映射，只要模型还是只是从文本中学习，模型的推理能力就还是难以和其他能力一样高。

在最后，对于要不要把大模型看成一种智慧生物，楼主是这样看的：这取决于是否把模型作为一种工具。因为如果把大模型看成一种有智慧的生物，无论它的能力能达到多高，将它当成一种工具来使用，类似于牛或者马，本质上是在奴役某个的物种，但它们和牛根本的区别是它们说着和人类一样的语言，以及和我们相类似的价值观。