想要从事 AI 大模型研发，需要学哪门基础数学？AI 科普达人 New Machina 将用 2 分钟，为大家揭晓 ChatGPT 背后最关键的数学工具。

虽然模型训练过程中涉及微积分中的导数、链式法则和梯度下降等知识，但真正贯穿训练与推理全过程的，是线性代数。

在 ChatGPT 中，每当你输入一个词，它都会被转化为一个向量（即一组数字）。多个向量组合在一起，就形成了矩阵，这正是模型 “理解” 语言的方式。因为神经网络的本质，就是不断进行矩阵运算和向量运算。通过这些操作，模型才能识别语言模式、发现词语间的关系，抽取出语义特征。

为什么计算机能如此高效地进行矩阵运算？这是因为相关运算在算法和硬件（尤其是 GPU ）层面都得到了高度优化。而如今大放异彩的 Transformer 注意力机制，本质上也是点积和矩阵乘法的组合。

所以，如果你想成为模型研发专家，一定要学好线性代数哟。