AI 术语词典

从底层原理到前沿技术，快速读懂 AI 大模型领域的核心概念。

ABCDEFGILNOPQRT

A

应用程序接口

API (Application Programming Interface)

API（Application Programming Interface，应用程序接口）是一组定义软件组件之间交互方式的协议、工具和定义，用于让不同系统之间能够互相调用功能。

智能体

Agent

智能体（Agent）是具备自主感知、规划、决策和执行能力的 AI 系统，它以大语言模型为大脑，通过调用工具来完成复杂任务。

注意力机制

Attention Mechanism

注意力机制（Attention Mechanism）是一种让模型在处理序列数据时，动态地给不同位置分配不同权重的计算方法，是 Transformer 架构的核心组件。

AI 对齐

AI Alignment

AI 对齐（AI Alignment）是确保 AI 系统的行为与人类意图、价值观和长远利益保持一致的研究领域，是大模型安全研究的核心议题。

B

批大小

Batch Size

批大小（Batch Size）是指在模型训练或推理时，一次性送入模型的样本数量，是深度学习最重要的超参数之一。

字节对编码

BPE (Byte Pair Encoding)

BPE（Byte Pair Encoding，字节对编码）是一种数据压缩算法，被广泛用于大语言模型的分词器（Tokenizer），用于将文本切分成高频子词单元。

C

检查点

Checkpoint

Checkpoint（检查点）是模型训练过程中定期保存的模型权重快照，可用于断点续训、模型评估或版本回滚。

上下文窗口

Context Window

上下文窗口（Context Window）是指大语言模型在一次交互中能够记住和处理的最大文本长度，通常以 Token 数量来衡量。

余弦相似度

Cosine Similarity

余弦相似度（Cosine Similarity）是通过计算两个向量夹角的余弦值来衡量它们相似程度的指标，取值范围 [-1, 1]，是 Embedding 检索的核心度量。

D

扩散模型

Diffusion Model

扩散模型（Diffusion Model）是一类通过「逐步加噪-去噪」过程生成图像、音频或视频的生成式 AI 模型，是 Stable Diffusion、Sora 等明星产品的底层架构。

深度学习

Deep Learning

深度学习（Deep Learning）是机器学习的一个分支，通过构建具有多层「人工神经网络」的模型，从海量数据中自动学习特征表示，是大语言模型的理论基础。

E

嵌入

Embedding

嵌入（Embedding）是将文本、图像或声音映射为多维稠密向量（Vector）的技术，用于衡量内容之间的语义相似度。

F

函数调用

Function Calling

函数调用（Function Calling）是指大语言模型能够理解外部工具（API/函数）的功能，并在需要时智能地输出参数，让程序去执行真实动作的能力。

少样本学习

Few-Shot Learning

少样本学习（Few-Shot Learning）是指模型仅通过少量示例（通常 1-10 个）就能学会新任务的能力，是大模型 In-Context Learning 的核心表现。

G

图形处理单元

GPU (Graphics Processing Unit)

GPU（Graphics Processing Unit，图形处理单元）是一种专门为并行计算设计的处理器，是训练和推理大语言模型的核心硬件。

I

推理

Inference

推理（Inference）是指使用训练好的模型对输入数据产生预测或输出的过程，是大模型「学以致用」的关键阶段。

指令微调

Instruction Tuning

指令微调（Instruction Tuning）是指在「指令-回答」配对数据上对预训练模型做监督微调，使其能够更好地理解和遵循人类指令。

L

大语言模型

LLM (Large Language Model)

大语言模型（LLM）是基于深度学习（特别是 Transformer 架构）训练的、拥有数十亿甚至上万亿参数的自然语言处理模型。

低秩自适应

LoRA (Low-Rank Adaptation)

LoRA（Low-Rank Adaptation，低秩自适应）是一种参数高效微调技术，通过冻结原模型权重、仅训练低秩分解矩阵，实现以极低显存/成本完成大模型微调。

N

自然语言处理

NLP (Natural Language Processing)

自然语言处理（NLP，Natural Language Processing）是人工智能与语言学交叉的研究领域，旨在让计算机理解、生成、翻译和推理人类自然语言。

O

过拟合

Overfitting

过拟合（Overfitting）是指模型在训练集上表现极好，但在测试集或新数据上表现较差的现象，是机器学习中最常见的泛化问题之一。

P

提示词

Prompt

提示词（Prompt）是用户输入给大语言模型的文本指令，可以是问题、任务描述、上下文或示例，是 LLM 时代最核心的「编程语言」。

提示词工程

Prompt Engineering

提示词工程（Prompt Engineering）是指通过设计、优化和迭代输入给大语言模型的文本（Prompt），来引导模型输出更高质量、更符合预期的结果的一门技术。

Q

量化

Quantization

量化（Quantization）是将模型权重和激活值从高精度浮点（如 FP16）转换为低精度整数（如 INT8/INT4）的技术，可显著降低显存占用和推理延迟。

R

基于人类反馈的强化学习

RLHF (Reinforcement Learning from Human Feedback)

RLHF（Reinforcement Learning from Human Feedback）是利用人类对模型输出的偏好排序训练奖励模型，再通过强化学习优化大模型的技术，是 ChatGPT 引爆的关键。

检索增强生成

RAG (Retrieval-Augmented Generation)

检索增强生成（RAG）是一种结合了信息检索和文本生成的技术，旨在让大语言模型基于外部知识库给出准确回答，从而减少幻觉。

T

变换器

Transformer

Transformer 是一种基于自注意力机制的深度学习架构，由 Google 在 2017 年论文《Attention Is All You Need》中提出，是所有现代大语言模型（GPT、Claude、Qwen、GLM）的核心架构。

词元

Token

词元（Token）是模型处理文本的最小语义单元，可以是一个汉字、一个英文单词，或一个字符片段。