勘误反馈
如果对本博客文章有任何问题(如探讨、建议、文字或逻辑错误等)都可以给我发邮件：

• 邮件标题：[wds博客问题反馈] - 希望在XXX文章增加一些细节的补充
• 邮件地址：8851970@qq.com

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

• 什么是CNN
• 为什么是CNN
• CNN的发展过程
• CNN是如何工作的

什么是CNN

CNN（Convolutional Neural Network，卷积神经网络）是一种专门用于处理图像数据的深度学习模型，它最大的特点是能够自动从图像中学习特征，而无需人工设计图像的特征。

譬如下图是一张猫的图片，人类几乎一眼就能判断这是一只猫但对于计算机来说，它看到的并不是猫，而是一大堆数字。因为图片实际上是由大量像素组成，每个像素都对应着 RGB（三原色）数值，计算机需要从这些数字中发现规律，最终判断图片中是否存在一只猫。

为什么是CNN

前文介绍过神经网络，为什么CNN比普通的神经网络更适合处理图像呢？譬如有一张100 × 100的灰度图片，共包含100 × 100 = 10000个像素。如果直接将这10000个像素，全部输入到普通的全连接神经网络中，那么每一个神经元都需要与所有输入相连接，当网络层数增加时，参数数量很容易达到数千万甚至更多，不仅训练速度慢、内存开销大，而且非常容易出现过拟合的现象。

CNN则采用了完全不同的思路。它认为没有必要一开始就观察整张图片，而是像人观察事物一样，先看局部，再逐渐组合成整体。
CNN会利用卷积操作，在图片上用一个较小的窗口（卷积核）不断滑动，每次只关注图片中的一小块区域，例如边缘、纹理、颜色变化等局部特征。随着网络不断加深，这些简单特征会逐渐组合成更加复杂的特征，最终识别出眼睛、耳朵、鼻子，甚至整只猫。

CNN的出现，使计算机第一次能够自动学习图像特征，摆脱了传统计算机视觉中依赖人工设计特征（Feature Engineering）的方法，极大地提升了图像识别的准确率。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

文章目录

• Transformer架构与工作原理
• 一. 嵌入词向量（Embedding）
  • 1.1 分词
  • 1.2 Tokenizer
  • 1.3 转词向量
  • 1.4 词的位置编码
  • 1.5 整个工作流程
• 二. 编码器（Encoding）
  • 2.1 Multi-Head-Attention
  • 2.2 Residual Connection
  • 2.3 Layer Normalization
  • 2.4 Feed-Forward Network
  • 2.5 整个工作流程
• 三. 解码器
  • 3.1 读取内容
  • 3.2 Masked Multi-Head-Attention (多头注意力机制)
  • 3.3 读取解码器的理解结果
  • 3.4 Feed-Forward Network
  • 3.5 Softmax转换概率
  • 3.6 整个工作流程
• 四. 编码器与解码器

大模型的奠基之作《Attention Is All You Need Transformer》（中文译“注意力就是你所需要的一切”）是2017年由谷歌八位科学家联合发表的一篇里程碑式机器学习研究论文。论文中提出了自注意力机制的深度学习框架Transformer，如今已经成为大多数大模型的核心基础，可以处理文本、代码、音频和视频类数据等。

Transformer架构与工作原理

以下是Transformer的工作流程，图的左边是输入信息，右边是输出信息。

Transformer整个工作流程共分为三大部分：

• 1. 嵌入词向量（Embedding）
• 2. 编码器（Encoder）
• 3. 解码器（Decoder，包含Linear与Softmax输出）

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是Harness

2026年2月，OpenAI工程师Ryan Lopopolo发表了一篇颇具影响力的文章《Harness Engineering: Leveraging Codex in an Agent-First World》。
文中披露了一组令人印象深刻的数据,一个小团队仅用了5个月，借助Codex自动完成了约100万行代码、创建了1500个PR，整个过程中几乎没有人工编写任何代码。这并非实验室里的Demo，而是一套已经拥有内部日活用户的真实生产系统。OpenAI将这种全新的AI开发模式称为Harness Engineering。

Harness的本意

Harness原本是一个英语单词，意思是马具、挽具。一匹马再强壮，如果没有马鞍、缰绳和车架，就无法稳定地拉动车辆，更无法按照人的意图完成复杂任务。

如果把AI大模型比作一匹拥有巨大潜力的骏马，那么Harness就相当于驾驭它的一整套装备——不仅包括缰绳和马鞍，还包括马车、驾驶规则以及控制系统。它负责让模型的能力真正转化为稳定、可靠、可持续的生产力。

AI编程中的Harness

在AI编程领域，Harness并不是模型本身，而是围绕模型构建的一整套工程化支撑系统。

它包含了模型之外所有用于约束、增强、管理和协同模型工作的基础设施，使原本只能进行单次推理的大模型，能够持续、稳定地完成复杂的软件开发任务。可以把它理解为：

1

Harness = 模型之外的一切工程能力。

这些能力通常包括：

• 为模型提供上下文（Context）和提示词（Prompt）；
• 调用各种工具（Tools）和外部 API；
• 管理记忆（Memory）和长期状态；
• 自动执行、测试、调试代码；
• 与 Git、PR、CI/CD 等开发流程集成；
• 控制任务规划、权限、安全和错误恢复；
• 协调多个 Agent 协同完成复杂任务。

因此，真正决定AI能否参与大型软件工程的，不仅仅是模型本身，更重要的是这套围绕模型构建的 Harness。可以说，模型负责“思考”，而 Harness 负责“让思考真正落地执行”。随着AI Agent的快速发展，业界越来越认同一个观点Agent = LLM + Harness其中，LLM提供智能，而Harness 提供工程能力,二者结合，才能让AI从一个“会回答问题的大模型”，成长为一个真正能够独立完成工作的智能体（Agent）。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

1956年，达特茅斯会议正式提出 Artificial Intelligence（人工智能）概念，此后AI迎来第一轮高速发展，相继诞生搜索算法、国际象棋程序、数学定理证明、自然语言理解、感知机等标志性成果。彼时大批科学家信心高涨，乐观预言二十年之内机器将胜任人类的全部工作。

恰逢美苏冷战阶段，各国急需大批量自动翻译俄文科技文献，行业提出了无需人工介入、实现多国语言全自动互译的宏大目标。全社会对人工智能抱有极高期待，催生了严重的行业泡沫。盲目乐观带来的技术愿景远远超出了当时硬件与算法的实际能力，理想迅速撞上现实瓶颈，人工智能接连迎来两次寒冬：

• 第一个寒冬期（1974-1980）
• 第二个寒冬期（1987-1993）

第一个寒冬期

进度寒冬期共有五个原因：

• 1. 计算机太慢：1970 年大型计算机几万倍以上的算力，很多算法理论上可以运行，譬如搜索树，但因为计算慢搜索空间爆炸，导致程序越来越慢。
• 2. 机器学习能力几乎没有：在那个时间段，主要还处于规则时代，如果规则不全，程序就不知道下一步怎么做。
• 3. 感知机被证明能力有限：不能解决 XOR 问题。
• 4. 政府削减经费：英国发布了著名的 Lighthill Report报告指出，AI 的成果远没有宣传那么好。随后英国政府大幅减少AI研究经费，美国国防部门也逐渐减少投入。
• 5. 过度宣传：自动翻译、自动推理和自动理解世界，但结果都没有实现。

第二次 AI 寒冬

专家系统（Expert System）突然火起来，譬如医疗、金融、保险、制造都在大量使用，很多公司认为AI时代已经到来，但最终又是失败。主要原因：

• 1. 知识获取困难：专家系统需要自己写规则，如果一个医生有10万条规则，程序员就需要写10万条规则，同时医生很多判断依赖长期经验，所以导致这里知识获取困难。
• 2. 维护成本高：新增一条规则，可能会影响其它规则，导致规则越来越复杂
• 3. 不能学习：专家系统不会自己学习，一条规则录入后，后续变化无法及时更新。
• 4. 专用AI硬件市场崩溃：当时很多企业购买昂贵的Lisp Machine来运行AI软件。后来普通工作站尤其是基于Unix的工作站和PC越来越便宜，性能迅速提升，导致昂贵的AI专用硬件失去竞争力，相关厂商大量倒闭。
• 5. 商业泡沫：大量公司名字里只要带AI就能融资,后来效果不好投资全部撤离。
• 日本第五代计算机计划失败:1982年，日本第五代计算机系统项目投入巨额资金，希望开发基于逻辑推理的新一代智能计算机,但最终目标没有实现，世界开始重新怀疑AI。

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是Token

在人工智能领域Token被翻译为词元,它是AI模型理解和处理文本的最小基础单位。 模型不能直接阅读人类的文字，它只能理解数字，因此输入给模型的提示词和模型输出的文字，都会先被拆解成一个个 Token，然后再转换成数字进行运算。

大模型如何计算Token

我们通过一个案例来介绍大模型Token的统计方式，一共分为三步：

• 用户输入问题
• 模型理解整个问题
• 开始生成答案

1.用户输入问题

譬如，你问大模型：

1

“什么是机器学习？”

对于模型来说，第一步不是理解文字而是通过Tokenizer（分词器）先把它转换成Token ID,譬如：

按照以上表格对应关系，模型会收到 “[1523, 87, 9361, 34]”，模型会再把Token ID转成向量，如下：

这也就是说模型不能直接阅读人类的文字，它只能理解数字。到目前已经完整了文字与计算机理解的数字转换。

Read More

系列文章见: 《回忆AI时代-从图灵机到人工智能》

什么是专家系统

1980年，被称为专家系统（Expert Systems）时代，也是第一波AI商业化浪潮，这一时期AI的核心思想属于符号主义（Symbolic AI）或规则驱动 AI（Rule-based AI）。1970年代末研究人员发现与其让计算机像人一样学习，不如先把专家的知识直接写进去，譬如：

• 医生如何诊断疾病
• 地质学家如何寻找矿藏
• 工程师如何维修设备

如果把这些经验写成IF条件THEN结论，计算机就能够像专家一样推理。

1
2
3
4

IF
    发烧 AND 咳嗽 AND 白细胞高
THEN
    可能是细菌感染

专家系统的组成,通常分为四个部分：

• 知识库（Knowledge Base）
• 推理机（Inference Engine）
• 事实库（Working Memory）
• 用户界面(User Interface)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

             用户
              │
       ┌─────────────┐
       │    用户界面  │
       └─────────────┘
              │
       ┌─────────────┐
       │     推理机   │
       └─────────────┘
        │          │
        │          │
┌────────────┐  ┌────────────┐
│   知识库    │  │ 事实库      │
│   Rules    │  │ 当前数据    │
└────────────┘  └────────────┘

Read More