
Sign up to save your podcasts
Or


点单时说了少糖,等到最后加糖,机器怎样才能用上最早的要求?本期《原代码》从 Sepp Hochreiter 对训练困难的追查出发,沿着他与 Jürgen Schmidhuber 的 LSTM 设计,以及 Felix A. Gers 等人的遗忘门工作,走向长上下文、检索与今天的 agent 记忆。
从等着做的一杯茶,到后来改成七点的聚餐:留下一条信息,怎样才能让下一次行动做得更对?
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 答案在最后
00:29 把困难追到回传路径
04:01 留下来,也要能使用
08:47 回到论文,怎样算记住
10:32 下一轮,谁让记忆重新开始
13:11 聚餐改到七点,日历填几点
21:34 那杯少糖的茶
一句“请把文件发给王工”,每个词都见过,机器为什么仍可能把它挡在候选之外?本期《原代码》从 Frederick Jelinek 与 IBM 团队的语音识别研究出发,追踪三词统计、插值与独立检验,再把同一句话放进近期 ASR 的声音编码、语言解码与流式处理,比较经验怎样成为一次新的判断。
从一封想交给机器的信,到一个仍应获得机会的新组合:程序留下了哪个候选,我们又怎样检查它所依据的声音、记录和上下文?
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 先念一封信
02:17 一段声音,两份依据
04:37 每个词都见过,这句话却没有
07:19 给王工留一个位置
09:57 让新文字检验改动
13:47 近处之外,还有线索
16:11 同一句话,换一套识别机器
25:15 回到这封信
知道一份化学样品的组成,也拿到了质谱图,为什么程序还需要化学家的判断?本期《原代码》从 Edward Feigenbaum 与合作者的 DENDRAL 研究出发,追踪专家经验怎样成为可输入、可修改、也可以由程序学习的知识,再沿着 MYCIN 与 R1 的实践,讨论这套架构怎样扩展,以及它与大语言模型的不同路径。
从一张留下多个答案的谱图,到一条可以重新检查的判断:机器保留了哪个候选,我们又能不能找到它所依据的条件?
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 数据没有直接给出答案
03:24 程序还不知道什么
06:08 把一个判断写进去
10:03 规则也成为要寻找的答案
13:01 那个还没有被排除的结构
15:18 换知识,还要不要换方法
19:50 知识进入了另一种地方
24:12 留下可以检查的判断
一个研究人的心理学家,为什么要造一台会改变判断的机器?本期《原代码》从 Frank Rosenblatt 的心理学研究出发,跟随一张卡片在训练前后得到的不同回答,理解经验怎样改变模型中的数值;再沿着词语表示和语言模型预训练,看看后来的人如何衡量这项工作的价值。
从一张可以调整的评分单,到一张随训练移动的词语地图:机器能够改变什么,研究者就需要检验什么,而后来方法的用途,也让最初那个关于学习的问题获得了新的观察尺度。
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 研究人的人,为什么造机器
02:08 让机器改口:训练改变了什么
05:08 再练一遍,也未必能解决
07:40 分对了,然后呢:分类装置与脑模型
10:51 词语之间,能不能借用经验
14:02 先从文本练习,再把所学用于更多任务
17:00 后人记住了什么:问题、方法与历史
20:53 再把那个输入交给机器
六万多个计算单元都已就位,为什么还会一起停下来?本期《原代码》从 2017 年第一代张量处理器等待权重的场景出发,回到 ENIAC 换任务需要重新设置开关和电缆、EDVAC 团队把指令与数值都放进机器的转折,再沿着嵌入式设备、云端系统、编程语言、高速缓存、脉动阵列和注意力算法,追问谁保存状态、谁决定下一步、依赖怎样抵达并被复用。
从换一类任务就要重新布置机器,到大语言模型生成下一个字词单位:机器的外形不断改变,反复出现的却是同一个工程问题——下一步需要的东西,能不能及时到达正在等待它的执行者。
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 六万多个计算单元为什么一起等待
02:11 从重新接线到把下一步存进机器
07:02 门锁、云端与组织类比:关系不是蓝图
12:22 语言怎样重新分配开发者与工具的劳动
17:47 CUDA 与 Triton:性能压力让底层重新显形
22:13 高速缓存与脉动阵列怎样复用依赖
27:02 回到张量处理器与注意力算法
30:26 生成下一个字词单位前,依赖从哪里来
本版没有剪入第三方历史原声。Smithsonian finding aid 只证明相关馆藏入口存在;本轮没有取得同时通过媒体访问、说话人、上下文、人工句界复听和权利门禁的片段。
一台完全不理解句子含义的机器,能不能只根据已经出现的字符猜中下一个字符?本期《原代码》从 Claude Shannon 在 MIT 面对复杂继电器线路的场景出发,经过一九四八年把消息写成概率选择、一九五一年让人逐字符猜测英语,再沿 Weaver 的机器翻译设想、IBM 统计语言模型、神经概率语言模型和生成式预训练,追问同一个预测错误怎样从测量语言,变成评价模型、修改表示和预训练参数的入口。
从继电器上的一次开与关,到聊天窗口里的下一个 token:数学让两者都能被写成选择、条件和概率。中间近九十年的研究不断改变预测者、表示和误差用途,却没有让概率自动回答语言为何有意义、机器是否理解自己生成的文字。
本期逐字稿、证据引用关系和证据快照可在《原代码》官方网站 https://yuandaima.xyz 查看。
00:00 在微分分析机旁认识 Shannon:机器很大,选择很小
01:38 把消息写成概率选择,先把语义放到模型外
04:15 翻一本书,生成越来越像英语的乱码
06:36 Weaver 把上下文与统计带进机器翻译问题
08:46 正确字符排在第几次:一九五一年猜字实验
12:31 预测者从人变成模型,交叉熵开始评价模型
14:50 猜错以后,词表示和网络参数也会改变
17:01 预测误差进入预训练,下一 token 仍只是系统入口
21:26 如果 Shannon 坐到今天的聊天窗口前
本版没有剪入第三方历史原声。IEEE History Center 页面证明 Claude Shannon 1982 口述史与本人声音入口存在,但没有片段同时通过出版许可、上下文、人工句界复听和权利门禁。
一台只按有限规则读写符号的抽象机器,为什么十四年后会进入“机器能不能思考”的讨论?本期《原代码》从 1936 年的纸带、当前格与 universal machine 出发,经过 Bombe、Colossus 和 ACE 的不同工程边界,再回到 1950 年的 imitation game,追踪一个过大的问题如何被改写成可执行动作或可观察游戏。
从一格纸带,到一台可以读取另一台机器描述的 universal machine;从专用密码分析设备,到会被讨论“能不能思考”的机器:问题没有变得更小,只是换成了可以检查、比较和继续追问的形式。
00:00 冷开场:先把问题换成一台机器
04:48 有效计算怎样落到可执行动作
11:13 平行定义、公开修正与人物履历
14:06 Bombe、Colossus 与“通用”边界
17:10 ACE 让抽象模型接受存储、硬件和团队约束
20:48 程序成为可以被组织的对象
23:25 从 unorganised machines 到 child machine
25:31 Jefferson、意识异议与 imitation game
29:31 从“机器能否思考”到“下一个词”
本期没有可供听众运行的独立源码仓库;ACE 的设计与协作记录见:
本版没有剪入第三方历史原声。BBC 明确说明 1951 年广播没有存世录音;Mark Gatiss 的视频重读不是 Turing 原声。King's College 的 1951 广播稿目录仅作为文字与声音边界参考。
一门以容易开始著称的语言,为什么会主动发布一个不能让大量旧代码原样运行的新版本?本期《原代码》从一行可运行的 .py 文件出发,回到 Python 的发明与第一次公开分发,沿着文本与字节的断裂、future 的迁移工作台、包维护者的双版本负担,以及 Dropbox 和 OpenStack 的工程路径,追踪这场迁移怎样被拆成许多可以执行的中间状态。
从两个解释器之间的兼容桥,到包、发行版、工具链和企业系统依次撤走旧路径:所谓“回到未来”,不是让过去在某一天同时消失,而是让越来越多的人终于不必再携带它。
00:00 一行代码,拨回 1989
04:01 核心团队为什么选择 break
07:29 普通开发者怎样过河
12:31 包维护者站在桥中间
17:57 一个产品与一张依赖图
23:54 妥协不是一个动作
29:04 生态怎样改变默认选项
32:39 三种兼容预算
37:20 回到现在与未来
本版音频没有剪入第三方访谈或演讲片段;声音由 11 章旁白、原创片头《等待机器》和原创片尾《加速与混乱》组成。以下载体仅作为资料参考,未进入本版音频:
一个项目的创建者,为什么要先问一家公司,自己能不能回到这个项目?本期《原代码》从 Salvatore Sanfilippo 离开四年后再次输入 make 出发,回到 LLOOGG 的实时统计问题,沿着赞助、维护、退出、Redis 换证与 Valkey 分叉,追踪一个个人作品怎样在越来越多人的需要中改变作者的位置。
从一个空出来的中心,到仍在分叉运转的网络:同一条 make 命令可以把代码重新构建,却不能把创建者送回原来的位置。
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 回来以前,先问一句
01:22 先有一个问题
04:43 让别人支付时间
06:28 喜欢的东西,变成肩上的重量
10:07 把手放开
12:30 没有他的 Redis
15:37 回来,但不回到原位
20:04 谁拥有离开的自由
摄像头二十秒没有送来新画面,Frigate 不只是重启 FFmpeg,还要在进程外数秒、验收分片、保存日志。既然应用最终仍要补上这么多控制代码,为什么桌面工具、下载器、照片服务和视频平台还会反复选择启动一条 FFmpeg 命令?本期《原代码》从这段 watchdog 出发,沿着命令生成、媒体数据流、进程监督、失败语义和替代路线,追踪一条命令究竟替应用接走了什么。
从停住的第二十秒,到一条由程序生成、又必须被进程外监督的 command line:FFmpeg 接走的是媒体数据面,留下的是产品必须自己回答的完成与失败。
你可在官方网站 https://yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
00:00 二十秒
04:05 命令不是人写的
07:12 一条可执行的媒体计划
11:57 原声:CLI 是一门可以生成的语言
13:02 命令外面重新长出一套系统
18:22 进程结束,任务没有完成
23:45 什么时候不要启动 FFmpeg
27:37 命令之外
From the publisher's feed