Agili 的 Hacker Podcast

Hacker News 每日播报 2025-10-02


Listen Later

欢迎收听 Hacker News 每日播报,今天我们将探讨为未来设计的开源数据文件格式 F3、深入文学巨匠科马克·麦卡锡的私人图书馆、学习如何榨干 GPU 的全部性能、关注 Gmail 的一项重要功能变更、见证在《我的世界》中诞生的 ChatGPT、了解荷兰法院对 Meta 推荐系统的裁决、庆祝自托管相册 Immich 迎来首个稳定版、探索本地优先应用的访问控制新范式 Keyhive、揭示铁器时代的起源之谜,并关注 CNN 关于加沙人道主义危机的可视化报告。

F3:为未来设计的开源数据文件格式

一篇来自卡内基梅隆大学的论文,向我们介绍了一种名为 F3(Future-proof File Format)的新型开源数据文件格式,旨在解决 Parquet 和 ORC 等传统列式存储格式在现代硬件和工作负载下面临的挑战。

核心创新

面对“宽表”(数千列)、高维向量和云存储随机访问等新需求,现有格式显得力不从心。F3 带来了多项关键创新:

  • 高效元数据:采用 FlatBuffers 序列化元数据,支持零拷贝反序列化,显著降低了在宽表场景下的元数据解析开销。
  • 解耦的 I/O 单元:将物理 I/O 粒度与逻辑行组解耦,允许写入器根据存储介质(如 S3)独立优化写入块大小,避免了内存溢出问题。
  • 灵活的字典编码:允许根据数据特性选择局部、共享甚至跨列共享的字典,以实现更优的压缩比。
  • 嵌入式 WebAssembly (Wasm) 解码器:这是 F3 最具革命性的特性。每个 F3 文件都内嵌了一个 Wasm 二进制文件,其中包含了用于解码数据的代码。这意味着,即使读取器本身没有对应的原生解码器,它也可以通过运行这个安全的沙盒化 Wasm 代码来读取文件,从而彻底解决了数据格式的向后兼容和可扩展性难题。
  • 社区观点

    社区对 F3 的讨论充满了兴奋与审慎的思考。许多开发者对 Parquet 的复杂性和低效元数据处理等痛点深有共鸣,认为 F3 的设计直击要害。特别是,论文作者团队包括了 Pandas 和 Apache Arrow 的创建者 Wes McKinney 以及数据库领域的权威 Andy Pavlo,这为项目带来了极高的可信度。

    最具争议的特性是嵌入式 Wasm 解码器。一方面,它被视为解决数据格式碎片化和演进困难的“银弹”。但另一方面,也有人对其安全性表示担忧,将其与历史上带来安全风险的“数据与代码混合”模式(如 Excel 宏)相提并论。同时,Wasm 带来的 10-46% 的性能开销是否值得,也引发了激烈的辩论。

    论文作者亲自下场解释,强调 Wasm 只是一个备用方案:当系统拥有高效的原生解码器时会优先使用;只有在兼容性出现问题时,才会回退到 Wasm。“损失一些性能总比完全无法读取文件要好。” 这一解释在很大程度上缓解了社区的疑虑。尽管 F3 要想在庞大的 Parquet 生态中站稳脚跟并非易事,但它所展示的前瞻性设计,无疑为数据存储的未来指明了方向。

    深入科马克·麦卡锡的私人图书馆

    美国文学巨匠科马克·麦卡锡以其深邃的作品和隐居的生活方式而闻名。在他去世两年后,史密森尼杂志的一篇文章带领我们走进他位于新墨西哥州的故居,一窥他那藏书超过两万册的惊人私人图书馆,揭示了这位天才作家不为人知的另一面。

    书海中的思想世界

    麦卡锡的藏书范围之广令人咋舌,从哲学、高等数学、量子物理到鲸鱼生物学,无所不包。这不仅展现了他百科全书式的求知欲,更重要的是,许多书上留下的批注为我们理解其思想来源和创作灵感提供了前所未有的窗口。文章描绘了一个复杂的形象:他是一位自学成才的建筑师和机械师,拥有过目不忘的记忆力,却生活在一个不用电脑、只用老式打字机写作的“囤积者”环境中。

    黑暗中的人性之光

    社区的讨论深入到了麦卡锡作品的核心。许多人认为,他广博的知识体系与其笔下角色的哲学思考紧密相连,例如《血色子午线》中那位博学而残暴的“法官”。大家普遍认为,麦卡锡的世界观深刻而清醒,他直面人类文明的脆弱性和暴力的本质。

    对于其作品中“过度男性化”和“沉溺于暴力”的批评,许多读者给出了不同的解读。他们认为,麦卡锡对暴力的描绘并非美化,而是一种“临床式”的揭露,旨在呈现历史中被遗忘的残酷真相。更有读者指出,在其最黑暗的作品如《路》中,核心并非虚无主义,而是在绝境中对父爱、善意和希望的坚守——那“传递火种”的信念,恰恰是其作品中最动人的乐观主义光芒。对于想要接触麦卡锡的读者,大家建议可以从《老无所依》等相对易读的作品开始,逐步深入他那宏大而深邃的文学世界。

    榨干 GPU:Hazy Research 的 Llama-70B 推理性能优化之道

    斯坦福 Hazy Research 的一篇博文以一个极具冲击力的标题——《我们买了整块 GPU,所以我们他妈的要用尽整块 GPU》,宣告了他们对大模型推理性能优化的极致追求。文章详细介绍了一种名为“巨型核函数”(megakernel)的技术,旨在将 NVIDIA H100 GPU 的潜力发挥到极限。

    巨型核函数的核心理念

    当前主流的推理引擎(如 vLLM)将模型的前向传播分解为上百个独立的 CUDA 核函数,频繁的启动和数据等待导致 GPU 资源大量闲置。Hazy Research 的方案反其道而行之,将整个模型的前向传播融合到一个单一、巨大的核函数中。通过精巧的“指令-解释器”模型,在 GPU 的每个流式多处理器(SM)内部实现指令流水线,让数据加载、计算和存储等操作高度重叠,从而最大限度地减少了等待时间,让宝贵的张量核心(Tensor Cores)始终保持忙碌。

    这种优化不止于单个 SM,还扩展到了跨 SM 和跨 GPU 的层面。通过全局工作队列和在核函数内部直接进行的异步跨设备读写,该方案在多 GPU 环境下也实现了计算与通信的无缝重叠。最终,集成该技术的推理引擎在 Llama-70B 模型上实现了超过 22% 的端到端吞吐量提升。

    极致优化与通用性的权衡

    这篇文章引发了社区关于软件开发哲学的热烈讨论。许多人联想到了游戏主机开发和 Demoscene 场景,在固定的硬件上,开发者可以进行不计成本的极致优化。这引出了一个经典问题:在通用计算领域,我们为了开发效率和跨平台兼容性,究竟牺牲了多少性能?

    同时,这也激发了大家对 AI 辅助代码优化的想象。未来是否可以将代码交给一个“计算机大脑”,让它自动榨干硬件的每一分性能?此外,关于 GPU 共享和虚拟化(如 NVIDIA MIG/MPS)的安全性与效率的讨论也十分深入。尽管 Hazy Research 的代码仍处于研究阶段,但它所展示的“压榨硬件”的理念和惊人成果,无疑为大模型推理的未来优化指明了一条硬核而激动人心的道路。

    Gmail 将停止支持从第三方账户收取邮件

    Google 宣布,从 2026 年 1 月起,Gmail 将不再支持通过 POP 协议从第三方邮件账户(如个人域名邮箱、其他服务商邮箱)拉取邮件,同时也将终止 Gmailify 功能。这意味着用户将无法再在 Gmail 网页版中统一管理所有邮箱的收件。

    影响与替代方案的困境

    这一变化对许多长期依赖此功能来整合多个邮箱的用户造成了不小的冲击。Google 建议的替代方案主要有两个:在移动端使用 IMAP 连接,或将第三方邮件直接转发到 Gmail。然而,社区的反馈揭示了这些方案的严重局局限性:

    • 邮件转发不可靠:大量用户反映,从其他邮箱转发到 Gmail 的邮件,极易被错误地标记为垃圾邮件,甚至被静默丢弃,导致重要邮件(如登录验证码)丢失。这与 SPF/DKIM/DMARC 等邮件认证机制有关,使得转发成为一个“碰运气”的选项。
    • IMAP 并非替代品:Gmail 网页版根本不支持通过 IMAP 协议从外部账户拉取邮件,它只允许其他客户端通过 IMAP 访问 Gmail 自身。因此,对于希望在网页端统一管理邮件的用户来说,这并非一个可行的解决方案。
    • 对 Google 的普遍失望

      这次调整再次引发了社区对 Google 产品策略和用户支持的广泛批评。许多人认为 Google 的官方公告措辞含糊,沟通不畅。更深层次的观点认为,此举是为了将用户推向付费的 Google Workspace 服务。然而,即便是付费用户,也常常面临账户无故冻结、功能不一致和支持缺失等问题。

      这种“温水煮青蛙”式的产品功能退化,让许多用户感到失望和厌倦,并开始积极寻找替代方案。Fastmail、Proton Mail 和 Zoho 等服务被频繁提及,它们被认为在可靠性、用户支持和隐私保护方面提供了更好的体验。

      大神在《我的世界》中用红石电路搭建出 ChatGPT

      一位名叫 sammyuri 的玩家完成了一项几乎不可能的壮举:在《我的世界》(Minecraft)中,完全使用游戏内的红石电路,搭建出了一个可以运行的小型语言模型,堪称“红石版 ChatGPT”。

      工程奇迹的诞生

      这个项目绝对是货真价实的工程奇迹。它拥有超过 500 万个参数,结构体积达到了惊人的 1020x260x1656 个方块。最关键的是,整个构建过程没有使用任何命令方块或数据包等“捷径”,完全依赖游戏原生的逻辑门机制,这在红石社区中被视为最高难度的挑战。

      当然,这个红石大脑的思考速度是“史诗级”的慢。即便在将游戏速度提升 40,000 倍的专用服务器上,生成一个简短的回答也需要 2 小时。如果换算成正常的游戏速度,则需要等待超过 9 年!

      从震撼到哲学思考

      社区对这个项目的反应是压倒性的震惊和赞叹。许多人坦言,看到标题时以为是玩笑,点开视频后则被其宏大的规模和纯粹的技术实现所折服。大家普遍认为,这不仅展示了作者惊人的毅力和智慧,也再次证明了《我的世界》红石电路的图灵完备性——理论上,它可以模拟任何计算。

      这个项目也引发了有趣的哲学讨论。它那极致的慢速计算,让人联想到科幻小说中用人力或原始方式构建超级计算机的宏大构想。它提醒我们,计算的本质与速度无关,而在于逻辑的实现。同时,这也成为了一个有趣的社会观察:“在《侠盗猎车手6》问世之前,我们先在《我的世界》里玩上了 ChatGPT。”

      荷兰法院裁定:Meta 必须尊重用户对推荐系统的选择

      荷兰一家法院近日做出了一项重要裁决,命令 Meta 公司必须尊重用户在其社交平台(如 Facebook 和 Instagram)上对推荐系统的选择。这项裁决源于数字人权组织 Bits of Freedom 依据欧盟《数字服务法案》(DSA)提起的诉讼。

      裁决的核心内容

      根据 DSA 法案,大型在线平台必须赋予用户对所见内容更大的控制权。法院认为,Meta 目前允许用户切换到“非个性化推荐”时间线的做法存在缺陷:当用户离开或重启应用后,这一选择会自动重置,迫使用户回到由算法主导的个性化推荐流。

      法院裁定,这种“非持久性”的选项违背了 DSA 的立法精神,严重干扰了用户的自主权。因此,Meta 被要求在两周内修改其应用,确保用户的选择能够被永久保存。如果未能遵守,Meta 将面临每日最高 10 万欧元的罚款。

      广告模式与监管的博弈

      这一裁决再次点燃了关于科技公司商业模式的激烈辩论。许多人认为,问题的根源在于广告驱动的盈利模式,它迫使平台通过侵犯用户隐私和设计成瘾性功能来最大化利润。尽管有人呼吁转向订阅制,但也有观点认为,用户普遍“讨厌订阅”甚于讨厌广告,强制订阅可能会导致大量用户流失。

      对于法院开出的罚款金额,不少人认为对 Meta 这样的巨头来说只是“九牛一毛”。但也有人指出,欧洲法院的目标通常是促使合规而非惩罚,这更像是一个警告。如果 Meta 持续违规,后续的处罚将更加严厉。这起案件标志着欧洲在限制大型科技公司权力、保护用户数字权利方面又迈出了坚实的一步。

      自托管相册 Immich 发布首个稳定版 v2.0.0

      广受欢迎的开源自托管照片和视频管理方案 Immich 近日发布了其里程碑式的 v2.0.0 版本,正式宣告项目进入稳定阶段。这款被誉为“Google Photos 最佳替代品”的应用,在经历了近四年的开发、获得了社区的巨大支持后,终于摘掉了“不稳定”的标签。

      稳定与未来

      v2.0.0 版本的发布意味着团队将优先考虑向后兼容性,让用户可以更轻松、更放心地进行升级。团队还推出了全新的网站,并计划在未来推出自动堆叠、改进分享功能等。

      一个值得关注的计划是,Immich 将探索非侵入性的付费增值服务,例如端到端加密的异地备份和“伙伴备份”功能。这些服务旨在为项目提供可持续的资金支持,同时提升自托管的便利性和可靠性,但核心功能将永远保持免费和开源。

      社区的热烈反响

      社区对 Immich 的稳定版发布报以热烈的掌声,并对 FUTO 基金会的支持表示赞赏。许多用户分享了他们的使用体验,证实了经过近期的性能优化,Immich 已经可以在树莓派或 Oracle 免费云等中低配置硬件上流畅运行。

      讨论中,大家还就备份策略、文件管理方式(文件夹 vs 数据库)、高级搜索功能以及与其他工具(如 Nextcloud)的协同工作流等话题展开了深入交流。Immich 团队的积极参与和对社区反馈的重视,也让用户对项目的未来充满信心。总而言之,Immich v2.0.0 的发布,标志着自托管照片管理领域迎来了一个成熟、强大且充满活力的选择。

      Keyhive:探索本地优先应用的访问控制新范式

      来自知名研究实验室 Ink & Switch 的新项目 Keyhive,正在探索一个极具挑战性的领域:为本地优先(local-first)应用构建一个安全、去中心化的访问控制系统。其目标是让开发者能像构建 Signal 那样轻松地为任何协作应用添加端到端加密和精细的权限管理,而无需依赖任何中央服务器。

      去中心化授权的挑战与创新

      在传统的云应用中,授权依赖于中心服务器。但在本地优先应用中,每个设备都拥有数据的完整副本,且需要支持离线工作,这使得传统模式失效。Keyhive 通过一套创新的设计来解决这个问题:

      • 聚合能力 (Concap):一种专为 CRDTs 设计的新型能力模型,通过加密证明实现灵活的权限委托,可以轻松建模角色、团队等复杂概念。
      • 连续群组密钥协商 (BeeKEM):一个为去中心化环境优化的群组密钥协议,灵感来源于 Signal 使用的 TreeKEM,旨在高效、安全地管理成千上万成员的加密密钥,即使在网络分区和并发操作下也能保持安全。
      • 高效授权同步协议 (Beelay):一个新的 RPC 协议,利用创新的数据结构(如 RIBLT 和 Sedimentree),在加密通道上高效地同步权限和文档内容,同时最大限度地减少暴露给同步服务器的元数据。
      • 来自社区的赞誉

        社区对 Ink & Switch 在本地优先和去中心化领域持续深耕的努力给予了高度评价,认为他们的工作为当前被云服务主导的软件生态注入了“一股清新的空气”。Keyhive 的出现,为构建真正尊重用户数据主权、同时具备强大协作能力的新一代应用提供了坚实的基础。尽管项目仍处于早期阶段,但其清晰的愿景和扎实的技术方案,已经让人们对其未来充满了期待。

        3000年前的炼铜遗址揭示铁器时代的起源之谜

        一项对格鲁吉亚一个 3000 年前炼铜遗址的最新研究,为人类历史上最重大的技术变革之一——铁器时代的到来,提供了关键线索。研究表明,铁的冶炼技术很可能是在炼铜过程中被“意外”发明的。

        助熔剂里的意外发现

        考古学家重新分析了这个名为 Kvemo Bolnisi 的遗址,发现古代的工匠们在冶炼铜矿石时,会加入赤铁矿(一种氧化铁矿物)作为助熔剂,以提高铜的产量。这个过程很可能让他们在无意中接触并了解了铁的特性,最终通过不断的实验,掌握了从铁矿石中提取铁的技术。

        这一发现有力地支持了一个长期存在的理论:冶金技术的进步并非一蹴而就,而是在日常生产实践中,由一线的工匠们通过观察、实验和经验积累逐步推动的。它生动地展示了古代“材料科学家”们是如何通过处理看似无用的废料(炉渣),最终解锁了一项改变世界的技术。

        历史、地质与创新的交织

        社区的讨论从多个角度丰富了这一发现。有地质学背景的专家解释说,富含铁的矿物和铜矿石在地质上常常伴生,这为古代工匠同时接触到这两种材料提供了自然条件。

        这个故事也引发了关于创新本质的思考。真正的技术突破,往往不是来自顶层的设计,而是源于那些日复一日与材料打交道的实践者。他们通过“半迷信”式的反复试验,总结出有效的工艺流程,而其背后的科学原理,则需要后人去揭示。同时,也有讨论指出,世界其他地区(如印度)可能存在更早的炼铁证据,这提醒我们人类技术的演进是一个复杂且多点开花的过程。

        CNN 可视化报告:以色列的行动如何导致加沙饥荒

        CNN 发布了一篇深入的可视化报告,通过数据和图表,揭示了加沙地带日益恶化的人道主义危机,并分析了导致部分地区陷入“人为”饥荒的多种因素。

        危机背后的数据

        报告引用了联合国支持的“综合粮食安全阶段分类”(IPC)的预测,指出到九月底,加沙近三分之一的人口将面临饥荒,其中超过 50 万人陷入“饥饿、贫困和死亡”的境地。儿童的状况尤其令人担忧,预计将有超过 13 万名五岁以下儿童遭受急性营养不良。

        报告分析了危机的几个主要原因:

        • 援助障碍:繁琐的边境检查、审批延迟和任意拒绝物资等官僚障碍,严重阻碍了人道主义援助的进入。
        • 替代援助方式的争议:空投和部分援助点被救援人员认为是“非人道且难以接近”的,并给平民带来了额外的风险。
        • 农业系统的崩溃:军事行动导致加沙仅有 1.5% 的农田仍可使用,极大地限制了当地的粮食生产能力。
        • 复杂的视角与讨论

          这篇文章在社区引发了深刻的讨论。有观点对封锁基本生存物资的行为表达了强烈的道德谴责,认为无论冲突背景如何,这都是不可接受的。许多人表示,文章的可视化数据让他们对当地情况的严峻性有了更直观、更震撼的认识。

          同时,也有声音提醒人们避免将冲突简单化。有评论指出,以色列内部对其政府的行动也存在巨大的政治分歧,将政府行为等同于全体民众的意愿是不准确的。此外,巴勒斯坦内部各派系之间的复杂关系也表明,“没有什么是非黑即白的”。这些讨论共同指向了一个共识:加沙正在经历一场严峻的人道主义危机,需要国际社会的高度关注和对复杂现实的深刻理解。

          相关链接:

          • F3: Open-source data file format for the future [pdf]
          • Cormac McCarthy's personal library
          • We bought the whole GPU, so we're damn well going to use the whole GPU
          • Gmail will no longer support checking emails from third-party accounts via POP
          • I built ChatGPT with Minecraft redstone [video]
          • NL Judge: Meta must respect user's choice of recommendation system
          • Immich v2.0.0 – First stable release
          • Keyhive – Local-first access control
          • A 3K-year-old copper smelting site could be key to understanding origins of iron
          • How Israeli actions caused famine in Gaza, visualized
          ...more
          View all episodesView all episodes
          Download on the App Store

          Agili 的 Hacker PodcastBy Agili 的 Hacker Podcast