德塔赛

德塔赛

By 德塔赛NewsTechnologyTech News
Download on the App Store

德塔赛 episodes

  • 图像语义分析和显著性检测

    今天这期节目，UCSD 的博士学生秦瑶和我们介绍了计算机视觉方向的研究问题。秦瑶主要在图像分割 (Image Segmentation) 和显著性检测 (Saliency Detection) 方向开展她的研究。

    这一期节目中，我们主要聊了语义分析和显著性检测这两类计算机视觉的研究问题。我们了解了这些问题是如何定义的，介绍了常用的解决方法，并讨论了如何给这类学习任务收集和标注训练数据。我们还特别提到了语义分析技术在医疗图像处理上的应用。

    节目的最后，我们还听到了一个在学术会议上意外找到研究实习的故事。

    提到的一些内容
    • 秦瑶个人主页
    • 秦瑶提到了元胞自动机 (Cellular Automaton) 在计算机视觉问题上的应用，
      • 例如显著性检测。
      28 min
    • 漫谈 Boosting 算法

      直觉上来讲，我们会觉得一个机器学习模型的准确率要很高才有用。如果有一个模型声称它能保证对于数据的任何分布，它都能保证达到 51% 的正确率，我会觉得它弱爆了，并不会想用它来解决问题（除非我在考试，题目是选择题，并且只有两个选项）。

      我们今天的节目就和这类听起来很“弱”的模型有关。在机器学习中，它们被称为”弱学习器“。机器学习理论中曾有这样的问题，如果我们有办法不断的产生不同的”弱学习器“，并可以”聪明地“把它们拼接起来，有没有可能可以让预测的准确率一路上升，甚至无限接近 100% 呢？Boosting 算法就是在这个背景下产生的。我们在这一期节目中聊了什么是强学习和弱学习器、AdaBoost 算法的策略和 Boosting 的思想在现实世界和机器学习问题中的应用。

      提到的一些内容
      • 张家鹏个人主页
      • AdaBoost 的作者之一 Robert Schapire 写
        • 了 Explaining AdaBoost 这篇论文，
        其中详述了我们在节目中讨论到的强弱学习器的定义和 AdaBoost 算法的 Margin 理论。
      • 张家鹏提到了一个股市交易中强弱学习器的例子。有趣的是，这个例子曾真实发生过。
        • Kickstarter 的创始人 Perry Chen 在接受播客节目 How I Built This 的采访时曾经提到，
        他之前做过的一份工作的职责就是做一个用于股票交易的“弱学习器”。
        Perry Chen 的采访音频版本可以在这个链接听到，
        文字版本请点击这里。
      • 张家鹏还和我们分享了 Boosting 在差分隐私（differential privacy）上的应用，
        • 具体的工作可以参见 Dwork, C., Rothblum, G.N. and Vadhan, S., 2010。
      • 我们在节目中提到了用 AdaBoost 解决人脸检测的算法 Viola-Jones 目标检测框架。
      • 节目的最后我们还提到了目前最流行的 Gradient Boosting 实现 XGBoost。
        • 27 min
      • 用机器学习近似NP困难问题

        计算机领域有一类困扰了科学家很久的问题，叫做NP困难问题。NP困难问题在生活中很常见，例如物流、城市规划等等都可以找到NP困难问题的原型。但这类问题至今都没有有效的、多项式时间内的解。计算机理论领域的研究者从搜索、构造等角度给出过很多种近似解法。人工智能在这类问题中会有怎样的应用呢？机器学习算法如何从多个小问题中找规律来近似这一大类问题呢？AlphaGo背后的强化学习算法又是怎么和这个问题联系起来的呢？我们以NP困难中的最小点覆盖问题为例，介绍机器学习算法在NP困难的组合优化问题上的应用。

        提到的一些内容
        • 戴涵俊个人主页
        • 节目刚开始时我们提到了一个NP困难的问题：旅行推销员问题。
        • 我们主要介绍的最小点覆盖问题也是NP困难问题中的一类
        • 戴涵俊介绍的用强化学习解最小点覆盖问题的方法主要基于: Learning Combinatorial Optimization Algorithms over Graphs
        • AlphaGo所用的强化学习算法和戴涵俊介绍的强化学习算法都是通过深度神经网络实现的，称为Deep Reinforcement Learning / Deep Q-Learning
        • 最后提到的把图用向量来表示的graph embedding方法的相关文章：Discriminative Embeddings of Latent Variable Models for Structured Data
          • 18 min
        • 在线教育带来新的数据契机

          本期嘉宾：翟真

          话题：教育领域里的数据

          网易公开课等网络课程，降低了越来越多人获得新知识的门槛；相较于传统的作业本和试卷，在线的作业、考试也使整个教学过程更高效便捷。更重要的是，这些线上的教育平台提供了一种系统地获得、整理、分析学生在学习过程中每一步的相关数据。例如，哪一段教学视频是学生重复看了很多次才看懂的，做作业时学生在做出了哪些错误的尝试之后得出了正确答案…… 通过分析这些数据，老师可以更有针对性地利用课堂时间；在学生做作业时，在线作业系统可以给出更有针对性的提示，来帮助学生更快地完成作业。那么我们要如何获得这些数据？有哪些软件可以帮助我们搭建这样的平台来实现我们具体的教学需求？在收集和使用教育领域的数据的过程中又有哪些特殊的要求呢？

          提到的一些内容
          • 翟真个人主页
          • 节目刚开始时我们提到了一个公开课平台 Coursera。
          • Open Edx是一个开源的搭建教育平台的工具，学校、老师可以通过修改Open Edx的源代码搭建符合自己的教学需要的平台。
          • 慕课(MOOC) --- 大规模开放的在线课程，是一种在线课程开发模式。Coursera和Edx就是目前为止最大的两个MOOC平台。
          • 节目中提到在收集和使用教学数据的时候，使用者通常需要接受伦理审查委员会(IRB)的培训，规范收集和使用数据的过程。
            • 25 min
          • 给神经网络做减法

            在过去的几年中，深度神经网络给很多机器学习任务带来了很大的突破。从图像识别到机器翻译，在深度学习的帮助下，很多任务已经实现了超过人类平均水平的精度。然而精度的提升背后的代价是数以百万计的参数，和长达几天甚至几周的显卡上的运算需求。大量的功耗和庞大的模型，限制了深度学习模型在手表手机等小型电子设备上的应用。那么我们该如何在不损失太多精度的同时，给深度网络做减法，让深度学习可以更好的应用在嵌入式系统中呢？本期节目我们从硬件的角度讨论深度学习的优化。

            提到的一些内容
            • 林政豪个人主页
            • 我们提到的第一种减少参数的方法，对weights做剪枝: Learning both Weights and Connections for Efficient Neural Networks
            • 节目中多次提到的通过改变连接方式减少参数，增加深度的残差网络ResNet: Deep Residual Learning for Image Recognition
            • 林正豪介绍的二元化神经网络BNN的主要内容是基于: Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1
            • 可以类比二元网络的信息损失较少的一个例子: Paul Brady的一张由黑白两色组成，但看起来是灰阶的青蛙图
            • 普遍应用于各种神经网络，尤其是对二元化神经网络有决定性作用的batch normalization算法: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
            • 二元化神经网络BNN在FPGA上的实现: Accelerating Binarized Convolutional Neural Networks with Software-Programmable FPGAs
              • 37 min
            • 主动学习的几种策略
              主动学习的几种策略

              现实生活中的绝大部分数据都是没有标签的。在收集整理了数据后，如果人工对每一条数据一一标注，时间成本和经济成本都会非常高。在本期节目中，张驰丞介绍了这个问题的一种解决方法：主动学习，由算法主动索要某一些数据标签的机器学习方法。我们将深入讨论不同的方法是如何判断哪些样本格外“困难”，需要手工标注。

              本期提到的资源：

              • 张驰丞个人主页
              • 驰丞提到的一类主动学习方法，争议型准则的相关文章：Beyond Disagreement-based Agnostic Active Learning
              • 在讲到agnostic的设定下，我们提到了PAC Learning
              • 节目开始时提到的可以用来标识数据的众包平台 Amazon Mechanical Turk
                • 20 min
              • 收集数据的故事
                收集数据的故事

                德塔赛的第一期节目从数据科学的第一步──收集数据开始。数据科学依赖于大量数据，当现有的基准数据集不能满足实验要求的时候，我们如何利用人人都可以获得的互联网上的数据来建立我们自己的数据集？主播阿拉法特和主播舒晏分别介绍了有关社交网络上的文字数据收集和大规模图像数据收集的故事。

                本期提到的资源：

                • ImageNet
                  • 19 min

                About 德塔赛

                From the publisher's feed

                德塔赛 DataSci 是专注数据科学的播客，每期节目会访谈一位数据科学领域的研究者和工程师。欢迎访问我们的官方网站 detasai.com。