128数据分析师的80%时间都在清洗数据

随着<a target="_blank" style="color:#4990E2;text-decoration:none;">云时代</a>的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。不是随机样本，而是全体数据:在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。不是精确性，而是混杂性:研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;不是因果关系，而是相关关系:我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。 如因作品内容，版权和其它问题请与本播主联系的，请在30日内进行。 免责声明：本书院为非营利性机构。以方便网友为主，仅供学习研究。 内容由热心网友提供和网上收集，不保留版权。若侵犯了您的权益，来信即刪。srn2188@sina.com

Society & Culture

Science

Technology

Personal Journals

Physics

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。不是随机样本，而是全体数据:在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。不是精确性，而是混杂性:研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;不是因果关系，而是相关关系:我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。如因作品内容，版权和其它问题请与本播主联系的，请在30日内进行。 免责声明：本书院为非营利性机构。以方便网友为主，仅供学习研究。内容由热心网友提供和网上收集，不保留版权。若侵犯了您的权益，来信即刪。srn2188@sina.com

随着<a rel="noopener noreferrer">云时代</a>的来临，大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。不是随机样本，而是全体数据:在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。不是精确性，而是混杂性:研究数据如此之多，以至于我们不再热衷于追求精确度;之前需要分析的数据很少，所以我们必须尽可能精确地量化我们的记录，随着规模的扩大，对精确度的痴迷将减弱;拥有了大数据，我们不再需要对一个现象刨根问底，只要掌握了大体的发展方向即可，适当忽略微观层面上的精确度，会让我们在宏观层面拥有更好的洞察力;不是因果关系，而是相关关系:我们不再热衷于找因果关系，寻找因果关系是人类长久以来的习惯，在大数据时代，我们无须再紧盯事物之间的因果关系，而应该寻找事物之间的相关关系;相关关系也许不能准确地告诉我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。 如因作品内容，版权和其它问题请与本播主联系的，请在30日内进行。 免责声明：本书院为非营利性机构。以方便网友为主，仅供学习研究。 内容由热心网友提供和网上收集，不保留版权。若侵犯了您的权益，来信即刪。srn2188@sina.com

Share 128数据分析师的80%时间都在清洗数据

Sign up to save your podcasts

128数据分析师的80%时间都在清洗数据

128数据分析师的80%时间都在清洗数据

More shows like 宇量数据

天真不天真