大数据对数据的7种预测

众所周知，人类在预测未来(尤其是从长远来看)方面很差。但是，它仍然是有用的练习。让我们看看我认为2021年将为数据科学，工程学和战略带来什么。该列表没有特别的顺序，主要集中在我在德国的观察：

1. 角色稳定

在过去的几年中，出现了新的数据角色，例如机器学习工程师，数据产品所有者等。这些还没有完全流行起来，大型公司仍在求助于数据科学家的传统角色。我认为，为员工和雇主提供更多职位及其相关技能是一个好主意。

2. 合并MLOPS工具

去年是MLOPs工具和创业公司蓬勃发展的一年。尽管如此，许多这样的公司仅提供相同产品的变体。2021年将淘汰许多杂草，而领先者将占领大部分市场。

3. DataOps大肆宣传

敏捷和精益方法在数据科学和工程中的应用将变得更加广泛。

4. 数据策略已成为主流

在过去的两年中，我一直在讨论这个主题，但是这份工作描述仍然很少见，尤其是在欧洲。但是，这并不意味着该角色不会由现有人员担任。他们可能只是在其他区域下工作。不过，该领域对于成功交付数据项目至关重要，我对进一步的增长和接受表示乐观。

5. 生产中的xAI

xAI长期以来一直在攀升Gartner Hype曲线，现在达到了开始交付成果的地步。该子领域的成功仍然存在障碍(例如需要不稳定的开源和神秘技能)。尽管如此，新的工具正在出现，以将其推向生产。

6. 进一步的数据工程爆炸式增长

没有它的基础-数据工程，任何数据科学项目都不会成功。公司认识到这一点很晚，并且在2021年仍然会赶上来。

7. 智能数据清理和ETL工具

每个人都知道花费在清理数据上的时间。到目前为止，使用工具解决这是一个棘手的问题，但是诸如Cloud Data Prep之类的新开发将催生竞争对手。

考虑到这个清单，我想在数据方面对2021年表示两个希望。首先，我希望整个领域(尤其是其中的ML部分)变得“无聊”，但有用。其次，我们开始使用这项出色的技术来解决我们面临的紧迫问题，并迈向更加乐观和雄心勃勃的未来。

大数据（big data）是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据有五大特点，即大量（Volume）、高速（Velocity）、多样（Variety）、低价值密度（Value）、真实性（Veracity）。它并没有统计学的抽样方法，只是观察和追踪发生的事情。 大数据的用法倾向于预测分析、用户行为分析或某些其他高级数据分析方法的使用。