大数据平台提供的最基本的两个功能是什么

发布网友 发布时间：2022-04-20 08:26

我来回答

共1个回答

热心网友 时间：2022-05-02 07:14

最基本的两个功能是：一数据收集；二数据分析归纳。　　
扩展：

一、它必须容纳海量数据

　　如果大数据分析平台无法扩展以存储或管理海量数据，那么仅仅提高速度所带来的作用相当有限。大数据分析平台必须能够容纳海量数据。

　　大规模并行处理是用于扩展分析处理的理想技术，因为它同时利用计算机群集的存储和计算能力。它不仅在性能上有所扩展，而且其处理传入的大量数据流的能力也相应提高。

　　此外，被设计为用于处理结构化数据的大数据平台使用MPP，可进一步加速处理操作，这是因为已针对分析程序优化了结构化数据，并减少了回答查询所需执行的搜索量。结构化数据库能够更好地了解数据在数据海洋中的位置，并且可以精确地存取数据。

　　一般来说，非结构化数据库难以扩展到采用列式设计的结构化数据库所能达到的级别。但是，大数据分析平台可能整合有能够提高非结构化数据库的可扩展性和性能的功能。

　　二、它必须非常快

　　简单来说，数字时代下，用户不希望在运行查询时长时间地等待结果。他们期望即时得到满足，获得即时结果，而对其他工作负载没有影响。这意味着大数据分析平台必须增强现有应用程序的性能，允许您开发具有挑战性的新分析方法，并提供合理、可预测和经济的横向扩展策略。

　　从技术角度来看，要满足这些期望，必须结合列式数据库架构(相对于基于行的非并行处理传统数据库)和使用大规模并行处理技术或者说MPP。

　　理由在于：列式设计可最大限度地减少I/O争用，后者是导致分析处理发生延迟的主要原因。列式设计还可提供极高的压缩率，相比于行式数据库，通常可将压缩率提高四倍或五倍。MPP数据仓库通常按比例线性扩展，这意味着如果您将双节点MPP仓库的空间翻倍，那么可有效将其性能提高一倍。

　　列式设计和MPP的结合不仅能够大幅提高性能(通常约100到1000倍)，还可以实现更低且更透明的定价机制，例如针对每TB的模型而非传统的针对每处理器、每节点、每用户的定价方案。最终结果：性能呈指数级增长，同时大数据分析处理过程的总成本大幅降低。

　　三、它必须兼容传统工具

　　如果您的大数据分析平台依赖于“提取、转换、加载”(ETL)工具(如Attunity、Informatica、Syncsort、Talend或Pentaho)或基于SQL的可视化工具(如Logi

Analytics、Looker、MicroStrategy、Qlik、Tableau和Talena），请确保该平台已经过认证，可与所有这些工具而不仅仅是主要供应商的工具搭配使用。此外，确保您使用的所有工具和扩展技术符合最新版本的ANSI
SQL标准(SQL2011)。

　　四、它必须为数据科学家提供支持

　　数据科学家在企业IT中拥有着更高的影响力和重要性，因此大数据分析平台应在下述两个关键方面支持数据科学家。首先，新一代数据科学家采用Java、Python和R等工具来执行预测式分析。底层分析数据库应支持和加速创新型预测分析的创建过程。

　　其次，此平台应有助于将数据科学家的工作与业务目标联系起来。如今，数据科学家的角色常常从统计学家演变而来，后者相对而言更具学术意味，而且通常并不熟悉宏观业务目标。在某些情况下，会导致数据科学家得出的结论可能不完整、不准确或与业务成果无关。同时，商业人士常常乐于让统计学家在封闭的环境中工作，只在需要他们支招时才去找他们。

　　快速、高效、易于使用和广泛部署的大数据分析平台可以帮助拉近商业人士和技术专家之间的距离。

　　五、它应提供高级分析功能

　　根据您的特定使用情况，可能有必要深入查看由大数据分析引擎提供的内置SQL分析功能。您必须从底层查看，以了解究竟提供了何种SQL分析，而不用对该数据执行分析。例如，如果要对从设备获得的数据执行分析(如在物联网中)，则需要诸如“时间序列分析”和“差距分析”等分析功能。如果没有这些功能，您可能需要花费时间整理数据或编写自定义代码。