大数据分析一般用什么工具？
大数据分析，他们对企业的影响有很高的兴趣。大数据分析是在研究大量数据的过程中发现模式、相关性等有用信息，可以帮助企业更好地适应变化，做出更明智的决策。
首先，Hadoop
Hadoop是一个开源框架，它允许整个集群使用简单的编程模型计算机在分布式环境中存储和处理大数据。它的目的是从单个服务器扩展到数千台机器，每台机器都可以提供本地计算和存储。
Hadoop是一个可以分发大量数据的软件框架。但是Hadoop是以一种可靠、高效和可扩展的方式处理的。Hadoop
是可靠的，即使计算元件和存储发生故障，它也会维护工作数据的多个副本，以确保可以为发生故障的节点重新分配处理。Hadoop是高效的，它并行工作，通过并行处理来加快处理速度。Hadoop
它也是可扩展的，可以处理PB级的数据。另外，Hadoop依赖于社区服务器，所以成本相对较低，任何人都可以使用。
Hadoop是一个易于构建和使用的分布式计算平台。用户可以在Hadoop上轻松开发和运行处理海量数据的应用。它主要有以下优点:
1，可靠性高。Hadoop一点一点存储和处理数据的能力是值得信赖的。
2.高可扩展性。Hadoop在可用的计算机集群之间分发数据和完成计算任务，可以很容易地扩展到数千个节点。
3.效率高。Hadoop可以在节点之间动态移动数据，保证各个节点的动态平衡，所以处理速度非常快。
4.高容错性。Hadoop可以自动保存数据的多个副本，并自动重新分配失败的任务。
Hadoop有一个用Java语言写的框架，所以运行在Linux生产平台上是很理想的。Hadoop上的应用也可以用其他语言编写，比如
C++ .
第二，HPCC
HPCC，高性能计算和
通信(高性能计算和通信)的简称。1993年，美国联邦科学、工程和技术协调委员会向国会提交了一份“重大挑战项目:高性能计算和通信”的报告，该报告也被称为HPCC计划，即美国总统科学战略项目，旨在通过加强研发来解决一批重要的科技挑战。HPCC是美国实施信息高速公路的一个计划。这项计划的实施将耗资数百亿美元。其主要目标是开发可扩展的计算系统和相关软件，以支持以太网的传输性能，发展千兆位网络技术，扩大研究和教育机构及网络连接能力。
该项目主要由五部分组成:
1，高性能计算机系统(HPCS)，包括未来几代计算机系统的研究、系统设计工具、先进典型系统和原系统评估等。
2.高级软件技术和算法(ASTA)，包括对巨大挑战的软件支持、新算法设计、软件分支和工具、计算和高性能计算研究中心等。
3.国家研究和教育网格(NREN)，包括扩展坞和654.38+0亿比特传输的研发；
4.基础研究和人力资源(BRHR)包括基础研究、培训、教育和课程材料，旨在通过奖励调查人员(开始和长期调查)来增加可扩展高性能计算领域的创新意识，通过改善教育和高性能计算培训和交流来增加熟练和受过培训的人员的合资企业，并提供必要的基础设施来支持这些调查和研究活动；
5.信息基础设施技术与应用(IITA)旨在确保美国在先进信息技术发展方面的领先地位。
第三，风暴
Storm是一个免费、开源、分布式、高度容错的实时计算系统。Storm让连续流计算变得简单，弥补了Hadoop批处理无法满足的实时性要求。Storm常用于实时分析、在线机器学习、连续计算、分布式远程调用和ETL。Storm的部署管理非常简单，Storm的性能在同类流计算工具中是出类拔萃的。
Storm是一个免费的开源软件，一个分布式和容错的实时计算系统。Storm可以非常可靠地处理巨大的数据流，可以用来处理Hadoop的批量数据。Storm很简单，支持多种编程语言，使用起来非常有趣。暴风来自Twitter，其他知名应用公司有Groupon、淘宝、支付宝、阿里巴巴、音乐元素、Admaster等等。
Storm有很多应用:实时分析、在线机器学习、不间断计算、分布式RPC(远程过程调用协议，通过网络向远程计算机程序请求服务)，
ETL(提取-转换-加载的简称)等等。Storm的处理速度非常惊人:经过测试，每个节点每秒可以处理654.38+0万个数据元组。Storm具有可扩展性、容错性，并且易于设置和操作。
第四，阿帕奇演习
为了帮助企业用户找到更有效的方法来加速Hadoop数据查询，Apache Software Foundation最近推出了一个名为“Drill”的开源项目。街头流氓
Drill实现了Google的Dremel。“Drill”已作为Apache孵化器项目运营，并将面向全球软件工程师持续推广。
这个项目将创建一个谷歌Dremel的开源版本。
Hadoop工具(Google用这个工具来加速Hadoop数据分析工具的互联网应用)。而“钻取”将帮助Hadoop用户更快地查询海量数据集。
“Drill”项目实际上是受谷歌Dremel项目的启发:该项目帮助谷歌实现了对海量数据集的分析和处理，包括分析和抓取Web文档，跟踪并安装在Android上。
市场上的应用数据，垃圾邮件的分析，在Google的分布式构建系统上的测试结果分析等。
通过开发“Drill”Apache开源项目，组织将有望建立Drill所属的API接口和灵活强大的架构，从而帮助支持广泛的数据源、数据格式和查询语言。
动词 （verb的缩写）快速采矿机
RapidMiner提供机器学习程序。数据挖掘包括数据可视化、处理、统计建模和预测分析。
RapidMiner是世界领先的数据挖掘解决方案，在很大程度上采用了先进的技术。它的数据挖掘任务涉及的范围很广，包括各种数据艺术，可以简化数据挖掘过程的设计和评估。
功能和特点
免费提供数据挖掘技术和库；100%使用Java代码(可以在操作系统中运行)；数据挖掘的过程简单、强大、直观；内部XML确保用标准化的格式来表示exchange数据挖掘过程；大型流程可以用简单的脚本语言自动进行；多级数据视图，确保数据有效透明；图形用户界面的交互式原型；命令行(批处理模式)自动大规模应用；Java 语言(一种计算机语言，尤用于创建网站)
API(应用编程接口)；简单的外挂和推广机制；强大的可视化引擎，众多前沿高维数据的可视化建模；由400多个数据挖掘操作员支持；耶鲁大学已成功应用于许多不同的应用领域，包括文本挖掘、多媒体挖掘、功能设计、数据流挖掘、集成开发方法和分布式数据挖掘。
RapidMiner的局限性；RapidMiner对行数有大小限制；对于RapidMiner，你需要比ODM和SAS更多的硬件资源。
不及物动词Pentaho BI
Pentaho BI平台不同于传统BI。
产品，它是一个以过程为中心，面向解决方案的框架。其目的是整合一系列企业BI产品、开源软件、API等组件，方便商业智能应用的开发。它的出现使得Jfree、Quartz等一系列面向商业智能的独立产品能够被整合起来，形成一个复杂完整的商业智能解决方案。
Pentaho BI平台，Pentaho Open BI
该套件的核心架构和基础是以流程为中心的，因为它的中央控制器是一个工作流引擎。工作流引擎使用流程定义来定义BI中的流程定义
在平台上执行的商业智能流程。可以轻松定制流程，并添加新流程。双性恋的
该平台包含用于分析这些流程性能的组件和报告。目前，Pentaho的主要组件包括报告生成、分析、数据挖掘和工作流管理。这些组件通过以下方式实现
Pentaho平台集成了J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术。
Pentaho的发行主要是以Pentaho SDK的形式。
彭塔霍
SDK***由五部分组成:Pentaho平台、Pentaho样本数据库、可以独立运行的Pentaho平台、Pentaho解决方案样本和一个预先准备好的样本。
Pentaho网络服务器。其中，Pentaho平台是Pentaho平台最重要的部分，包含了Pentaho平台的主要源代码；Pentaho数据库是
Pentaho平台正常运行提供的数据服务，包括配置信息、解决方案相关信息等。，对于Pentaho平台不是必须的，可以通过配置替换为其他数据库服务；可独立运行的Pentaho平台是Pentaho平台独立运行模式的一个例子，演示了如何让Pentaho平台在没有应用服务器支持的情况下独立运行。
Pentaho解决方案示例是一个Eclipse项目，演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI平台建立在服务器、引擎和组件的基础上。这些提供了系统的J2EE。
服务器、安全性、门户、工作流、规则引擎、图表、协作、内容管理、数据集成、分析和建模功能。这些组件中的大部分都是基于标准的，可以被其他产品替代。
七，德鲁伊
Druid是一个实时数据分析存储系统，是Java语言中最好的数据库连接池。德鲁伊可以提供强大的监控和扩展功能。
八，安巴里
大数据平台建设和监控利器；同样，CDH。
1，提供Hadoop集群
Ambari提供了在任意数量的主机上安装Hadoop服务的分步向导。
Ambari处理集群Hadoop服务的配置。
2.管理Hadoop集群
Ambari为整个集群提供启动、停止和重新配置Hadoop服务的集中管理。
3.监控Hadoop集群
Ambari提供了一个仪表板，用于监控Hadoop集群的健康和状态。
九、火花
大规模数据处理框架(可以应对企业常见的三种数据处理场景:复杂的批量数据处理(批量数据
加工)；基于历史数据的交互式查询；基于实时数据流的数据处理，Ceph:Linux分布式文件系统。
X.Tableau公共
1.Tableau Public是什么——大数据分析工具？
这是一个简单而直观的工具。因为它通过数据可视化提供了有趣的见解。（舞台上由人扮的）静态画面
Public的百万行限制。因为它比数据分析市场上的大多数其他玩家更容易使用票价。使用Tableau的视觉效果，你可以调查一个假设。另外，浏览数据，交叉核对自己的意见。
2.Tableau Public的使用
您可以免费将交互式数据可视化发布到Web上；不需要编程技能；发布到Tableau
公众形象可以嵌入到博客中。此外，你还可以通过电子邮件或社交媒体分享网页。* * *你喜欢的内容可以用有效硫下载。这使得它成为最好的大数据分析工具。
3.Tableau Public的局限性
所有数据都是公开的，限制访问的范围很小；数据大小限制；无法连接到[R；唯一的读取方法是通过OData source，也就是Excel或者txt。
XI。OpenRefine
1.什么是open refine-一个数据分析工具？
数据清理软件，原名GoogleRefine。因为它可以帮助您清理数据以便进行分析。它对一行数据进行操作。此外，在列下放置列与关系数据库表非常相似。
2.OpenRefine的使用
清理杂乱的数据；数据转换；解析来自网站的数据；通过从Web服务获取数据向数据集添加数据。例如，OpenRefine可用于根据地理坐标对地址进行地理编码。
3.OpenRefine的局限性
Open Refine不适合大型数据集；提炼对大数据不起作用。
十二。KNIME
1，什么是KNIME-数据分析工具？
KNIME通过可视化编程帮助你操作、分析和建模数据。它用于集成数据挖掘和机器学习的各种组件。
2.KNIME的目的
不要写代码块。相反，您必须删除并拖动活动之间的连接点；数据分析工具支持编程语言；事实上，分析工具，如可扩展运行化学数据、文本挖掘、python和[R。
3.KNIME的限制
数据可视化差
十三。谷歌融合表
1.什么是谷歌融合表？
对于数据工具，我们有一个更酷、更大的谷歌电子表格版本。一个不可思议的工具，用于大型数据集的数据分析、绘图和可视化。此外，谷歌
融合表可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。
2.使用谷歌融合表。
在线可视化更大的表格数据；跨几十万行过滤汇总；将表格与Web上的其他数据相结合；您可以合并两个或三个表以生成包含数据集的单个可视化效果；
3.谷歌融合表的局限性
只有表中的前100，000行数据包含在查询结果中或被映射；API调用中发送的数据总大小不能超过1MB。
十四。NodeXL
1，NodeXL是什么？
它是关系和网络的可视化和分析软件。NodeXL提供了精确的计算。这是一个免费(非专业)和开源的网络分析和可视化软件。NodeXL是最好的数据分析统计工具之一。这包括高级网络指示器。此外，访问社交媒体网络数据导入程序和自动化。
2.NodeXL的用途
这是Excel中的一个数据分析工具，可以帮助实现以下几个方面:
数据导入；图形可视化；图形分析；数据表示；该软件集成到微软Excel中。
2007年，2010，2013，2016。它作为工作簿打开，包含各种包含图形结构元素的工作表。这就像节点和边；该软件可以导入各种图形格式。这个邻接矩阵，帕杰克
。网，UCINet。dl，GraphML和边列表。
3.NodeXL的局限性
对于特定的问题，您需要使用多个种子术语；在稍微不同的时间运行数据提取。
十五，沃尔夫拉姆阿尔法
1，Wolfram Alpha是什么？
这是一个由史蒂夫·沃尔夫勒姆创建的计算知识引擎或响应引擎。
2.Wolfram Alpha的使用
它是苹果Siri的附加组件；对技术搜索提供详细回应，解决微积分问题；帮助商业用户获得信息图表和图形。它还有助于创建主题概述、商品信息和高级定价历史。
3.Wolfram Alpha的局限性
Wolfram Alpha只能处理公众人物和事实，不能处理观点；它限制了每次查询的计算时间；这些用于数据分析的统计工具有什么问题？
十六、谷歌搜索运营商
1.什么是谷歌搜索运营商？
它是帮助你过滤谷歌搜索结果的强大资源。这将立即获得最相关和最有用的信息。
2、谷歌搜索运营商的使用
更快速地过滤谷歌搜索结果；谷歌强大的数据分析工具可以帮助发现新信息。
十七、Excel求解器
1.什么是Excel规划求解
规划求解加载宏是一个Microsoft Office Excel加载宏程序。另外，这是你第一次安装微软。
在Excel或Office中可用。它是excel中的一个线性规划和优化工具。这允许您设置约束。它是一种先进的优化工具，有助于快速解决问题。
2、规划求解的使用
求解器找到的最终值是关系和决策的解；它采用多种方法，来源于非线性优化。也有线性规划到进化算法和遗传算法求解。
3.规划求解的局限性
扩展错误是Excel规划求解缺少的一个方面。会影响解决的时间和质量；规划求解将影响模型的内在可解性；
十八。大台库决策支持系统
1.什么是大台库DSS？
这是一个协作数据科学软件平台。此外，还有助于团队建设、原型制作和探索。虽然，它可以更有效地提供自己的数据产品。
2.Dataiku DSS的使用
数据分析工具提供了一个交互式的可视化界面。因此，他们可以构建、点击、指向或使用SQL等语言。
3.数据仓库决策支持系统的局限性
可视化功能有限；UI障碍:重载代码/数据集；整个代码不容易被编译到单个文档/笔记本中；仍然需要与SPARK整合
以上工具只是大数据分析中用到的部分工具，边肖就不一一列举了。让我们对一些工具的用途进行分类:
1，前端显示
演示分析的前端开源工具有JasperSoft、Pentaho、Spagobi、Openi、Birt等。
用于表示分析商业分析工具包括Style Intelligence、RapidMiner Radoop、Cognos、BO、Microsoft。
Power BI，Oracle，Microstrategy，QlikView，Tableau .
国内有BDP、郭云数据(大数据分析镜像)、Smart、FineBI等。
2.数据仓库
Teradata aster data，EMC Greenplum，HP Vertica等等。
3.数据集市
还有QlikView，Tableau，Style Intelligence等等。