认识达内从这里开始

认真做教育专心促就业

开发一款软件需要用到那些工具

发布：运城达内教育官网
来源：互联网
时间：2020-09-28 08:35

随着互联网的不断发展，越来越多的人都在学习软件编程开发技术，而今天我们就通过案例分析来了解一下，开发一款软件需要用到那些工具。

开发一款软件需要用到那些工具

Flume

日志收集工具，Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标(可定制)的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。

Hive

由Facebook开源，初用于解决海量结构化的日志数据统计问题。Hive定义了一种类似SQL的查询语言(HQL)，将SQL转换为MapReduce任务在Hadoop上执行，通常用于离线分析，Hive让不熟悉MapReduce开发人员也能编写数据查询语句，然后这些语句被翻译为Hadoop上面的MapReduce任务。

Yarn

Yarn是下一代Hadoop计算平台，主要是为了解决原始Hadoop扩展性差，不支持多计算框架而提出的。Yarn是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行，用于自己编写的框架作为客户端的一个lib，在提交作业时打包即可。该框架提供了资源管理、资源调度组件。

Tez

Tez是Apache新开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort、Merge和Output，Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等，这样，这些分解后的元操作可以任意灵活组合，产生新的操作，这些操作经过一些控制程序组装后，可形成一个大的DAG作业。

Spark

Spark是一个通用的并行计算框架，它提供了一个更快、更通用的数据处理平台，与Hadoop相比，Spark能够让程序在内存中运行时速度提升百倍。

Kafka

Kafka是Linkedin开源的分布式消息队列，主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。

Ambari

ApacheAmbari的作用来说，就是创建、管理、监视Hadoop的集群，是为了让Hadoop以及相关的大数据软件更容易使用的一个web工具。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请在707945861群中学习了解。

< 上一篇：运城java编程开发线程基础概念分享

下一篇：运城软件运维应用拓扑的特点与需求 >