课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
分布式编程开发是目前大多数软件开发程序员都在学习与应用的一个编程开发技术,下面我们就通过案例分析来了解一下,分布式技术应用都有哪些方法。
1、分布式文件系统
分布式存储的目标是利用云环境中多台服务器的存储资源来满足单台服务器所不能满足的存储需求。其特征是,存储资源能够被抽象表示和统一管理,并且能够保证数据读写与操作的安全性、可靠性等各方面的要求。
云计算催生了一些优秀的分布式文件系统和云存储服务。这两种可伸缩的分布式文件系统利用容错和故障恢复机制,有效地克服了单节点故障导致的系统故障,实现了大规模海量级的文件存储。以Hadoop文件系统为例,Hadoop文件系统(HDFS)是一个运行在普通硬件之上的分布式文件系统,它和现有的分布式文件系统有着很多相似性。然而,与其他分布式文件系统的区别也是很明显的:HDFS是高容错性的。可以部署在低成本的硬件上,HDFS高吞吐量地对应用程序进行数据访问,它适合大数据集的应用程序,HDFS放开一些POSIX的需求去实现流式地访问文件数据。
2、分布式数据库与非结构化数据存储
在分布式文件系统上。的存储海量结构化数据的分布式存储系统包括Google的BigTable、开源的HBase等。这些系统可将非结构化数据(如网页等)存储为分布式的、多维的、有序的图。HBase是Apache的Hadoop项目的子项目,是一个分布式的、面向列的开源数据库,不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库,并且采用的是基于列的而不是基于行的模式。其用户存储数据行在一个表里,一个数据行拥有一个可选择的键和任意数量的列;表是疏松存储的,因此用户可以给行定义各种不同的列。HBase主要用于需要随机访问,实时读写大数据。
3、分布式计算
基于云平台的的分布式计算模式是MapReduce编程模型。MapReduce将大型任务分成很多细粒度的子任务,这些子任务分布式在多个计算节点上进行调度和计算,从而在云平台上获得对海量数据的处理能力。“Map(映射)”和“Reduce(化简)”的主要思想都是从函数式编程语言里借来的:当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。