云计算最适合的就是海量数据的分析,Google最早提出MapReduce就是为了海量数据分析, 后来也运用在开源的云技术Hadoop中。通过Hadoop将海量数据分割于多个节点, 然后由每一个节点并行计算,将得出的结果归并到输出,同时第一阶段的输出又可以作为下一阶 段计算的输入。
AdView移动云广告服务系统平台在与计算数据量的上限不可预测的情况下, 后台采用Hadoop云技术,这样将分步式的扩展性和可用性充分发挥出来。Hadoop不是一种系统, 是一种底层架构,Hadoop框架中最核心的设计就是:HDFS和MapReduce。
HDFS核心是 :Hadoop分布式文件系统(Hadoop Distributed File System), Hadoop通过Namenode作为索引,在DataNode节点间复制备份多份数据来分步式保障存储还练数据, 同时提供了很高的分布式扩展性和可用性!
MapReduce的核心是 :将海量数据与任务进行分解,在不同阶段,同时并行和串行结合的计算, 并灵活的归纳总结到数据库中,这样可以很好地在分布式集群的资源下得以高效的处理!
在Hadoop的规则,语法,逻辑,接口需要针对具体的业务进行客户化和重新开发, 相对于传统的IT系统而言,新的业务部署和开发具备高度的挑战, 例如Google和Yahoo的基于Hadoop的云计算力量就很强大。
本文地址:http://www.tpjde.com/quote/3351.html 推平第 http://www.tpjde.com/ , 查看更多