ambari-summary
ambari是一个大数据平台的管理工具,包含了hadoop, yarn, hive, hbase, spark等大数据的基础架构和工具,简化了数据平台的搭建,之前只是在同事搭建好平台后的一些使用,这次有机会从头开始用ambari来搭建一个测试的数据平台,过程中也踩到不少坑,简单…
ambari是一个大数据平台的管理工具,包含了hadoop, yarn, hive, hbase, spark等大数据的基础架构和工具,简化了数据平台的搭建,之前只是在同事搭建好平台后的一些使用,这次有机会从头开始用ambari来搭建一个测试的数据平台,过程中也踩到不少坑,简单…
接触了一下rabbitmq,原来在选型的时候是在rabbitmq跟kafka之间做选择,网上搜了一下之后发现kafka的优势在于吞吐量,而rabbitmq相对注重可靠性,因为应用在im上,需要保证消息不能丢失所以就暂时选定rabbitmq, Message Queue的需求由来…
工作中学习使用了一下Spark做数据分析,主要是用spark的python接口,首先是pyspark.SparkContext(appName=xxx),这是初始化一个Spark应用实例或者说会话,不能重复, 返回的实例句柄就可以调用textFile(path)读取文本文件,这…
抽象类与接口 抽象类内可以包含非抽象函数,即可实现函数 抽象类内必须包含至少一个抽象方法,抽象类和接口均不能实例化 抽象类可以设置访问级别,接口默认都是public 类可以实现多个接口但不能继承多个抽象类 类必须实现抽象类和接口里的抽象方法,不一定要实现抽象类的非抽象方法 接口…
Given a sorted integer array without duplicates, return the summary of its ranges.