自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘本龙的专栏

个人邮箱:3089008201@qq.com. 技术交流群:684457529

原创 hbase数据迁移:基于 hbase Snapshot

文章目录初始环境说明表迁移创建快照数据迁移恢复快照参考资料 初始环境说明 hbase有两个集群:集群A和集群B,这里是1.1.3版本,2.X版本还没有测试。 集群A上使用Phoenix创建表: create table lbltest1 (id varchar PRIMARY KEY,accoun...

2019-07-31 14:29:11 806 0

原创 hadoop 2.7 使用 distcp 在不同集群间数据迁移拷贝

文章目录 本文讲述在多个hadoop集群中进行数据迁移操作。工作中可能会遇到同样的需求,还是很实用的。 hadoop官方提供了distcp 工具吗,具体使用说明参加官方文档: https://hadoop.apache.org/docs/r2.7.7/hadoop-distcp/DistCp.ht...

2019-07-31 14:16:05 519 0

原创 flink 读取kafka数据,并写入hbase

文章目录概述环境说明代码编写写入hbase 概述 环境说明 scala: 2.12.8 linux下scala安装部署 flink : 1.8.1 Flink1.8.1 集群部署 kafka_2.12-2.2.0 kafka_2.12-2.2.0 集群部署 hbase 2.1 hbas...

2019-07-23 18:19:41 3241 1

原创 Flink1.8.1 集群部署

文章目录概述单机版部署HA部署 概述 首先需要安装scala环境,参照 linux下scala安装部署 我使用的scala是 scala-2.12.8 单机版部署 到官网 https://flink.apache.org/downloads.html#apache-flink-181 下载最新的...

2019-07-23 18:06:55 1021 1

原创 linux下scala安装部署

文章目录 到scala官网 下载Scala,我这里下载的是scala-2.12.8.tgz版本。 下载地址: https://www.scala-lang.org/download/2.12.8.html 下载完成后,上传到Linux安装目录,tar -xzvf scala-2.12.8.tgz...

2019-07-23 17:35:57 358 0

原创 kafka_2.12-2.2.0 集群部署

文章目录zk 搭建kafka下载配置启动服务测试创建一个topic “my-test-topic”测试消息的发送与接收 zk 搭建 zk 集群需要优先搭建起来,这里使用 Hadoop 2.8.5 完全分布式HA高可用安装(一)–环境准备中搭建的ZK集群。 kafka下载 到kafka官网 下载最...

2019-07-22 20:45:50 339 0

原创 使用Phoenix5 Java api操作HBase

文章目录引入依赖配置文件编写测试类建表插入记录查询 引入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifact...

2019-07-22 17:11:36 1339 0

原创 Phoenix5.0 安装部署

文章目录概述Phoenix5.0 shell 安装Phoenix5.0 shell 使用使用Phoenix操作表phoenix shell下创建view映射hbase表 概述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。phoenix...

2019-07-22 15:21:12 1933 1

原创 Hbase 使用高可用 (HA)的hadoop集群,hbase.rootdir如何配置

文章目录问题描述解决办法 问题描述 在前面文章中搭建了高可用的hadoop集群,然后hbase使用这个集群的hdfs。但是我们d hbase.rootdir配置的仍然是写死的机器: <property> <name>hbase.rootdir</nam...

2019-07-22 11:40:53 4656 0

原创 Java 8 函数式库 Vavr 学习笔记

文章目录概述引入依赖option元组TupleTry函数式接口集合Collections延迟计算Lazy模式匹配Pattern Matching 概述 最近接手一个项目,里面使用到了Java 8 函数式库 Vavr ,故而来学习一下。 其实很多库都是在java8之前出现的,借鉴了一些新兴语言的特性...

2019-07-21 17:36:18 364 0

原创 protocol buffer 3 (Protobuf3) ( java 版本 ) 使用入门

文章目录概述windows安装使用Protobuf3编写第一个protobuf程序 概述 proto3 是 google protocol buffer 的新版本。 Protobuf3 应用相当广泛,而且性能优秀,是序列化和网络传输及存储的优秀选择。 官方测试数据: 本文只是讲述其简单搭建使用...

2019-07-21 14:20:20 2234 0

原创 springboo2 集成 hbase 2

文章目录环境说明: springboo2 集成 hbase 2 环境说明: hbase:2.1.5 springboot:2.1.1.RELEASE hadoop :2.8.5 java: 8+ hadoop环境:Hadoop 2.8.5 完全分布式HA高可用安装(二)–环境搭建 hbase环境:...

2019-07-19 10:29:02 671 0

原创 使用最新的 hbase-client 2.1 操作 hbase

文章目录概述引入依赖配置文件编写测试代码 概述 springboot 2.1 集成 hbase2.1 环境说明: hbase:2.1.5 springboot:2.1.1.RELEASE hadoop :2.8.5 java: 8+ hadoop环境:Hadoop 2.8.5 完全分布式HA高可用...

2019-07-18 20:46:57 2725 1

原创 hbase 2.1 环境搭建--完全分布式模式 Advanced - Fully Distributed

文章目录概述 概述 本文介绍hbase 2.1.X的完全分布式部署

2019-07-18 17:25:08 744 0

原创 Hadoop 2.8.5 完全分布式HA高可用安装(二)--环境搭建

文章目录概述集群规划安装ZK安装验证安装配置Hadoop集群配置Hadoop环境变量hadoo-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlopt文件下创建对应文件夹将Hadoop拷贝到其他几台机器启动Hadoop启动ZK...

2019-07-11 17:55:26 892 0

原创 Hadoop 2.8.5 完全分布式HA高可用安装(一)--环境准备

环境说明 java8 Hadoop 2.8.5 zookeeper 3.4.10 VMware® Workstation 14 Pro centos 7 1511 安装java8 安装步骤: 下载jdk-8u131-linux-x64.tar.gz,上传到Linux服务器。 tar -zx...

2019-07-11 15:33:37 441 0

原创 hbase版本与Hadoop版本支持关系(官方)

这里只是将官方的对应关系搬过来而已,官网地址 hbase官网地址。 java–hbase hbase 2.X 的版本 至少需要java8的支持: hbase–hadoop 打对号的是官方测试过的,功能齐全的,可放心使用。 我们只需要使用打对号的即可,不要去尝试使用其他的版本,否则你可能会遇到一...

2019-07-10 15:30:46 7342 0

原创 hbase 2.1 环境搭建--伪分布式模式 Pseudo-Distributed Local Install

文章目录概述 概述 上一篇介绍了hbase 2.1 环境搭建–独立模式 Standalone Mode独立模式的安装,本文介绍伪分布式安装(Pseudo-Distributed Local Install)。

2019-07-10 15:13:53 550 0

原创 hbase 2.1 环境搭建--独立模式 Standalone Mode

文章目录概述jdkhbase 配置启动使用`hbase shell`命令行操作hbase新建表新增记录查看记录删除记录启用禁用表删除表 概述 本节介绍hbase的2.1版本的搭建过程。 参考:hbase官方文档 jdk 笔者环境: centos 1511 hbase-2.1.5 jdk8(hbas...

2019-07-09 18:26:17 597 1

原创 Thread.Sleep 与 Thread.onSpinWait

文章目录Thread.SleepThread.onSpinWait总结 Thread.Sleep 一般情况下,我们让线程等待一段时间都是使用Thread.sleep()命令。比如下面这个demo示例: @Test public void test9() throws InterruptedExce...

2019-07-02 20:36:07 834 0

原创 jdk11源码--SynchronousQueue源码分析

文章目录概述 概述 SynchronousQueue是一个同步阻塞队列,每一个 put操作都必须等待一个take操作。每一个take操作也必须等待一个put操作。 SynchronousQueue是没有容量的,无法存储元素节点信息,不能通过peek方法获取元素,peek方法会直接返回null。由于...

2019-07-02 11:29:27 194 0

原创 jdk11源码--LinkedBlockingQueue源码分析

文章目录概述构造方法链表节点数据结构关键属性puttake 概述 上一篇介绍了jdk11源码–ArrayBlockingQueue源码分析,接下来看一下LinkedBlockingQueue的实现。 这两个阻塞队列最大的区别就是底层元素存储实现不同,ArrayBlockingQueue是基于数组,...

2019-07-01 21:45:16 146 0

原创 jdk11源码--ArrayBlockingQueue源码分析

更多java源码分析请见:jdk11源码分析系列文章专栏:Java11源码分析 文章目录概述BlockingQueueArrayBlockingQueueputtake 概述 上一篇文章jdk11源码–ReentrantLock之Condition源码分析中分析了ReentrantLock和Co...

2019-07-01 14:41:21 143 0

提示
确定要删除当前文章?
取消 删除