自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘本龙的专栏

个人邮箱:3089008201@qq.com. 技术交流群:684457529

原创 hbase数据迁移:基于 hbase Snapshot

文章目录初始环境说明表迁移创建快照数据迁移恢复快照参考资料 初始环境说明 hbase有两个集群:集群A和集群B,这里是1.1.3版本,2.X版本还没有测试。 集群A上使用Phoenix创建表: create table lbltest1 (id varchar PRIMARY KEY,accoun...

2019-07-31 14:29:11

阅读数 165

评论数 0

原创 hadoop 2.7 使用 distcp 在不同集群间数据迁移拷贝

文章目录 本文讲述在多个hadoop集群中进行数据迁移操作。工作中可能会遇到同样的需求,还是很实用的。 hadoop官方提供了distcp 工具吗,具体使用说明参加官方文档: https://hadoop.apache.org/docs/r2.7.7/hadoop-distcp/DistCp.ht...

2019-07-31 14:16:05

阅读数 129

评论数 0

原创 flink 读取kafka数据,并写入hbase

文章目录概述环境说明代码编写写入hbase 概述 环境说明 scala: 2.12.8 linux下scala安装部署 flink : 1.8.1 Flink1.8.1 集群部署 kafka_2.12-2.2.0 kafka_2.12-2.2.0 集群部署 hbase 2.1 hbas...

2019-07-23 18:19:41

阅读数 533

评论数 0

原创 Flink1.8.1 集群部署

文章目录概述单机版部署HA部署 概述 首先需要安装scala环境,参照 linux下scala安装部署 我使用的scala是 scala-2.12.8 单机版部署 到官网 https://flink.apache.org/downloads.html#apache-flink-181 下载最新的...

2019-07-23 18:06:55

阅读数 392

评论数 1

原创 linux下scala安装部署

文章目录 到scala官网 下载Scala,我这里下载的是scala-2.12.8.tgz版本。 下载地址: https://www.scala-lang.org/download/2.12.8.html 下载完成后,上传到Linux安装目录,tar -xzvf scala-2.12.8.tgz...

2019-07-23 17:35:57

阅读数 68

评论数 0

原创 kafka_2.12-2.2.0 集群部署

文章目录zk 搭建kafka下载配置启动服务测试创建一个topic “my-test-topic”测试消息的发送与接收 zk 搭建 zk 集群需要优先搭建起来,这里使用 Hadoop 2.8.5 完全分布式HA高可用安装(一)–环境准备中搭建的ZK集群。 kafka下载 到kafka官网 下载最...

2019-07-22 20:45:50

阅读数 39

评论数 0

原创 使用Phoenix5 Java api操作HBase

文章目录引入依赖配置文件编写测试类建表插入记录查询 引入依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId&...

2019-07-22 17:11:36

阅读数 233

评论数 0

原创 Phoenix5.0 安装部署

文章目录概述Phoenix5.0 shell 安装Phoenix5.0 shell 使用使用Phoenix操作表phoenix shell下创建view映射hbase表 概述 现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。phoenix...

2019-07-22 15:21:12

阅读数 410

评论数 0

原创 Hbase 使用高可用 (HA)的hadoop集群,hbase.rootdir如何配置

文章目录问题描述解决办法 问题描述 在前面文章中搭建了高可用的hadoop集群,然后hbase使用这个集群的hdfs。但是我们d hbase.rootdir配置的仍然是写死的机器: <property> <name>hbase...

2019-07-22 11:40:53

阅读数 975

评论数 0

原创 Java 8 函数式库 Vavr 学习笔记

文章目录概述引入依赖option元组TupleTry函数式接口集合Collections延迟计算Lazy模式匹配Pattern Matching 概述 最近接手一个项目,里面使用到了Java 8 函数式库 Vavr ,故而来学习一下。 其实很多库都是在java8之前出现的,借鉴了一些新兴语言的特性...

2019-07-21 17:36:18

阅读数 90

评论数 0

原创 protocol buffer 3 (Protobuf3) ( java 版本 ) 使用入门

文章目录概述windows安装使用Protobuf3编写第一个protobuf程序 概述 proto3 是 google protocol buffer 的新版本。 Protobuf3 应用相当广泛,而且性能优秀,是序列化和网络传输及存储的优秀选择。 官方测试数据: 本文只是讲述其简单搭建使用...

2019-07-21 14:20:20

阅读数 379

评论数 0

原创 springboo2 集成 hbase 2

文章目录环境说明: springboo2 集成 hbase 2 环境说明: hbase:2.1.5 springboot:2.1.1.RELEASE hadoop :2.8.5 java: 8+ hadoop环境:Hadoop 2.8.5 完全分布式HA高可用安装(二)–环境搭建 hbase环境:...

2019-07-19 10:29:02

阅读数 76

评论数 0

原创 使用最新的 hbase-client 2.1 操作 hbase

文章目录概述引入依赖配置文件编写测试代码 概述 springboot 2.1 集成 hbase2.1 环境说明: hbase:2.1.5 springboot:2.1.1.RELEASE hadoop :2.8.5 java: 8+ hadoop环境:Hadoop 2.8.5 完全分布式HA高可用...

2019-07-18 20:46:57

阅读数 433

评论数 0

原创 hbase 2.1 环境搭建--完全分布式模式 Advanced - Fully Distributed

文章目录概述 概述 本文介绍hbase 2.1.X的完全分布式部署

2019-07-18 17:25:08

阅读数 207

评论数 0

原创 Hadoop 2.8.5 完全分布式HA高可用安装(二)--环境搭建

文章目录概述集群规划安装ZK安装验证安装配置Hadoop集群配置Hadoop环境变量hadoo-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlopt文件下创建对应文件夹将Hadoop拷贝到其他几台机器启动Hadoop启动ZK...

2019-07-11 17:55:26

阅读数 209

评论数 0

原创 Hadoop 2.8.5 完全分布式HA高可用安装(一)--环境准备

环境说明 java8 Hadoop 2.8.5 zookeeper 3.4.10 VMware® Workstation 14 Pro centos 7 1511 安装java8 安装步骤: 下载jdk-8u131-linux-x64.tar.gz,上传到Linux服务器。 tar -zx...

2019-07-11 15:33:37

阅读数 106

评论数 0

原创 hbase版本与Hadoop版本支持关系(官方)

这里只是将官方的对应关系搬过来而已,官网地址 hbase官网地址。 java–hbase hbase 2.X 的版本 至少需要java8的支持: hbase–hadoop 打对号的是官方测试过的,功能齐全的,可放心使用。 我们只需要使用打对号的即可,不要去尝试使用其他的版本,否则你可能会遇到一...

2019-07-10 15:30:46

阅读数 1149

评论数 0

原创 hbase 2.1 环境搭建--伪分布式模式 Pseudo-Distributed Local Install

文章目录概述 概述 上一篇介绍了hbase 2.1 环境搭建–独立模式 Standalone Mode独立模式的安装,本文介绍伪分布式安装(Pseudo-Distributed Local Install)。

2019-07-10 15:13:53

阅读数 192

评论数 0

原创 hbase 2.1 环境搭建--独立模式 Standalone Mode

文章目录概述jdkhbase 配置启动使用`hbase shell`命令行操作hbase新建表新增记录查看记录删除记录启用禁用表删除表 概述 本节介绍hbase的2.1版本的搭建过程。 参考:hbase官方文档 jdk 笔者环境: centos 1511 hbase-2.1.5 jdk8(hbas...

2019-07-09 18:26:17

阅读数 264

评论数 1

原创 Thread.Sleep 与 Thread.onSpinWait

文章目录Thread.SleepThread.onSpinWait总结 Thread.Sleep 一般情况下,我们让线程等待一段时间都是使用Thread.sleep()命令。比如下面这个demo示例: @Test public void test9() throws InterruptedExce...

2019-07-02 20:36:07

阅读数 131

评论数 0

提示
确定要删除当前文章?
取消 删除