自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

刘本龙的专栏

个人邮箱:3089008201@qq.com. 技术交流群:684457529

  • 博客(23)
  • 资源 (1)
  • 论坛 (2)
  • 收藏
  • 关注

原创 hbase数据迁移:基于 hbase Snapshot

文章目录初始环境说明表迁移创建快照数据迁移恢复快照参考资料初始环境说明hbase有两个集群:集群A和集群B,这里是1.1.3版本,2.X版本还没有测试。集群A上使用Phoenix创建表:create table lbltest1 (id varchar PRIMARY KEY,account varchar ,passwd varchar);然后插入一些数据upsert into lb...

2019-07-31 14:29:11 1108

原创 hadoop 2.7 使用 distcp 在不同集群间数据迁移拷贝

文章目录本文讲述在多个hadoop集群中进行数据迁移操作。工作中可能会遇到同样的需求,还是很实用的。hadoop官方提供了distcp 工具吗,具体使用说明参加官方文档:https://hadoop.apache.org/docs/r2.7.7/hadoop-distcp/DistCp.html#Command_Line_Options假设在hadoop集群1 的目录/hbase/data...

2019-07-31 14:16:05 815

原创 flink 读取kafka数据,并写入hbase

文章目录概述环境说明代码编写写入hbase概述环境说明scala: 2.12.8 linux下scala安装部署flink : 1.8.1 Flink1.8.1 集群部署kafka_2.12-2.2.0 kafka_2.12-2.2.0 集群部署hbase 2.1 hbase 2.1 环境搭建–完全分布式模式 Advanced - Fully Distributedhad...

2019-07-23 18:19:41 4909 2

原创 Flink1.8.1 集群部署

文章目录概述单机版部署HA部署概述首先需要安装scala环境,参照 linux下scala安装部署我使用的scala是 scala-2.12.8单机版部署到官网 https://flink.apache.org/downloads.html#apache-flink-181 下载最新的1.8.1版本的flink。接下来安装官方文档的操作,进行最简单的安装 https://ci.a...

2019-07-23 18:06:55 1192 1

原创 linux下scala安装部署

文章目录到scala官网 下载Scala,我这里下载的是scala-2.12.8.tgz版本。下载地址: https://www.scala-lang.org/download/2.12.8.html下载完成后,上传到Linux安装目录,tar -xzvf scala-2.12.8.tgz解压.配置环境变量vim /etc/profile:添加以下内容export SCALA_HO...

2019-07-23 17:35:57 487

原创 kafka_2.12-2.2.0 集群部署

文章目录zk 搭建kafka下载配置启动服务测试创建一个topic “my-test-topic”测试消息的发送与接收zk 搭建zk 集群需要优先搭建起来,这里使用 Hadoop 2.8.5 完全分布式HA高可用安装(一)–环境准备中搭建的ZK集群。kafka下载到kafka官网 下载最新的kafka_2.12-2.2.0.tgz这里我们部署3台kafka,部署在node1,node2...

2019-07-22 20:45:50 619

原创 使用Phoenix5 Java api操作HBase

文章目录引入依赖配置文件编写测试类建表插入记录查询引入依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.1.5</version>&lt...

2019-07-22 17:11:36 1811

原创 Phoenix5.0 安装部署

文章目录概述Phoenix5.0 shell 安装Phoenix5.0 shell 使用使用Phoenix操作表phoenix shell下创建view映射hbase表概述现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。phoenix是一个在hbase上面实现的基于hadoop的OLTP技术,具有低延迟、事务性、可使用sql、提供jd...

2019-07-22 15:21:12 2751 1

原创 Hbase 使用高可用 (HA)的hadoop集群,hbase.rootdir如何配置

文章目录问题描述解决办法问题描述在前面文章中搭建了高可用的hadoop集群,然后hbase使用这个集群的hdfs。但是我们d hbase.rootdir配置的仍然是写死的机器:<property> <name>hbase.rootdir</name> <value>hdfs://node1:9000/hbase&...

2019-07-22 11:40:53 6475

原创 Java 8 函数式库 Vavr 学习笔记

文章目录概述引入依赖option元组TupleTry函数式接口集合Collections延迟计算Lazy模式匹配Pattern Matching概述最近接手一个项目,里面使用到了Java 8 函数式库 Vavr ,故而来学习一下。其实很多库都是在java8之前出现的,借鉴了一些新兴语言的特性,比如guava。在java8以后的版本中,提供了很多的函数式编程的特征,已经够用,一些库可以不用了。...

2019-07-21 17:36:18 544

原创 protocol buffer 3 (Protobuf3) ( java 版本 ) 使用入门

文章目录概述windows安装使用Protobuf3编写第一个protobuf程序概述proto3 是 google protocol buffer 的新版本。Protobuf3 应用相当广泛,而且性能优秀,是序列化和网络传输及存储的优秀选择。官方测试数据:本文只是讲述其简单搭建使用,具体语法请参见官方文档或者其中文翻译Protocol Buffer 3 学习笔记Protobu...

2019-07-21 14:20:20 3102

原创 springboo2 集成 hbase 2

文章目录环境说明:springboo2 集成 hbase 2环境说明:hbase:2.1.5springboot:2.1.1.RELEASEhadoop :2.8.5java: 8+hadoop环境:Hadoop 2.8.5 完全分布式HA高可用安装(二)–环境搭建hbase环境:hbase 2.1 环境搭建–完全分布式模式 Advanced - Fully Distributed...

2019-07-19 10:29:02 927

原创 使用最新的 hbase-client 2.1 操作 hbase

文章目录概述引入依赖配置文件编写测试代码概述springboot 2.1 集成 hbase2.1环境说明:hbase:2.1.5springboot:2.1.1.RELEASEhadoop :2.8.5java: 8+hadoop环境:Hadoop 2.8.5 完全分布式HA高可用安装(二)–环境搭建hbase环境:hbase 2.1 环境搭建–完全分布式模式 Advanced ...

2019-07-18 20:46:57 4143 3

原创 hbase 2.1 环境搭建--完全分布式模式 Advanced - Fully Distributed

文章目录概述概述本文介绍hbase 2.1.X的完全分布式部署

2019-07-18 17:25:08 932

原创 Hadoop 2.8.5 完全分布式HA高可用安装(二)--环境搭建

文章目录概述集群规划安装ZK安装验证安装配置Hadoop集群配置Hadoop环境变量hadoo-env.shcore-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlopt文件下创建对应文件夹将Hadoop拷贝到其他几台机器启动Hadoop启动ZK启动journalnode格式化namenode格式化zk启动主namenode备用NN 同步主NN信...

2019-07-11 17:55:26 1135

原创 Hadoop 2.8.5 完全分布式HA高可用安装(一)--环境准备

环境说明java8Hadoop 2.8.5zookeeper 3.4.10VMware® Workstation 14 Procentos 7 1511安装java8安装步骤:下载jdk-8u131-linux-x64.tar.gz,上传到Linux服务器。tar -zxf jdk-8u131-linux-x64.tar.gz -C /usr/java配置环境变量vi...

2019-07-11 15:33:37 543

原创 hbase版本与Hadoop版本支持关系(官方)

这里只是将官方的对应关系搬过来而已,官网地址 hbase官网地址。java–hbasehbase 2.X 的版本 至少需要java8的支持:hbase–hadoop打对号的是官方测试过的,功能齐全的,可放心使用。我们只需要使用打对号的即可,不要去尝试使用其他的版本,否则你可能会遇到一些意外的惊喜。...

2019-07-10 15:30:46 10651

原创 hbase 2.1 环境搭建--伪分布式模式 Pseudo-Distributed Local Install

文章目录概述概述上一篇介绍了hbase 2.1 环境搭建–独立模式 Standalone Mode独立模式的安装,本文介绍伪分布式安装(Pseudo-Distributed Local Install)。

2019-07-10 15:13:53 664

原创 hbase 2.1 环境搭建--独立模式 Standalone Mode

文章目录概述jdkhbase 配置启动使用`hbase shell`命令行操作hbase新建表新增记录查看记录删除记录启用禁用表删除表概述本节介绍hbase的2.1版本的搭建过程。参考:hbase官方文档jdk笔者环境:centos 1511hbase-2.1.5jdk8(hbase2以上的版本要求jdk8)安装步骤:下载jdk-8u131-linux-x64.tar.gz,...

2019-07-09 18:26:17 723 1

原创 Thread.Sleep 与 Thread.onSpinWait

文章目录Thread.SleepThread.onSpinWait总结Thread.Sleep一般情况下,我们让线程等待一段时间都是使用Thread.sleep()命令。比如下面这个demo示例:@Testpublic void test9() throws InterruptedException { new Thread(() -> { System.ou...

2019-07-02 20:36:07 1232

原创 jdk11源码--SynchronousQueue源码分析

文章目录概述概述SynchronousQueue是一个同步阻塞队列,每一个 put操作都必须等待一个take操作。每一个take操作也必须等待一个put操作。SynchronousQueue是没有容量的,无法存储元素节点信息,不能通过peek方法获取元素,peek方法会直接返回null。由于没有元素,所以不能被迭代,它的iterator方法会返回一个空的迭代器Collections.empt...

2019-07-02 11:29:27 251

原创 jdk11源码--LinkedBlockingQueue源码分析

文章目录概述构造方法链表节点数据结构关键属性puttake概述上一篇介绍了jdk11源码–ArrayBlockingQueue源码分析,接下来看一下LinkedBlockingQueue的实现。这两个阻塞队列最大的区别就是底层元素存储实现不同,ArrayBlockingQueue是基于数组,而LinkedBlockingQueue是基于单向链表。LinkedBlockingQueue类图如...

2019-07-01 21:45:16 179

原创 jdk11源码--ArrayBlockingQueue源码分析

更多java源码分析请见:jdk11源码分析系列文章专栏:Java11源码分析文章目录概述BlockingQueueArrayBlockingQueueputtake概述上一篇文章jdk11源码–ReentrantLock之Condition源码分析中分析了ReentrantLock和Condition的源码,那么接下来看一下Condition在JDK中的具体应用。ArrayBlock...

2019-07-01 14:41:21 187

jquery右键菜单

jquery右键菜单 支持原著

2013-06-02

快乐崇拜234的留言板

发表于 2020-01-02 最后回复 2020-01-02

当梦想和身体健康发生冲突,你会如何选择

发表于 2014-10-29 最后回复 2014-11-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除