我也要用- 博客(8)
- 资源 (1)
- 论坛 (2)
- 收藏
- 关注
RSS订阅原创 Java对象占用堆内存大小计算
概述最近在看hbase源码，里面有对象占用内存大小的计算。正好笔记记录一下。一般来说，int占4个字节，long占8个字节，等等。但是对象在队中的存储不止其包含的字段所占用的空间，还包括对象头，对齐填充等信息。接下来就结合hbase源码分析一下对象在堆中的存储情况。原生类型(primitive type)的内存占用类型占用空间boolean在数组中占1个字节，单独使用...
2019-11-27 17:57:40
554
原创 hbase/hadoop异常：No lease on /hbase/archive/data/... File is not open for writing
问题描述我在进行hbase快照拷贝时报了以下错误：./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot "MODEL.THIRD_PARTY_KV-11211752-snapshot" -copy-from hdfs://fromIP:9000/hbase -copy-to hdfs://toIP:9000/hbas...
2019-11-21 19:11:36
1043
原创 hbase 预分区Pre-splitting 解决热点问题
预分区在创建表时我们可以指定分区数量及规则等信息。最简单的方法是在创建表时指定分割点数组。 请注意，将字符串文字指定为拆分点时，它们将基于字符串的基础字节表示形式创建拆分点。 因此，当指定分割点“ 10”时，实际上是在指定字节分割点“ \ x31 \ 30”。分割点将定义n + 1个区域，其中n是分割点的数量。 第一个region包含从最小的可能rowkey到最大但不包括第一个分割点所有ro...
2019-11-05 19:59:17
291
原创 hbase集群滚动重启Rolling Restart
概述在我们修改了regionserver的配置后，需要对某个或所有的regionserver进行重启。或者在集群升级到新的版本时进行滚动升级。以上都需要尽可能的不影响业务，集群保持存活可用。当然最简单的方法是停止整个集群，修改完后再重启，但是显然不适用。下面看看如何使用rolling-restart和graceful_stop来实现集群优雅滚动重启。Rolling Restart先看看...
2019-11-05 11:59:44
1000
原创 HBASE手动触发major_compact
定时执行脚本#!/bin/bashsource /etc/profilesh ./hbase shell <<EOFmajor_compact 'table_name'EOFmajor_compact 语法：#Compact all regions in a table:hbase> major_compact 't1' #Compact an entire...
2019-11-05 11:26:52
984
原创 hbase扩容 缩容
初始化集群初始化集群：hadoop三个DataNode，HBASE集群只有一个regionserver。后面我们不停服的情况下，动态添加一个机器node4，在node4上启动Hregionserver服务。hbase动态扩容配置regionservers配置每台机器的regionservers，添加node4:[root@node1 conf]# cat regionservers...
2019-11-04 19:38:37
1664
原创 hbase 负载均衡
概述hbase 有多个regionserver，固需要负载均衡。本文讲述hbase的负载均衡如何使用。以下命令都是在hbase shell 控制台使用的。balance_switchhbase(main):001:0> help 'balance_switch'Enable/Disable balancer. Returns previous balancer state.Exa...
2019-11-04 19:32:22
369
原创 hadoop 动态扩容 缩容
初始化集群初始化集群：hadoop三个DataNode，HBASE集群只有一个regionserver。后面我们不停服的情况下，动态添加一个机器node4，在node4上启动DataNode和Hregionserver服务。hadoop动态扩容准备工作准备工作与新搭建集群类似，这里参考笔者另一篇博客Hadoop 2.8.5 完全分布式HA高可用安装（一）–环境准备安装java配...
2019-11-04 19:09:44
391
快乐崇拜234的留言板
发表于 2020-01-02 最后回复 2020-01-02
当梦想和身体健康发生冲突，你会如何选择
发表于 2014-10-29 最后回复 2014-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝