centos hbase如何进行内存管理

5月 5th, 2025

在CentOS上配置和管理HBase的内存涉及多个方面，包括调整JVM堆大小、配置HBase的堆外内存以及优化操作系统级别的内存设置。以下是一些关键步骤和建议：

1. 调整JVM堆大小

HBase运行在Java虚拟机（JVM）上，因此调整JVM堆大小是内存管理的重要部分。

1.1 修改HBase配置文件

编辑hbase-env.sh文件，通常位于/etc/hbase/conf目录下。

export HBASE_HEAPSIZE=4G  # 根据你的服务器内存大小调整

1.2 配置JVM参数

你也可以直接在hbase-env.sh中设置JVM参数：

export HBASE_OPTS="-Xmx4g -Xms4g"  # 设置最大和初始堆大小

2. 配置HBase的堆外内存

HBase使用堆外内存来存储一些数据结构，如MemStore和BlockCache。

2.1 修改HBase配置文件

编辑hbase-site.xml文件，通常位于/etc/hbase/conf目录下。

<property>
  <name>hbase.regionserver.global.memstore.size</name>
  <value>0.4</value>  <!-- MemStore总大小占堆内存的比例 -->
</property>
<property>
  <name>hbase.regionserver.global.memstore.lower.limit</name>
  <value>0.38</value>  <!-- MemStore下限占堆内存的比例 -->
</property>
<property>
  <name>hbase.regionserver.global.memstore.upper.limit</name>
  <value>0.42</value>  <!-- MemStore上限占堆内存的比例 -->
</property>
<property>
  <name>hbase.regionserver.hlog.writer.impl</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditWriter</value>
</property>
<property>
  <name>hbase.regionserver.hlog.blocksize</name>
  <value>64M</value>  <!-- WAL块大小 -->
</property>
<property>
  <name>hbase.regionserver.hlog.syncer.count</name>
  <value>1</value>  <!-- WAL同步器数量 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.period</name>
  <value>60000</value>  <!-- WAL滚动周期（毫秒） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.count</name>
  <value>10</value>  <!-- WAL滚动次数 -->
</property>
<property>
  <name>hbase.regionserver.hlog.roll.size</name>
  <value>1073741824</value>  <!-- WAL滚动大小（字节） -->
</property>
<property>
  <name>hbase.regionserver.hlog