YCSB配置和测试HBase

时间：2021-09-04 08:24:31
  本文主要介绍如何使用YCSB来测试HBase，以及如何解决No FileSystem for scheme: hdfs错误和Error accessing HBase table错误。
YCSB项目地址和简介： https://github.com/brianfrankcooper/YCSB/wiki YCSB的目标是开发一个框架和通用的workloads来评估不同的key-value和cloud提供的存储服务。 组成：YCSB Client，一个可扩展的workload发生器；Core workloads，一系列的workload场景，由generator来执行。 支持测试不同的数据库包括HBase，Cassandra，Infinispan，MongoDB等等。 通常用来benchmark多个系统，对比它们。比如可以在相同的硬件上面安装不同的系统，然后运行相同的workloads，对比不同系统的性能。
HBase测试 1. Hadoop和HBase都部署完毕且正常启动 比如我使用Hadoop 2.7.0和HBase 1.0.1.1 2. 配置YCSB # git clone git://github.com/brainfrankcooper/YCSB.git # cd YCSB 为YCSB的hbase client程序添加依赖项，原先只有org.apache.hbase的hbase-client依赖包，我们还需要添加org.apache.hadoop以来hadoop-common和hadoop-hdfs包，这里缺少hbase和hadoop依赖包的话，即便编译完成，但是在运行ycsb的时候会报出hdfs或者hbase相关的错误。依赖包的版本根据自己的实际安装情况，参考hbase/lib/目录下的jar包版本。 # vim hbase/pom.xml <modelVersion>4.0.0</modelVersion>
  <parent>
    <groupId>com.yahoo.ycsb</groupId>
    <artifactId>root</artifactId>
    <version>0.2.0-SNAPSHOT</version>
  </parent>

  <artifactId>hbase-binding</artifactId>
  <name>HBase DB Binding</name>

  <dependencies>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>1.0.1.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.5.1</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.5.1</version>
    </dependency>
    <dependency>
      <groupId>com.yahoo.ycsb</groupId>
      <artifactId>core</artifactId>
      <version>${project.version}</version>
    </dependency>
  </dependencies> # cd .. # mvn clean package 没有mvn的话要下载maven： # wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz # tar zxf apache-maven-3.3.3-bin.tar.gz # mv apache-maven-3.3.3 /usr/maven # export PARH=$PATH:/usr/maven/bin 编译完毕： YCSB配置和测试HBase   3. 创建一个HBase table HBASE_HOME/bin/hbase shell hbase(main):001:0> create 'usertable', 'family' 在HBase Master web端http://10.10.10.20:60010/master-status看到的信息： YCSB配置和测试HBase   4. 导入数据 在运行worklload之前，需要先导入load数据。 需要指定一个包含HBase的配置文件hbase-site.xml的目录和一个table名和一个column族，使用-cp是设置java的classpath，-p是用来设置各种属性。这里的重点是java的CLASSPATH，参考export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$HBASE_HOME/conf:$HADOOP_HOME/etc/hadoop/:$HBASE_HOME/lib:$HADOOP_HOME/lib，$HBASE_HOME/lib目录下有hadoop、hbase、log4j等jar包。 # bin/ycsb load hbase -P workloads/workloada -cp $CLASSPATH -p table=usertable -p columnfamily=family
错误1：java.io.IOException: No FileSystem for scheme: hdfs 参考http://*.com/questions/17265002/hadoop-no-filesystem-for-scheme-file和http://blog.csdn.net/eryk86/article/details/19495075 在hbase-site.xml中添加： 
<property>
<name>fs.file.impl</name>
<value>org.apache.hadoop.fs.LocalFileSystem</value>
<description>The FileSystem for file: uris.</description></property>

<property>
<name>fs.hdfs.impl</name>
<value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
<description>The FileSystem for hdfs: uris.</description></property>
 错误2：Error accessing HBase table: java.io.IOException: java.lang.reflect.InvocationTargetException YCSB配置和测试HBase   参考：http://blog.csdn.net/hs794502825/article/details/17351457以及 http://*.com/questions/28349996/unable-to-connect-to-hbase-using-javain-eclipse-in-cloudera-vm YCSB配置和测试HBase   可以在这里http://search.maven.org/#browse%7C-856937612找到依赖包，因为我们把hbase/lib/下面的这些jar包添加到了java的CLASSPATH中，所以在YCSB/hbase/pom.xml中添加的hbase和hadoop依赖包的版本就参考这里的版本： YCSB配置和测试HBase
   成功load数据 YCSB配置和测试HBase
  5. 运行简单的workloads： # bin/ycsb run hbase -P workloads/workloada -cp $CLASSPATH -p table=usertable -p columnfamily=family -p clientbuffering=true > out.txt 2>&1 将输出结果重定向到out.txt文件中，查看结果，UPDATE和READ总共1000次操作，都Return=0成功了。 YCSB配置和测试HBase
标签：

相关文章