一、引言：
上篇文章提起关于HBase插入性能优化设计到的五个参数，从参数配置的角度给大家提供了一个性能测试环境的实验代码。根据网友的反馈，基于单线程的模式实现的数据插入毕竟有限。通过个人实测，在我的虚拟机环境下，单线程插入数据的值约为4w/s。集群指标是：CPU双核1.83，虚拟机512M内存，集群部署单点模式。本文给出了基于多线程并发模式的，测试代码案例和实测结果，希望能给大家一些启示：
二、源程序：
1 import org.apache.hadoop.conf.Configuration;
2 import org.apache.hadoop.hbase.HBaseConfiguration;
3 import java.io.BufferedReader;
4 import java.io.File;
5 import java.io.FileNotFoundException;
6 import java.io.FileReader;
7 import java.io.IOException;
8 import java.util.ArrayList;
9 import java.util.List;
10 import java.util.Random;
11
12 import org.apache.hadoop.conf.Configuration;
13 import org.apache.hadoop.hbase.HBaseConfiguration;
14 import org.apache.hadoop.hbase.client.HBaseAdmin;
15 import org.apache.hadoop.hbase.client.HTable;
16 import org.apache.hadoop.hbase.client.HTableInterface;
17 import org.apache.hadoop.hbase.client.HTablePool;
18 import org.apache.hadoop.hbase.client.Put;
19
20 public class HBaseImportEx {
21 static Configuration hbaseConfig = null;
22 public static HTablePool pool = null;
23 public static String tableName = "T_TEST_1";
24 static{
25 //conf = HBaseConfiguration.create();
26 Configuration HBASE_CONFIG = new Configuration();
27 HBASE_CONFIG.set("hbase.master", "192.168.230.133:60000");
28 HBASE_CONFIG.set("hbase.zookeeper.quorum", "192.168.230.133");
29 HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181");
30 hbaseConfig = HBaseConfiguration.create(HBASE_CONFIG);
31
32 pool = new HTablePool(hbaseConfig, 1000);
33 }
34 /*
35 * Insert Test single thread
36 * */
37 public static void SingleThreadInsert()throws IOException
38 {
39 System.out.println("---------开始SingleThreadInsert测试----------");
40 long start = System.currentTimeMillis();
41 //HTableInterface table = null;
42 HTable table = null;
43 table = (HTable)pool.getTable(tableName);
44 table.setAutoFlush(false);
45 table.setWriteBufferSize(24*1024*1024);
46 //构造测试数据
47 List<Put> list = new ArrayList<Put>();
48 int count = 10000;
49 byte[] buffer = new byte[350];
50 Random rand = new Random();
51 for(int i=0;i<count;i++)
52 {
53 Put put = new Put(String.format("row %d",i).getBytes());
54 rand.nextBytes(buffer);
55 put.add("f1".getBytes(), null, buffer);
56 //wal=false
57 put.setWriteToWAL(false);
58 list.add(put);
59 if(i%10000 == 0)
60 {
61 table.put(list);
62 list.clear();
63 table.flushCommits();
64 }
65 }
66 long stop = System.currentTimeMillis();
67 //System.out.println("WAL="+wal+",autoFlush="+autoFlush+",buffer="+writeBuffer+",count="+count);
68
69 System.out.println("插入数据："+count+"共耗时："+ (stop - start)*1.0/1000+"s");
70
71 System.out.println("---------结束SingleThreadInsert测试----------");
72 }
73 /*
74 * 多线程环境下线程插入函数
75 *
76 * */
77 public static void InsertProcess()throws IOException
78 {
79 long start = System.currentTimeMillis();
80 //HTableInterface table = null;
81 HTable table = null;
82 table = (HTable)pool.getTable(tableName);
83 table.setAutoFlush(false);
84 table.setWriteBufferSize(24*1024*1024);
85 //构造测试数据
86 List<Put> list = new ArrayList<Put>();
87 int count = 10000;
88 byte[] buffer = new byte[256];
89 Random rand = new Random();
90 for(int i=0;i<count;i++)
91 {
92 Put put = new Put(String.format("row %d",i).getBytes());
93 rand.nextBytes(buffer);
94 put.add("f1".getBytes(), null, buffer);
95 //wal=false
96 put.setWriteToWAL(false);
97 list.add(put);
98 if(i%10000 == 0)
99 {
100 table.put(list);
101 list.clear();
102 table.flushCommits();
103 }
104 }
105 long stop = System.currentTimeMillis();
106 //System.out.println("WAL="+wal+",autoFlush="+autoFlush+",buffer="+writeBuffer+",count="+count);
107
108 System.out.println("线程:"+Thread.currentThread().getId()+"插入数据："+count+"共耗时："+ (stop - start)*1.0/1000+"s");
109 }
110
111
112 /*
113 * Mutil thread insert test
114 * */
115 public static void MultThreadInsert() throws InterruptedException
116 {
117 System.out.println("---------开始MultThreadInsert测试----------");
118 long start = System.currentTimeMillis();
119 int threadNumber = 10;
120 Thread[] threads=new Thread[threadNumber];
121 for(int i=0;i<threads.length;i++)
122 {
123 threads[i]= new ImportThread();
124 threads[i].start();
125 }
126 for(int j=0;j< threads.length;j++)
127 {
128 (threads[j]).join();
129 }
130 long stop = System.currentTimeMillis();
131
132 System.out.println("MultThreadInsert："+threadNumber*10000+"共耗时："+ (stop - start)*1.0/1000+"s");
133 System.out.println("---------结束MultThreadInsert测试----------");
134 }
135
136 /**
137 * @param args
138 */
139 public static void main(String[] args) throws Exception{
140 // TODO Auto-generated method stub
141 //SingleThreadInsert();
142 MultThreadInsert();
143
144
145 }
146
147 public static class ImportThread extends Thread{
148 public void HandleThread()
149 {
150 //this.TableName = "T_TEST_1";
151
152
153 }
154 //
155 public void run(){
156 try{
157 InsertProcess();
158 }
159 catch(IOException e){
160 e.printStackTrace();
161 }finally{
162 System.gc();
163 }
164 }
165 }
166
167 }
三、说明
1.线程数设置需要根据本集群硬件参数，实际测试得出。否则线程过多的情况下，总耗时反而是下降的。
2.单笔提交数对性能的影响非常明显，需要在自己的环境下，找到最理想的数值，这个需要与单条记录的字节数相关。
四、测试结果
---------开始MultThreadInsert测试----------
线程:8插入数据：10000共耗时：1.328s
线程:16插入数据：10000共耗时：1.562s
线程:11插入数据：10000共耗时：1.562s
线程:10插入数据：10000共耗时：1.812s
线程:13插入数据：10000共耗时：2.0s
线程:17插入数据：10000共耗时：2.14s
线程:14插入数据：10000共耗时：2.265s
线程:9插入数据：10000共耗时：2.468s
线程:15插入数据：10000共耗时：2.562s
线程:12插入数据：10000共耗时：2.671s
MultThreadInsert：100000共耗时：2.703s
---------结束MultThreadInsert测试----------
作者：张子良
出处：http://www.cnblogs.com/hadoopdev
本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
笔试面试中常见的位运算用法
本文是准备找工作过程中关于位运算的一些积累和记录的整理。注意：部分位运算的处理结果依赖于变量所属类型的字长，使用时请结合具体环境修改。
1.XOR应用
性质：满足交换率、结合律，一个数与其自身异或结果为0。
(1)不用中间变量，交换两数
a = a^b;
b = b^a; //b = b^(a^b),thus b becomes the earlier a
a = a^b; //a = (a^b)^a,thus a becomes the earlier b
扩展：不用异或，同样也能不用中间变量，交换两数
a = a - b;
b = a + b; // b = (a - b)+ b, thus b becomes the earlier a
a = b - a; // a = a - (a - b), thus a becomes the earlier b
但是这种方式引入了一个陷阱，如果a是一个很大的正数而b是一个很大的负数，那么a-b就会溢出。虽然在b=a+b时可能会通过再一次溢出从而获得真实的a的值，不推荐这种利用未定义行为的解法。
如何理解这种解法？其实第一行是a=a-b还是a=a+b再或者是a=a*b都可以，对应地在第二行把b通过这个式子和b本身的运算求出a即可，再在第三行利用ab的组合值以及原先的a求解b。明显地，使用*比+或-更容易溢出。理解后，完全不必死记硬背这三个式子，看成是解方程就不难了。
(2)寻找只出现1次的一个数，其他数出现偶数次（或寻找唯一一个出现奇数次的数，其他数出现偶数次）
解法：全部数做XOR，最后的结果就是要找的数。
扩展：寻找出现奇数次的数，其他不必寻找的数只出现偶数次。
常见的面试题扩展，思路还是原来的思路，先全部XOR一遍，在获得的结果上，对每一位为1（即可能有两个不同的数，二进制标识中该位不同）进行分组，构造出所有待找出的数。
这么概括很抽象，看一道具体的笔试题吧，通过解题就容易理解了。
（小米2013校招笔试题）一个数组里，除了三个数是唯一出现的，其余的都出现偶数个，找出这三个数中的任一个。比如数组元素为【1, 2,4,5,6,4,2】，只有1,5,6这三个数字是唯一出现的，我们只需要输出1,5,6中的一个就行。
解答：http://blog.****.net/leo115/article/details/8036990
(3)NIM游戏的状态分析
请参考《编程之美》1.12 NIM(2) “拈”游戏分析。其核心是，两种完全不同的状态（安全状态和不安全状态）的XOR值恰为0和1。
2.加法，不用+-*/做加法（《剑指Offer》面试题47）
迭代版本（《剑指Offer》面试题47）
int Add(int num1,int num2)
{
int sum,carry;
do {
sum = num1^num2;
carry= (num1 & num2)<<1;
num1 = sum;
num2 = carry;
} while (num2!=0)
return num1;
}
递归版本（CareerCup 20.1）
int add_no_arithm(int num1,int num2)
{
if(num2 == 0)
return num1;
int sum = a^ b;
int carry = (a&b)<<1;
return add_no_arithm(sum,carry);
}
3.求两数的平均数 ，不用-、*、/求两数的平均数
似乎是出自《程序员面试宝典》，但是我在第三版第12章没找到原题。用下面的代码就能“神奇地”获得两个整型的平均值
int average（int x，int y）
{
return （ (x&y) + ( (x^y)>>1 ) ）;
}
解释请看：http://blog.****.net/leo115/article/details/7993110，不过也是转载，原出处疑似已失效。
4.不用*和/做除法（《算法设计手册》面试题1-28）
慢速版本和优化版本请参考旧作：http://www.cnblogs.com/wuyuegb2312/p/3257558.html
纵观第2、3、4条可以发现，如果限制不允许使用某种四则运算符以及%，就可以在位运算上打主意了。
5.二进制中1的个数
不要觉得很trick，这是K&R提到过的。值得注意的是，如果使用C实现，为了避免实现定义不同造成的结果不同，需要把该变量转化为无符号型。
int bitcount(unsigned x)
{
int b;
for(b=0;x|=0;x>>=1)
if(x&01)
b++;
return b;
}
事实上K&R习题2-9提到了一种更快的算法：
int bitcount(unsigned x)
{
int b;
for(b=0;x!=0;x&= x-1)
b++;
return b;
}
6.从无符号型x的第p位开始，取n位（K&R）
//最低位是第0位
unsigned getbits(unsigned x,int p, int n)
{
return (x>>(p+1-n)) & ~(~0<<n);
}
7.利用同余的性质和位运算加速的辗转相减求最大公约数法（《C语言参考手册》第七章）
unsigned binary_gcd(unsigned x, unsigned y)
{
unsigned temp;
unsigned common_power_of_two = 0;
if(x==0)
return 0;
if(y==0)
return 0; /*find the largest power of two
that divides both x and y*/
while(((x|y)&1)==0) {
x >>= 1;
y >>= 1;
++common_power_of_two;
}
while((x &1) == 0)
x >>= 1;
while(y) {
/*x is odd and y is nonzero here*/
while((y&1)==0)
y >>= 1;
/*x and y are odd here*/
temp = y;
if (x>y)
y = x - y;
else
y = y-x;
x = temp;
/*Now x has the old value of y,which is odd.
y is even,because it is the difference of
two odd numbers therefore it will be right-shifted
at least once on the next iteration.*/
}
return (x<<common_power_of_two);
}
8.不用大于小于号，求两数较大值（CareerCup 19.4）
int getMax(int a,int b)
{
int c = a - b;
int k = (c>>31)&0x1;
int max = a-k*c;
return max;
}
9.实现位向量
这种做法是对空间的高效利用。对《编程珠玑》上位向量实现全面分析的旧作一篇：http://www.cnblogs.com/wuyuegb2312/p/3136831.html
10.其他
附上MoreWindows前辈的一篇博文链接：位操作基础篇之位操作全面总结，顺便把该文的目录拿来做个索引：
作者：五岳
出处：http://www.cnblogs.com/wuyuegb2312
对于标题未标注为“转载”的文章均为原创，其版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
图解Javascript之Function
好东西分享给大家，但要尊重事实！！！因此特别说明：本图非我本人亲自所作，乃我大天朝网友所绘制。个人感觉此图，覆盖全面，细节考虑甚周全，因此分享给大家，同时在此特别感谢网友的无私分享！