超大批量向redis导入数据

时间:2022-10-30 14:52:43

日常中有时为了做实验需要向redis导入大量数据

下面提供一些思路:

1、循环导入

key的类型为string,下面是例子脚本

for((i=1;i<=1000000;i++))
do
redis-cli -a "password" -n 0 -p 6379 set "k"$i "v"$i
done

这样的坏处显而易见,每次都要建立连接,效率低下,不可取。

当然你导入几百几千个key倒是没什么问题。


2、pipeline方式导入


先把预先的命令导入到一个文本里面

for((i=1;i<=1000000;i++))
do
echo "set k$i v$i" >> /tmp/_t.txt
done


执行格式转换

unix2dos /tmp/_t.txt 


pipeline导入

cat /tmp/_t.txt | redis-cli -a "password" -n 0 -p 6379 --pipe


以上测试下来,100万的数据,在几十秒中搞定,速度嗷嗷的

参考:http://redis.io/topics/mass-insert


还有一种情况,比如需要把MySQL中的数据批量导入redis

假如目前需要把用户元宝表导入到redis中,表 user_gold(user_id, amount) ,每个用户一个key,string类型。

我们可以这样操作:

-- 1.sql 保存sql到 1.sql中

SELECT CONCAT(  
  "*3\r\n",  
  '$3\r\n',  
  'SET\r\n',  
  '$', LENGTH(redis_key), '\r\n',  
  redis_key, '\r\n',
  '$', LENGTH(redis_value), '\r\n',
  redis_value, '\r'
)  
FROM (  
  SELECT 
  CONCAT('user:gold:',user_id) AS redis_key,
  amount AS redis_value
  FROM test.user_gold
) AS t;

执行导入操作:

mysql --raw --skip-column-names -h2.6.3.101 -P1067 -uroot -p'123456' test -A < /data/sql/1.sql | /data/redis/bin/redis-cli -a "password" -n 0 -p 6379 --pipe