TwemProxy
1、twemproxy是twitter开发的一个redis代理proxy。
通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免redis单点故障问题。
使用Twemproxy 对硬件资源配置较高；在redis性能有一定的损失（twitter测试约20%）用于提高整个系统的HA；
2、twemproxy部署简单快捷；可以直接在proxy进行读写、并转发请求给后端的redis；但是不适合超大流量系统。
做的时候把应用分开、使用LVS集群：实现twemproxy的负载均衡，提高proxy的可用性和可扩张能力；
优点:
轻量级的Redis和memcached代理。使用它可以减少缓存服务器的连接数，并且利用它来作分片，性能损耗不会多于20%。其实是因为用了pipeline.首先redis是支持使用pipeline批处理的。
twemproxy与每个redis服务器都会建立一个连接，每个连接实现了两个FIFO的队列，通过这两个队列实现对redis的pipeline访问。将多个客户端的访问合并到一个连接,这样既减少了redis服务器的连接数，又提高了访问性能。
缺点:
虽然可以动态移除节点，但该移除节点的数据就丢失了。redis集群动态增加节点的时候,twemproxy不会对已有数据做重分布.maillist里面作者说这个需要自己写个脚本实现性能上的损耗.
二、规划示例：
Twemproxy - nutcracker：
ip：192.168.100.101
ip：192.168.100.102 HA - keepalived
ip：192.168.100.101
ip：192.168.100.102
VIP:192.168.100.100 Redis - server
IP: 192.168.100.106
Port：6001/6002/6003
IP: 192.168.100.107
Port：6001/6002/6003
3、twemproxy 安装示例：
wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
yum install gcc gcc-c++ tcl ruby -y
tar -xf autoconf-2.69.tar.gz
cd autoconf-2.69/
./configure
make &&make install
git clone https://codeload.github.com/twitter/twemproxy/zip/master
cd twemproxy-master
autoreconf -fvi
./configure --enable-debug=full
make
make install
4、配置示例：
# vim /etc/nutcracker.yml
alpha:
listen: 0.0.0.0:
hash: fnv1a_64
distribution: ketama
auto_eject_hosts: true
redis: true
server_retry_timeout:
server_failure_limit:
servers:
// 两台redis服务器的地址和端口
- 192.168.100.106::
- 192.168.100.107::
注释：
listen
// 监听的ip和端口， 格式：ip : port
hash
// 哈希算法名
distribution
// key分布哈希算法
auto_eject_hosts
// 是否在结点无法响应的时候临时摘除结点
redis
// 是否是redis协议
server_retry_timeout
// 重试的时间（毫秒）
server_connections
// 每个memcache实例的连接数
server_failure_limit
// 失败重试次数，默认3次
timeout
// 超时时间（毫秒）
servers
// 实例列表， 格式：IP:Port:weight (权重)
5、启动Twemproxy服务
nutcracker -t nutcracker.yml
检测配置语法真确会显示OK .
6、设置启动：
# cat start.sh
nutcracker -d -c /opt/twemproxy-master/conf/nutcracker.yml -p /opt/twemproxy-master/run/redisproxy.pid -o /opt/twemproxy-master/run/redisproxy.log
7、检测进程
ps -ef | grep nutcracker
三、keepalived
yum install keepalived -y # cat /etc/keepalived/keepalived.conf
配置示例：
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL
} vrrp_script check_twem {
script "/etc/keepalived/check_twem.sh"
interval
weight -
fall
rise
} vrrp_instance VI_1
{
state MASTER
interface eth0
virtual_router_id
priority
advert_int
authentication {
auth_type PASS
auth_pass
}
virtual_ipaddress {
192.168.100.100/ dev eth0 label eth0:
}
track_script {
check_twem
}
} virtual_server 192.168.100.100
{
delay_loop
protocol TCP real_server 192.168.100.101 {
weight
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
connect_port
}
}
real_server 192.168.100.102 {
weight
TCP_CHECK {
connect_timeout
nb_get_retry
delay_before_retry
connect_port
}
}
}
9、nutcracker 进程检测 脚本check_twem.sh
touch /etc/keepalived/check_twem.sh
# cat /etc/keepalived/check_twem.sh
#!/bin/bash
counter=$(ps -C nutcracker --no-heading|wc -l)
if [ "${counter}" = "" ]; then
sh /opt/twemproxy-master/start.sh
sleep
counter=$(ps -C nutcracker --no-heading|wc -l)
if [ "${counter}" = "" ]; then
/etc/init.d/keepalived stop
fi
fi
10 、测试
Redis 基常用础操作
Redis 模糊搜索
keys *
select
删除所有以user开头的key 可以这样实现：
# redis-cli keys "user*"
) "user1"
) "user2"
# redis-cli keys "user*" | xargs redis-cli del
(integer)
# 删除成功
# 批量删除匹配通配符的key用到了Linux中的管道和xargs参数：
redis-cli keys "s*" | xargs redis-cli del
# 如果需要制定数据库，需要用到 -n 数据库编号 参数，下面是删除2数据库中s开头的键：
redis-cli -n keys "s*" | xargs redis-cli -n del
redis-cli keys "*" | xargs redis-cli del
// 如果redis-cli没有设置成系统变量，需要指定redis-cli的完整路径
// 如：/opt/redis/redis-cli keys "*" | xargs /opt/redis/redis-cli del
# 删除当前数据库中的所有Key
flushdb
# 删除所有数据库中的key
flushall