spark redis 中碰到java.net.SocketTimeoutException: Read timed out问题的解决

最近在写入redis的时候，程序跑着跑着会发现碰到这样的问题。

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: Read timed out
    at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:202)
    at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)
    at redis.clients.jedis.Protocol.process(Protocol.java:151)
    at redis.clients.jedis.Protocol.read(Protocol.java:215)
    at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:340)
    at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:276)
    at redis.clients.jedis.Connection.getMultiBulkReply(Connection.java:269)
    at redis.clients.jedis.Jedis.lrange(Jedis.java:935)
    at com.redislabs.provider.redis.rdd.RedisListRDD$$anonfun$getLIST$1$$anonfun$3.apply(RedisRDD.scala:98)
    at com.redislabs.provider.redis.rdd.RedisListRDD$$anonfun$getLIST$1$$anonfun$3.apply(RedisRDD.scala:98)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
    at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
    at scala.collection.mutable.ArrayOps$ofRef.flatMap(ArrayOps.scala:186)

由于spark采用的是jedis来连接的，因此也就说明是jedis的问题。

针对这一问题，之前直接都是利用

val client = new Jedis(ip, port)的方法，嵌套在dataframe.foreach()中的方式。

由于之前部署是流式的数据处理，所以每次处理间隔都非常短，因此没有任何问题。但是这回为了查看一个数据想缓存到spark的时候，发现了这个BUG。也才具体发现以前程序设置的不合理的地方。

还好，Jedis提供了这种解决方法。

• public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, final int port, final int timeout)
• public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, int port, int timeout, final String password, final int database)
• public JedisPool(final GenericObjectPoolConfig poolConfig, final String host, int port, int timeout, final String password, final int database, final String clientName)

采用这种池化的概念，可以来设置里面的timeout参数，默认是2000。

根据大概程序写入redis的数据量和时长来设置即可。

由于本来写入的数据量大概有7亿多条记录，为了方便，拆分了400个小片断分开写入，再用上述默认设置，也能够通过。

代码片断可以如下：

Jediscommands jediscommands;
JedisPool jedisPool;
JedisPoolConfig config = new JedisPoolConfig()

String ip = "***"
int port = 6379
long timeOut = 2000

String auth = "***"JedisPool jedisPool = new JedisPool(config,ip,port,timeOut,auth)Jedis jedis = jedisPool.getResource();

当前，也只可以对JedisPoolConfig进行设置。