TCP connect EADDRNOTAVAIL（99）错误原因分析

时间：2021-02-23 04:20:49

转自：http://blog.chinaunix.net/uid-20662820-id-3371081.html

关于TCP connect 返回错误99，可以能大家都会遇到，这里就分析一下这个错误的真正含义：

基于内核2.6.32
应用层调用connect，对应的系统调用的套接口实现是inet_stream_connect，对应tcp协议对应的传输层接口是tcp_v4_connect, 这里就从这个函数作为入口，该函数定义在net/ipv4/tcp_ipv4.c文件中

点击(此处)折叠或打开

  1. int tcp_v4_connect(struct sock *sk, struct sockaddr *uaddr, int addr_len)
  2. {
  3. struct inet_sock *inet = inet_sk(sk);
  4. struct tcp_sock *tp = tcp_sk(sk);
  5. struct sockaddr_in *usin = (struct sockaddr_in *)uaddr;
  6. struct rtable *rt;
  7. __be32 daddr, nexthop;
  8. int tmp;
  9. int err;
  10. if (addr_len < sizeof(struct sockaddr_in))
  11. return -EINVAL;
  12. if (usin->sin_family != AF_INET)
  13. return -EAFNOSUPPORT;
  14. nexthop = daddr = usin->sin_addr.s_addr;
  15. if (inet->opt && inet->opt->srr) {
  16. if (!daddr)
  17. return -EINVAL;
  18. nexthop = inet->opt->faddr;
  19. }
  20. tmp = ip_route_connect(&rt, nexthop, inet->saddr,
  21. RT_CONN_FLAGS(sk), sk->sk_bound_dev_if,
  22. IPPROTO_TCP,
  23. inet->sport, usin->sin_port, sk, 1);
  24. if (tmp < 0) {
  25. if (tmp == -ENETUNREACH)
  26. IP_INC_STATS_BH(sock_net(sk), IPSTATS_MIB_OUTNOROUTES);
  27. return tmp;
  28. }
  29. if (rt->rt_flags & (RTCF_MULTICAST | RTCF_BROADCAST)) {
  30. ip_rt_put(rt);
  31. return -ENETUNREACH;
  32. }
  33. if (!inet->opt || !inet->opt->srr)
  34. daddr = rt->rt_dst;
  35. if (!inet->saddr)
  36. inet->saddr = rt->rt_src;
  37. inet->rcv_saddr = inet->saddr;
  38. if (tp->rx_opt.ts_recent_stamp && inet->daddr != daddr) {
  39. /* Reset inherited state */
  40. tp->rx_opt.ts_recent     = 0;
  41. tp->rx_opt.ts_recent_stamp = 0;
  42. tp->write_seq         = 0;
  43. }
  44. if (tcp_death_row.sysctl_tw_recycle &&
  45. !tp->rx_opt.ts_recent_stamp && rt->rt_dst == daddr) {
  46. struct inet_peer *peer = rt_get_peer(rt);
  47. /*
  48. * VJ's idea. We save last timestamp seen from
  49. * the destination in peer table, when entering state
  50. * TIME-WAIT * and initialize rx_opt.ts_recent from it,
  51. * when trying new connection.
  52. */
  53. if (peer != NULL &&
  54. peer->tcp_ts_stamp + TCP_PAWS_MSL >= get_seconds()) {
  55. tp->rx_opt.ts_recent_stamp = peer->tcp_ts_stamp;
  56. tp->rx_opt.ts_recent = peer->tcp_ts;
  57. }
  58. }
  59. inet->dport = usin->sin_port;
  60. inet->daddr = daddr;
  61. inet_csk(sk)->icsk_ext_hdr_len = 0;
  62. if (inet->opt)
  63. inet_csk(sk)->icsk_ext_hdr_len = inet->opt->optlen;
  64. tp->rx_opt.mss_clamp = 536;
  65. /* Socket identity is still unknown (sport may be zero).
  66. * However we set state to SYN-SENT and not releasing socket
  67. * lock select source port, enter ourselves into the hash tables and
  68. * complete initialization after this.
  69. */
  70. tcp_set_state(sk, TCP_SYN_SENT);
  71. err = inet_hash_connect(&tcp_death_row, sk);
  72. if (err)
  73. goto failure;
  74. err = ip_route_newports(&rt, IPPROTO_TCP,
  75. inet->sport, inet->dport, sk);
  76. if (err)
  77. goto failure;
  78. /* OK, now commit destination to socket. */
  79. sk->sk_gso_type = SKB_GSO_TCPV4;
  80. sk_setup_caps(sk, &rt->u.dst);
  81. if (!tp->write_seq)
  82. tp->write_seq = secure_tcp_sequence_number(inet->saddr,
  83. inet->daddr,
  84. inet->sport,
  85. usin->sin_port);
  86. inet->id = tp->write_seq ^ jiffies;
  87. err = tcp_connect(sk);
  88. rt = NULL;
  89. if (err)
  90. goto failure;
  91. return 0;
  92. failure:
  93. /*
  94. * This unhashes the socket and releases the local port,
  95. * if necessary.
  96. */
  97. tcp_set_state(sk, TCP_CLOSE);
  98. ip_rt_put(rt);
  99. sk->sk_route_caps = 0;
  100. inet->dport = 0;
  101. return err;
  102. }

这里进入第84行代码的函数inet_hash_connect 查找一个本地可用端口与服务器建立连接

点击(此处)折叠或打开

  1. int inet_hash_connect(struct inet_timewait_death_row *death_row,
  2. struct sock *sk)
  3. {
  4. return __inet_hash_connect(death_row, sk, inet_sk_port_offset(sk),
  5. __inet_check_established, __inet_hash_nolisten);
  6. }

该函数实际上调用_inet_hash_connect

点击(此处)折叠或打开

  1. int __inet_hash_connect(struct inet_timewait_death_row *death_row,
  2. struct sock *sk, u32 port_offset,
  3. int (*check_established)(struct inet_timewait_death_row *,
  4. struct sock *, __u16, struct inet_timewait_sock **),
  5. void (*hash)(struct sock *sk))
  6. {
  7. struct inet_hashinfo *hinfo = death_row->hashinfo;
  8. const unsigned short snum = inet_sk(sk)->num;
  9. struct inet_bind_hashbucket *head;
  10. struct inet_bind_bucket *tb;
  11. int ret;
  12. struct net *net = sock_net(sk);
  13. if (!snum) {
  14. int i, remaining, low, high, port;
  15. static u32 hint;
  16. u32 offset = hint + port_offset;
  17. struct hlist_node *node;
  18. struct inet_timewait_sock *tw = NULL;
  19. inet_get_local_port_range(&low, &high);
  20. remaining = (high - low) + 1;
  21. local_bh_disable();
  22. for (i = 1; i <= remaining; i++) {
  23. port = low + (i + offset) % remaining;
  24. head = &hinfo->bhash[inet_bhashfn(net, port,
  25. hinfo->bhash_size)];
  26. spin_lock(&head->lock);
  27. /* Does not bother with rcv_saddr checks,
  28. * because the established check is already
  29. * unique enough.
  30. */
  31. inet_bind_bucket_for_each(tb, node, &head->chain) {
  32. if (ib_net(tb) == net && tb->port == port) {
  33. if (tb->fastreuse >= 0)
  34. goto next_port;
  35. WARN_ON(hlist_empty(&tb->owners));
  36. if (!check_established(death_row, sk,
  37. port, &tw))
  38. goto ok;
  39. goto next_port;
  40. }
  41. }
  42. tb = inet_bind_bucket_create(hinfo->bind_bucket_cachep,
  43. net, head, port);
  44. if (!tb) {
  45. spin_unlock(&head->lock);
  46. break;
  47. }
  48. tb->fastreuse = -1;
  49. goto ok;
  50. next_port:
  51. spin_unlock(&head->lock);
  52. }
  53. local_bh_enable();
  54. return -EADDRNOTAVAIL;
  55. ok:
  56. hint += i;
  57. /* Head lock still held and bh's disabled */
  58. inet_bind_hash(sk, tb, port);
  59. if (sk_unhashed(sk)) {
  60. inet_sk(sk)->sport = htons(port);
  61. hash(sk);
  62. }
  63. spin_unlock(&head->lock);
  64. if (tw) {
  65. inet_twsk_deschedule(tw, death_row);
  66. inet_twsk_put(tw);
  67. }
  68. ret = 0;
  69. goto out;
  70. }
  71. head = &hinfo->bhash[inet_bhashfn(net, snum, hinfo->bhash_size)];
  72. tb = inet_csk(sk)->icsk_bind_hash;
  73. spin_lock_bh(&head->lock);
  74. if (sk_head(&tb->owners) == sk && !sk->sk_bind_node.next) {
  75. hash(sk);
  76. spin_unlock_bh(&head->lock);
  77. return 0;
  78. } else {
  79. spin_unlock(&head->lock);
  80. /* No definite answer... Walk to established hash table */
  81. ret = check_established(death_row, sk, snum, NULL);
  82. out:
  83. local_bh_enable();
  84. return ret;
  85. }
  86. }

注意第61行代码，这里返回了EADDRNOTAVAIL错误。

这里分析一下这个函数实现：
调用inet_get_local_port_range(&low, &high) 获取可用的端口列表，这个值就是/proc/sys/net/ipv4/ip_local_port_range 中的值。

点击(此处)折叠或打开

  1. void inet_get_local_port_range(int *low, int *high)
  2. {
  3. unsigned seq;
  4. do {
  5. seq = read_seqbegin(&sysctl_local_ports.lock);
  6. *low = sysctl_local_ports.range[0];
  7. *high = sysctl_local_ports.range[1];
  8. } while (read_seqretry(&sysctl_local_ports.lock, seq));
  9. }

然后内核在这个范围内选择一个可用的端口作为本地端口去connect服务器，如果没有可用的端口可用，比如这个范围内的端口都处于如下状态中的一种：

1. bind使用的端口
2. 端口处于非TIME_WAIT状态
3. 端口处于TIME_WAIT状态，但是没有启用tcp_tw_reuse
那么就会返回EADDRNOTAVAIL错误。
 
一般情况下，出现这个错误应该是代码设计的问题，如果确定代码没有问题，那么根据上面的原则，可用使用如下方法解决问题：
1. 增大可选端口的范围，修改/proc/sys/net/ipv4/ip_local_port_range的值。
2. 开启tcp_tw_reuse，允许使用TIME_WAIT状态的端口。

相关文章