上接[haproxy集成国密ssl功能上
4. 源码修改解析
以下修改基本围绕haproxy的ssl_sock.c进行修改来展开的，为了将整个实现逻辑能够说明清楚，下述内容有部分可能就是直接摘抄haproxy的原有代码没有做任何修改，而大部分增加或者修改的内容则进行了特别的说明。
4.1 为bind指令的ssl子命令添加ntls选项解析能力
static struct bind_kw_list bind_kws = {
"SSL", {
}, {
......
{
"force-tlsv10", bind_parse_tls_method_options, 0 }, /* force TLSv10 */
{
"force-tlsv11", bind_parse_tls_method_options, 0 }, /* force TLSv11 */
{
"force-tlsv12", bind_parse_tls_method_options, 0 }, /* force TLSv12 */
{
"force-tlsv13", bind_parse_tls_method_options, 0 }, /* force TLSv13 */
{
"force-ntlsv11", bind_parse_tls_method_options, 0 }, /* force NTLSv11 */
{
"generate-certificates", bind_parse_generate_certs, 0 }, /* enable the server certificates generation */
{
"no-ca-names", bind_parse_no_ca_names, 0 }, /* do not send ca names to clients (ca_file related) */
{
"no-sslv3", bind_parse_tls_method_options, 0 }, /* disable SSLv3 */
{
"no-tlsv10", bind_parse_tls_method_options, 0 }, /* disable TLSv10 */
{
"no-tlsv11", bind_parse_tls_method_options, 0 }, /* disable TLSv11 */
{
"no-tlsv12", bind_parse_tls_method_options, 0 }, /* disable TLSv12 */
{
"no-ntlsv11", bind_parse_tls_method_options, 0 }, /* disable TLSv13 */
{
"no-tlsv13", bind_parse_tls_method_options, 0 }, /* disable NTLSv11 */
......
{
NULL, NULL, 0 },
}};
这里添加了ntls、force-ntlsv11和no-ntlsv11三个指令选项。haproxy 通过INITCALL1(STG_REGISTER, bind_register_keywords, &bind_kws);将指令选项的解析回调函数注册进去，在指令解析的时候将回调对应的选项解析函数。
4.1.1 ntls指令选项解析
按照上面的配置，ntls的配置选项是交由bind_parse_ntls来解析的，源码如下：
/* parse the "ntls" bind keyword. Returns a set of ERR_* flags possibly with an error in <err>. */
static int bind_parse_ntls(char **args, int cur_arg, struct proxy *px,
struct bind_conf *conf, char **err)
{
char enc[MAXPATHLEN], sign[MAXPATHLEN], tls[MAXPATHLEN];
int cfgerr = 0;
int couple_cert = 0;
const char *gm_cert_enc, *gm_cert_sign, *tls_cert;
gm_cert_enc = gm_cert_sign = tls_cert = NULL;
char* err2 = NULL;
SSL_CTX *old_ctx = NULL;
if (!*args[cur_arg + 1]) {
memprintf(err, "'%s' : missing ntls enc certificate location", args[cur_arg]);
return ERR_ALERT | ERR_FATAL;
}
else {
gm_cert_enc = args[cur_arg + 1];
}
if (!*args[cur_arg + 2]) {
memprintf(err, "'%s' : missing ntls sign certificate location", args[cur_arg]);
return ERR_ALERT | ERR_FATAL;
}
else {
gm_cert_sign = args[cur_arg + 2];
}
if (*args[cur_arg + 3]) {
if (strstr(args[cur_arg + 3], ".pem") != NULL
|| strstr(args[cur_arg + 3], ".crt") != NULL) {
/* 第三个参数必须是以.pem或.crt为扩展名的文件，
这样子才会启用tls 和 ntls双证书模式 */
couple_cert = 1;
tls_cert = args[cur_arg + 1];
gm_cert_enc = args[cur_arg + 2];
gm_cert_sign = args[cur_arg + 3];
}
}
if (tls_cert) {
if ((*tls_cert != '/' ) && global_ssl.crt_base) {
if ((strlen(global_ssl.crt_base) + 1 + strlen(tls_cert) + 1)
> MAXPATHLEN) {
memprintf(err, "'%s' : tls certificate path too long",
args[cur_arg]);
return ERR_ALERT | ERR_FATAL;
}
snprintf(tls, sizeof(tls), "%s/%s", global_ssl.crt_base, tls_cert);
}else {
strcpy(tls, tls_cert);
}
/* 加载tls证书 */
cfgerr = ssl_sock_load_cert(tls, conf, &err2);
if (cfgerr != 0) {
memprintf(err, "load enc certificate %s failed, error:%s",
tls, err2 ? err2: "" );
if (err2) free(err2);
return cfgerr;
}
}
else {
/*
如果没有tls证书，那么就没有调用ssl_sock_load_cert而创建一个新的ctx，
在这里需要将conf->default_ctx置为空，
让ssl_sock_load_ntls_cert新创建一个ctx,
等ntls的enc和sign证书加载完成后，重新将conf->default_ctx设置回去。
*/
old_ctx = conf->default_ctx;
conf->default_ctx = NULL;
}
if ((*gm_cert_enc != '/' ) && global_ssl.crt_base) {
if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_enc) + 1)
> MAXPATHLEN) {
memprintf(err, "'%s' : enc certificate path too long",
args[cur_arg]);
return ERR_ALERT | ERR_FATAL;
}
snprintf(enc, sizeof(enc), "%s/%s", global_ssl.crt_base, gm_cert_enc);
}else {
strcpy(enc, gm_cert_enc);
}
/* 加载ntls_enc证书 */
cfgerr = ssl_sock_load_ntls_cert(enc, conf, 0, &err2);
if (cfgerr != 0) {
memprintf(err, "load enc certificate %s failed, error:%s",
enc, err2 ? err2 : "");
if (err2) free(err2);
return cfgerr;
}
if ((*gm_cert_sign != '/' ) && global_ssl.crt_base) {
if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_sign) + 1)
> MAXPATHLEN) {
memprintf(err, "'%s' : sign certificate path too long",
args[cur_arg]);
return ERR_ALERT | ERR_FATAL;
}
snprintf(sign, sizeof(sign), "%s/%s",
global_ssl.crt_base, gm_cert_sign);
}else {
strcpy(sign, gm_cert_sign);
}
/* 加载ntls_sign证书 */
cfgerr = ssl_sock_load_ntls_cert(sign, conf, 1, &err2);
if (cfgerr != 0) {
memprintf(err, "load sign certificate %s failed, error:%s",
sign, err2 ? err2 : "" );
if (err2) free(err2);
return cfgerr;
}
// 设置启用国密TLCP协议
conf->enable_ntls = 1;
/* 重新将default_ctx改成之前的old_ctx */
if (old_ctx) {
conf->default_ctx = old_ctx;
}
if (tls_cert)
return cfgerr | 0x30000000; /* 指明消耗3个参数 */
else
return cfgerr | 0x20000000; /* 指明消耗2个参数 */
}
以上代码就是从配置指令中读取加密证书和签名证书，ntls可以同时支持国际和国密证书的加载，如果是双证书的情况，那么需要解析三个参数，所以返回的时候我们需要告诉配置解析框架到底消耗了几个参数，这个通过复用返回的错误值的高4个bit来实现。由于原来的haproxy框架是不支持可变个数参数的，因此，在兼容原始功能逻辑的基础上，需要略微修改一下haproxy的配置解析框架的代码，在cfg_parse-listen.c的cfg_parse_listen函数中，进行如下修改：
int cfg_parse_listen(const char *file, int linenum, char **args, int kwm)
{
......
cur_arg = 2;
while (*(args[cur_arg])) {
static int bind_dumped;
struct bind_kw *kw;
char *err;
kw = bind_find_kw(args[cur_arg]);
if (kw) {
char *err = NULL;
int code, skip = 0;
if (!kw->parse) {
ha_alert("parsing [%s:%d] : '%s %s' : '%s' option is not implemented in this version (check build options).\n",
file, linenum, args[0], args[1], args[cur_arg]);
cur_arg += 1 + kw->skip ;
err_code |= ERR_ALERT | ERR_FATAL;
goto out;
}
code = kw->parse(args, cur_arg, curproxy, bind_conf, &err);
/* skip表示回调函数在配置选项解析过程中，消耗了几个配置参数 */
skip = (code >> 28) & 0x0000000F;
/* 从返回值中过滤出错误代码 */
err_code |= code & 0x0FFFFFFF;
/* 用来兼容原生逻辑，
如果解析函数没有返回了跳过多少个参数，则用配置中的设置
*/
if (skip == 0) {
skip = kw->skip;
}
if (code & 0x0FFFFFFF) {
/* 如果本次调用配置解析回调函数返回错误了, 那么下面进行错误处理 */
if (err && *err) {
indent_msg(&err, 2);
if (((code & (ERR_WARN|ERR_ALERT)) == ERR_WARN))
ha_warning("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);
else
ha_alert("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);
}
else
ha_alert("parsing [%s:%d] : '%s %s' : error encountered while processing '%s'.\n",
file, linenum, args[0], args[1], args[cur_arg]);
if (code & ERR_FATAL) {
free(err);
cur_arg += 1 + skip;
goto out;
}
}
free(err);
cur_arg += 1 + skip;
continue;
}
err = NULL;
if (!bind_dumped) {
bind_dump_kws(&err);
indent_msg(&err, 4);
bind_dumped = 1;
}
ha_alert("parsing [%s:%d] : '%s %s' unknown keyword '%s'.%s%s\n",
file, linenum, args[0], args[1], args[cur_arg],
err ? " Registered keywords :" : "", err ? err : "");
free(err);
err_code |= ERR_ALERT | ERR_FATAL;
goto out;
}
goto out;
......
}
函数bind_parse_ntls是通过ssl_sock_load_ntls_cert来将这两个证书加载进bind_conf->default_ctx(ssl配置上下文)，ssl_sock_load_ntls_cert代码如下：
#define FREE_CTX_RETURN(ctx, err) \
if (ctx_new) {
\
SSL_CTX_free(ctx); \
bind_conf->default_ctx = NULL; \
} \
return (err)
/* enc_sign = 0 表示加载加密证书 否则表示加载签名证书 */
static
int ssl_sock_load_ntls_cert(char