AbtestingGateway 分流策略添加

时间:2022-06-08 08:02:28

目录结构分布

我们从GitHub上把它下载后解压出来,有以下5个目录,分别是:

  1. admin 管理模块,对策略增删改查等功能
  2. diversion 主模块吧,看源码是通过反射的方式调用lib/userinfo里面的子模块读取我们需要做判断条件的信息,然后在根据提取出来的信息匹配规则,再根据匹配结果调用lib/diversion里面的模块提取upstream,最后返回upstream给nginx进行分流。
  3. doc 文档
  4. lib 各个操作的子模块
  5. utils 专门存放nginx相关文件的

我这次更改的需求是 添加一个分流策略

从哪里开始入手

我们了解每个目录是干啥的后,我们开始从lib这个模块开始入手

我们切换到lib/abtesting/utils/ 下面,修改init.lua模块以下代码

init.lua

添加分流策略

_M.divtypes = {
["iprange"] = 'ipParser',
["uidrange"] = 'uidParser',
["uidsuffix"] = 'uidParser',
["uidappoint"] = 'uidParser',
["arg_city"] = 'cityParser',
["url"] = 'urlParser',
["domainname"] = 'domainname', --新添加域名策略
}

我在上面的代码divtypes里面添加了 ["domainname"] = 'domainname'这一行,这个主要是对分流策略做添加一个策略作用,因为当我们对abtestinggateway添加策略的时候,它会从这里匹配。

userinfo目录下面添加lua文件

获取我们需要的参数在分流的时候。

添加完策略名后,我们还需要添加一个模块,先切换到 lib/abtesting/userinfo/ 下面,然后添加一个和刚才策略名一样的lua文件,比如我刚才设置的是domainname,那么我在这下面也添加一个 domainname.lua 文件,文件名不一样的话,会报错,提示导入模块失败的。代码如下:

[root@LeoDevops gray_release_newtang]# cat lib/abtesting/userinfo/domainname.lua
local _M = {
_VERSION = '0.01'
} _M.get = function()
local h = ngx.var.host
return h
end
return _M

上面这段代码主要是提取http的请求域名的功能,然后返回给调用者。

diversion目录下添加lua文件

编写分流逻辑。

我们上面两步做完后,还有一步是自己写一个分流规则,我们可以参考这个/lib/abtesting/diversion下面的其他策略文件,照着写就是了,文件名需要和策略名字一致。

[root@LeoDevops gray_release_newtang]# cat lib/abtesting/diversion/domainname.lua
local modulename = "abtestingDiversionCustomercode" -- 模块名记得更改 local _M = {}
local mt = { __index = _M }
_M._VERSION = "0.0.1" local ERRORINFO = require('abtesting.error.errcode').info local k_domainname = 'domainname'
local k_domainname_set = 'domainname_set' --这个是key,后面对应的value就是我们要匹配的域名 比如{domainname_set:['t1.com','t2.com']}
local k_upstream = 'upstream' _M.new = function(self, database, policyLib)
if not database then
error{ERRORINFO.PARAMETER_NONE, 'need avaliable redis db'}
end if not policyLib then
error{ERRORINFO.PARAMETER_NONE, 'need avaliable policy lib'}
end self.database = database
self.policyLib = policyLib
return setmetatable(self, mt)
end local isNULL = function(v)
return v and v ~= ngx.null
end -- policy is in format as {{upstream = '192.132.23.125', domainname_set ={ "t1", "t2","t3"} }, {}}
_M.check = function(self, policy)
for _, v in pairs(policy) do
local domainname_set = v[k_domainname_set]
local upstream = v[k_upstream] local v_domainname_set = domainname_set and (type(domainname_set) == 'table')
local v_upstream = upstream and upstream ~= ngx.null if not v_domainname_set or not v_upstream then
local info = ERRORINFO.POLICY_INVALID_ERROR
local desc = ' k_domainname_set or k_upstream error'
return {false, info, desc}
end for _, domainname in pairs(domainname_set) do
if not tostring(uid) then
local info = ERRORINFO.POLICY_INVALID_ERROR
local desc = 'domainname invalid ,can not convert to string'
return {false, info, desc}
end
end
--TODO: need to check upstream alive
end return {true}
end -- policyData will be in hash table domainname:upstream
_M.set = function(self, policy)
local database = self.database
local policyLib = self.policyLib database:init_pipeline()
for _, v in pairs(policy) do
local domainname_set = v[k_domainname_set]
local upstream = v[k_upstream]
for _, domainname in pairs(domainname_set) do
database:hset(policyLib, domainname, upstream)
end
end
local ok, err = database:commit_pipeline()
if not ok then
error{ERRORINFO.REDIS_ERROR, err}
end
end _M.get = function(self)
local database = self.database
local policyLib = self.policyLib local data, err = database:hgetall(policyLib)
if not data then
error{ERRORINFO.REDIS_ERROR, err}
end return data
end _M.getUpstream = function(self, domainname)
if not tostring(domainname) then
return nil
end local database, key = self.database, self.policyLib local backend, err = database:hget(key, domainname)
if not backend then error{ERRORINFO.REDIS_ERROR, err} end if backend == ngx.null then backend = nil end return backend
end return _M

上面的就是我的域名分流 逻辑,如果我加入了其他分流策略,那么只需要把domainname,k_domainname,k_domainname_set这三个变量名更改成自己的就可以了。

测试

完成上面三步后,我们就可以测试了,

policy_check

[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_check' -d '{"divtype": "domainname","divdata": [{"domainname_set": ["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'
{"code":200,"desc":"success "}

语法检测OK,通过,那么就添加策略了吧。

policy_add

[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_set' -d '{"divtype": "domainname","divdata": [{"domainname_set":["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'
{"code":200,"desc":"success the id of new policy is 0"}

策略添加成功,没有问题。

错误日志记录

这里使用的是nginx日志来记录日志,我们这里的也借助abtestingGateway来做日志记录。

我们切换到lib/abtesting/error/ 下面,编辑errorcode.lua 里面的代码

local modulename = 'abtestingErrorInfo'
local _M = {} _M._VERSION = '0.0.1' _M.info = {
... 省略N行
-- show some args when posting
['SHOW_REQUEST_ARGS'] = { 50701, 'requst arguments --> '},
['SHOW_POST_ARGS'] = { 50702, 'POST arguments --> '},
} return _M

上面两行代码是我添加的错误代码。用于显示参数信息等。临时打下这些信息方便编写代码。

打印日志
local args = ngx.req.get_uri_args()
local action = args.action
local do_action = ab_action[action]
local info = ERRORINFO.SHOW_REQUEST_ARGS
log:errlog(dolog(info,action )) --记录http请求的参数,临时打开下,记录为error也可以,反正是临时打开下。