目录结构分布
我们从GitHub上把它下载后解压出来,有以下5个目录,分别是:
- admin 管理模块,对策略增删改查等功能
- diversion 主模块吧,看源码是通过反射的方式调用lib/userinfo里面的子模块读取我们需要做判断条件的信息,然后在根据提取出来的信息匹配规则,再根据匹配结果调用lib/diversion里面的模块提取upstream,最后返回upstream给nginx进行分流。
- doc 文档
- lib 各个操作的子模块
- utils 专门存放nginx相关文件的
我这次更改的需求是 添加一个分流策略
从哪里开始入手
我们了解每个目录是干啥的后,我们开始从lib这个模块开始入手
我们切换到lib/abtesting/utils/ 下面,修改init.lua模块以下代码
init.lua
添加分流策略
_M.divtypes = {
["iprange"] = 'ipParser',
["uidrange"] = 'uidParser',
["uidsuffix"] = 'uidParser',
["uidappoint"] = 'uidParser',
["arg_city"] = 'cityParser',
["url"] = 'urlParser',
["domainname"] = 'domainname', --新添加域名策略
}
我在上面的代码divtypes里面添加了 ["domainname"] = 'domainname'
这一行,这个主要是对分流策略做添加一个策略作用,因为当我们对abtestinggateway添加策略的时候,它会从这里匹配。
userinfo目录下面添加lua文件
获取我们需要的参数在分流的时候。
添加完策略名后,我们还需要添加一个模块,先切换到 lib/abtesting/userinfo/
下面,然后添加一个和刚才策略名一样的lua文件,比如我刚才设置的是domainname,那么我在这下面也添加一个 domainname.lua 文件,文件名不一样的话,会报错,提示导入模块失败的。代码如下:
[root@LeoDevops gray_release_newtang]# cat lib/abtesting/userinfo/domainname.lua
local _M = {
_VERSION = '0.01'
}
_M.get = function()
local h = ngx.var.host
return h
end
return _M
上面这段代码主要是提取http的请求域名的功能,然后返回给调用者。
diversion目录下添加lua文件
编写分流逻辑。
我们上面两步做完后,还有一步是自己写一个分流规则,我们可以参考这个/lib/abtesting/diversion
下面的其他策略文件,照着写就是了,文件名需要和策略名字一致。
[root@LeoDevops gray_release_newtang]# cat lib/abtesting/diversion/domainname.lua
local modulename = "abtestingDiversionCustomercode" -- 模块名记得更改
local _M = {}
local mt = { __index = _M }
_M._VERSION = "0.0.1"
local ERRORINFO = require('abtesting.error.errcode').info
local k_domainname = 'domainname'
local k_domainname_set = 'domainname_set' --这个是key,后面对应的value就是我们要匹配的域名 比如{domainname_set:['t1.com','t2.com']}
local k_upstream = 'upstream'
_M.new = function(self, database, policyLib)
if not database then
error{ERRORINFO.PARAMETER_NONE, 'need avaliable redis db'}
end if not policyLib then
error{ERRORINFO.PARAMETER_NONE, 'need avaliable policy lib'}
end
self.database = database
self.policyLib = policyLib
return setmetatable(self, mt)
end
local isNULL = function(v)
return v and v ~= ngx.null
end
-- policy is in format as {{upstream = '192.132.23.125', domainname_set ={ "t1", "t2","t3"} }, {}}
_M.check = function(self, policy)
for _, v in pairs(policy) do
local domainname_set = v[k_domainname_set]
local upstream = v[k_upstream]
local v_domainname_set = domainname_set and (type(domainname_set) == 'table')
local v_upstream = upstream and upstream ~= ngx.null
if not v_domainname_set or not v_upstream then
local info = ERRORINFO.POLICY_INVALID_ERROR
local desc = ' k_domainname_set or k_upstream error'
return {false, info, desc}
end
for _, domainname in pairs(domainname_set) do
if not tostring(uid) then
local info = ERRORINFO.POLICY_INVALID_ERROR
local desc = 'domainname invalid ,can not convert to string'
return {false, info, desc}
end
end
--TODO: need to check upstream alive
end
return {true}
end
-- policyData will be in hash table domainname:upstream
_M.set = function(self, policy)
local database = self.database
local policyLib = self.policyLib
database:init_pipeline()
for _, v in pairs(policy) do
local domainname_set = v[k_domainname_set]
local upstream = v[k_upstream]
for _, domainname in pairs(domainname_set) do
database:hset(policyLib, domainname, upstream)
end
end
local ok, err = database:commit_pipeline()
if not ok then
error{ERRORINFO.REDIS_ERROR, err}
end
end
_M.get = function(self)
local database = self.database
local policyLib = self.policyLib
local data, err = database:hgetall(policyLib)
if not data then
error{ERRORINFO.REDIS_ERROR, err}
end
return data
end
_M.getUpstream = function(self, domainname)
if not tostring(domainname) then
return nil
end
local database, key = self.database, self.policyLib
local backend, err = database:hget(key, domainname)
if not backend then error{ERRORINFO.REDIS_ERROR, err} end
if backend == ngx.null then backend = nil end
return backend
end
return _M
上面的就是我的域名分流 逻辑,如果我加入了其他分流策略,那么只需要把domainname,k_domainname,k_domainname_set这三个变量名更改成自己的就可以了。
测试
完成上面三步后,我们就可以测试了,
policy_check
[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_check' -d '{"divtype": "domainname","divdata": [{"domainname_set": ["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'
{"code":200,"desc":"success "}
语法检测OK,通过,那么就添加策略了吧。
policy_add
[root@LeoDevops ~]# curl 'http://127.0.0.1:8080/ab_admin?action=policy_set' -d '{"divtype": "domainname","divdata": [{"domainname_set":["t1.quanshi.com", "t2.quanshi.com"],"upstream": "beta1"}]}'
{"code":200,"desc":"success the id of new policy is 0"}
策略添加成功,没有问题。
错误日志记录
这里使用的是nginx日志来记录日志,我们这里的也借助abtestingGateway来做日志记录。
我们切换到lib/abtesting/error/ 下面,编辑errorcode.lua 里面的代码
local modulename = 'abtestingErrorInfo'
local _M = {}
_M._VERSION = '0.0.1'
_M.info = {
... 省略N行
-- show some args when posting
['SHOW_REQUEST_ARGS'] = { 50701, 'requst arguments --> '},
['SHOW_POST_ARGS'] = { 50702, 'POST arguments --> '},
}
return _M
上面两行代码是我添加的错误代码。用于显示参数信息等。临时打下这些信息方便编写代码。
打印日志
local args = ngx.req.get_uri_args()
local action = args.action
local do_action = ab_action[action]
local info = ERRORINFO.SHOW_REQUEST_ARGS
log:errlog(dolog(info,action )) --记录http请求的参数,临时打开下,记录为error也可以,反正是临时打开下。