Grab Cut 源码解读(最大流-最小割, min-cut\max-flow)

时间:2021-02-05 06:43:26

       最近在学习grab cut算法,发现需要学习的内容挺多,其中主要内容有min-cut\max-flow、高斯混合模型GMM和基于能量优化的算法。因为平时用opencv比较多,所以抽空仔细阅读了一下grab cut的源码,确实比较难懂。

首先,opencv的源码几乎没有注释,洋洋洒洒500+的代码注释也就10行左右,感觉略坑,不像大神们的风格啊。

其次,核心函数也太长了点,max-flow算法主函数居然有230行之多。

第三,用到的变量相当多,有不下30个。变量命名也不够人性化,各种t, e0, ei都被当做变量名使用,让人无力吐槽。

第四,改进型的max-flow本身也比较繁琐

第五,.................

       因此,全部看完花了估计有4-5天的时间,而且是在大神zouxy09的博文指导下看的。如果完全自己搞,估计俩星期都看不懂。http://blog.csdn.net/zouxy09/article/details/8535087是zouxy09对于grab cut系列源码算法解读的链接,原文只介绍了grabcut.cpp, 包括高斯混合模型和max-flow/min-cut图的构建,没有解读gcgraph.hpp。所以我就只给出gcgraph.hpp代码的分析。

 

       我会在最近几天更新本博客,毕竟导师那儿还有安排的工作要做呢。

       敬请期待!

 

Grab Cut 源码解读(最大流-最小割, min-cut\max-flow)

 

      代码解释以注释的形式展示,因为时间比较紧张,可能还有很多地方没解释清楚,有空再完善,欢迎大家讨论!

 


#ifndef _CV_GCGRAPH_H_
#define _CV_GCGRAPH_H_

template <class TWeight> class GCGraph
{
public:
GCGraph();
GCGraph( unsigned int vtxCount, unsigned int edgeCount );
~GCGraph();
void create( unsigned int vtxCount, unsigned int edgeCount );
int addVtx();
void addEdges( int i, int j, TWeight w, TWeight revw );
void addTermWeights( int i, TWeight sourceW, TWeight sinkW );
TWeight maxFlow();
bool inSourceSegment( int i );
private:
class Vtx //结点类型
{
public:
Vtx *next; //在maxflow算法中用于构建先进-先出队列
int parent; //父节点发出的弧
int first; //首个相邻弧
int ts; //time-stamp时间戳
int dist; //distance,到树根的距离
TWeight weight; //t-value, 即到终端结点的权值
uchar t; //取值只能是0-1,s->t方向为0, t->s方向为1
};
class Edge //边类型
{
public:
int dst; //弧指向的顶点
int next; //同一个原点的下一条弧
TWeight weight; //n-value, 弧的权值
};

std::vector<Vtx> vtcs; //结点集合
std::vector<Edge> edges; //弧集合
TWeight flow; //图的流量
};

template <class TWeight>
GCGraph<TWeight>::GCGraph()
{
flow = 0; //流量初始化为0
}
GCGraph<TWeight>::GCGraph( unsigned int vtxCount, unsigned int edgeCount )
{
//构造函数并没有实质性的内容,而是把工作交给了create函数
//大家一起想想是为啥~
create( vtxCount, edgeCount );
}
template <class TWeight>
GCGraph<TWeight>::~GCGraph()
{
}
template <class TWeight>
void GCGraph<TWeight>::create( unsigned int vtxCount, unsigned int edgeCount )
{
//原来creeate也没啥东西啊
//为了提高内存分配效率,给两个集合预留足够空间
vtcs.reserve( vtxCount );
edges.reserve( edgeCount + 2 );
flow = 0;
}

/*
函数功能:
添加一个空结点,所有成员初始化为空
参数说明:

返回值:
当前结点在集合中的编号
*/
template <class TWeight>
int GCGraph<TWeight>::addVtx()
{
//添加结点
Vtx v;

//将结点申请到的内存空间全部清0(第二个参数0)
//目的:由于结点中存在成员变量为指针,指针设置为null保证安全
memset( &v, 0, sizeof(Vtx));
vtcs.push_back(v);

return (int)vtcs.size() - 1; //返回结点集合尺寸-1
}


/*
函数功能:
添加一条结点i和结点j之间的弧n-link弧(普通结点之间的弧)
参数说明:
int---i: 弧头结点编号
int---j: 弧尾结点编号
Tweight---w: 正向弧权值
Tweight---reww: 逆向弧权值
返回值:


*/
template <class TWeight>
void GCGraph<TWeight>::addEdges( int i, int j, TWeight w, TWeight revw )
{
// 检查结点编号有效性
CV_Assert( i>=0 && i<(int)vtcs.size() );
CV_Assert( j>=0 && j<(int)vtcs.size() );

CV_Assert( w>=0 && revw>=0 ); // 检查弧权值有效性
CV_Assert( i != j ); // 不存在指向自己的结点

if( !edges.size() )
edges.resize( 2 );

// 正向弧:fromI, 反向弧 toI
Edge fromI, toI;

//===================================================//
//以下为插入正向弧的操作
fromI.dst = j; // 正向弧指向结点j
fromI.weight = w; // 正向弧赋予权值w

//注意,为便于解释,下方一行代码与上面一行代码交换了顺序,没有任何实际影响
//每个结点所发出的全部n-link弧(4个方向)都会被连接为一个链表,
//采用头插法插入所有的弧
fromI.next = vtcs[i].first; //将正向弧指向结点i的链表首部
vtcs[i].first = (int)edges.size(); //修改结点i的第一个弧为当前正向弧

edges.push_back( fromI ); //正向弧加入弧集合

//===================================================//
//以下为插入反向弧的操作,与上相同,不作解释
toI.dst = i;
toI.weight = revw;
toI.next = vtcs[j].first;
vtcs[j].first = (int)edges.size();
edges.push_back( toI );
}

/*
函数功能:
为结点i的添加一条t-link弧(到终端结点的弧)
参数说明:
int---i: 结点编号
Tweight---sourceW: 正向弧权值
Tweight---sinkW: 逆向弧权值
*/
template <class TWeight>
void GCGraph<TWeight>::addTermWeights( int i, TWeight sourceW, TWeight sinkW )
{
CV_Assert( i>=0 && i<(int)vtcs.size() ); //结点编号有效性

TWeight dw = vtcs[i].weight;
if( dw > 0 )
sourceW += dw;
else
sinkW -= dw;
flow += (sourceW < sinkW) ? sourceW : sinkW;
vtcs[i].weight = sourceW - sinkW;
}

template <class TWeight>
{
//本函数中仅有的可能出现的负值,下面如果存在判别某值是否小于0,
//意味着判断当前结点是否为终端结点,或者孤立点
const int TERMINAL = -1, ORPHAN = -2;

//先进先出队列,保存当前活动结点,stub为哨兵结点
Vtx stub, *nilNode = &stub, *first = nilNode, *last = nilNode;

int curr_ts = 0; //当前时间戳
stub.next = nilNode; //初始化活动结点队列,首结点指向自己

Vtx *vtxPtr = &vtcs[0]; //结点指针
Edge *edgePtr = &edges[0]; //弧指针

std::vector<Vtx*> orphans; //孤立点集合

// 遍历所有的结点,初始化活动结点(active node)队列
for( int i = 0; i < (int)vtcs.size(); i++ )
{
Vtx* v = vtxPtr + i;
v->ts = 0;
if( v->weight != 0 ) //当前结点t-vaule(即流量)不为0
{
last = last->next = v; //入队,插入到队尾
v->dist = 1; //路径长度记1
v->parent = TERMINAL; //标注其双亲为终端结点

//t为uchar类型, 例如: t=(1>0), t=1
// t=(1<0), t=0
//实际效果纪录当前结点流向, 正向取0,逆向取1
v->t = v->weight < 0;
}
else
v->parent = 0; //保持不变,孤儿结点
}

first = first->next; //首结点作为哨兵使用,本身无实际意义,移动到下一节点,即第一个有效结点
last->next = nilNode; //哨兵放置到队尾了。。。,检测到哨兵说明一层查找结束
nilNode->next = 0; //哨兵后面啥都没有,清空

//很长的循环,每次都按照以下三个步骤运行:
//搜索路径->拆分为森林->树的重构
for(;;)
{
Vtx* v, *u; // v表示当前元素,u为其相邻元素
int e0 = -1, ei = 0, ej = 0;
TWeight minWeight, weight; // 路径最小割(流量), weight当前流量
uchar vt; // 流向标识符,正向为0,反向为1

//===================================================//
// 第一阶段: S 和 T 树的生长,找到一条s->t的路径

while( first != nilNode ) // 存在活动结点
{
v = first; // 取第一个元素存入v,作为当前结点
if( v->parent ) // v非孤儿点
{
vt = v->t; // 纪录v的流向
// 广度优先搜索,以此搜索当前结点所有相邻结点, 方法为:遍历所有相邻边,调出边的终点就是相邻结点
for( ei = v->first; ei != 0; ei = edgePtr[ei].next )
{
// 此路不通,跳过,通常两个相邻点都会有关联的,不过如果关联值weight过小,为防止下溢出,置0!
// 每对结点都拥有两个反向的边,ei^vt表明检测的边是与v结点同向的
if( edgePtr[ei^vt].weight == 0 )
continue;
u = vtxPtr+edgePtr[ei].dst; // 取出邻接点u
if( !u->parent ) // 无父节点,即为孤儿点,v接受u作为其子节点
{
u->t = vt; // 设置结点u与v的流向相同
u->parent = ei ^ 1; // ei的末尾取反。。。
u->ts = v->ts; // 更新时间戳,由于u的路径长度通过v计算得到,因此有效性相同
u->dist = v->dist + 1; // u深度等于v加1
if( !u->next ) // u不在队列中,入队,插入位置为队尾,
{
u->next = nilNode; // 修改下一元素指针指向哨兵
last = last->next = u; // 插入队尾
}
continue; //continue_for() [遍历邻接点]
}

if( u->t != vt ) // u和v的流向不同,u可以到达另一终点,则找到一条路径
{
e0 = ei ^ vt; //
break; //break_for() [遍历邻接点]
}

// u已经存在父节点,但是如果u的路径长度大于v+1,说明u走弯路了,修改u的路径,使其成为v的子结点
// 进入条件:u的路径长度大于v的长度+1,且u的时间戳较早
if( u->dist > v->dist+1 && u->ts <= v->ts )
{
// 从新设置u的父节点为v(编号ei),记录为当前的弧
u->parent = ei ^ 1;
u->ts = v->ts; // 更新u的时间戳与v相同
u->dist = v->dist + 1; // u为v的子结点,路径长度加1
}
}
if( e0 > 0 )
break; //break_while() [查找s->t路径]
}
// 将刚处理完的结点从活动队列移除
first = first->next;
v->next = 0;
}

if( e0 <= 0 ) //全部搜索结束,e0=0说明所有结点都已经处理完毕,e0<0说明已经搜索到了终端结点了。。
break; //break_for(;;)[max_flow]

//===================================================//
// 第二阶段: 流量统计与树的拆分

//===第一节===//
//查找路径中的最小权值
minWeight = edgePtr[e0].weight;
assert( minWeight > 0 );

// 遍历整条路径分两个方向进行,从当前结点开始,向前回溯s树,向后回溯t树
// 2次遍历, k=1: 回溯s树, k=0: 回溯t树
for( int k = 1; k >= 0; k-- )
{
//回溯的方法为:取当前结点的父节点,判断是否为终端结点
for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
{
if( (ei = v->parent) < 0 ) //回溯,ei纪录当前点的父边,回溯至终端结点,退出
break;
weight = edgePtr[ei^k].weight; //取当前弧的权值
minWeight = MIN(minWeight, weight); //纪录当前路径最小流
assert( minWeight > 0 );
}
weight = fabs(v->weight);
minWeight = MIN(minWeight, weight); //取s树和t树的最小流
assert( minWeight > 0 );
}

//===第二节===//
// 修改当前路径中的所有的weight权值
/* 注意到任何时候s和t树的结点都只有一条弧使其连接到树中,
当这条弧权值减少为0则此结点从树中断开,
若其无子结点,则成为孤立点,
若其拥有子结点,则独立为森林,但是ei的子结点还不知道他们被孤立了!
*/
edgePtr[e0].weight -= minWeight; //正向路径权值减少
edgePtr[e0^1].weight += minWeight; //反向路径权值增加
flow += minWeight; //修改当前流量

// k=1: source tree, k=0: destination tree
for( int k = 1; k >= 0; k-- )
{
for( v = vtxPtr+edgePtr[e0^k].dst;/*此处无退出条件*/; v = vtxPtr+edgePtr[ei].dst )
{
if( (ei = v->parent) < 0 ) //某一方向搜索结束,退出
break;
edgePtr[ei^(k^1)].weight += minWeight; //n-value逆向增加
//n-value正向减少,如果权值减少至0,则将ei标注为孤儿
if( (edgePtr[ei^k].weight -= minWeight) == 0 )
{
orphans.push_back(v); //加入孤儿集合
v->parent = ORPHAN; //修改父节点标记
}
}

v->weight = v->weight + minWeight*(1-k*2); //t-value修改(减少或增加)
//如果权值减少至0,则将ei标注为孤儿
if( v->weight == 0 )
{
orphans.push_back(v);
v->parent = ORPHAN;
}
}

//===================================================//
// 第三阶段: 树的重构

// 为孤儿找到新的父节点,恢复树结构
curr_ts++;
while( !orphans.empty() ) //存在孤儿
{
Vtx* v2 = orphans.back(); //取一个孤儿,记为v2
orphans.pop_back(); //删除栈顶元素,两步操作等价于出栈

int d, minDist = INT_MAX;
e0 = 0;
vt = v2->t;

// 遍历当前结点的相邻点,ei为当前弧的编号
for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
{
if( edgePtr[ei^(vt^1)].weight == 0 ) // 找到权值为0的边,无效,继续找
continue;
u = vtxPtr+edgePtr[ei].dst; // 邻接点记为u
if( u->t != vt || u->parent == 0 ) // 不同方向的边,或者找到的点也是孤立点,继续找
continue;
// 计算当前点路径长度
for( d = 0;; )
{
if( u->ts == curr_ts ) // 找到时间戳符合的结点,即此结点路径长度有效
{
d += u->dist; // 最终路径长度等于到u结点的距离加u结点的路径长度
break;
}
ej = u->parent; // 继续寻找u的父节点
d++; // 距有效点距离加1
if( ej < 0 ) // TERMINAL = -1, ORPHAN = -2
{
if( ej == ORPHAN ) // 找到的父节点是孤立点
d = INT_MAX-1; // 纪录d无穷大,即无法到达终端结点
else // 找到的是终端结点
{
u->ts = curr_ts; // 更改时间戳为当前时刻,本次大循环中其路径长度是有效的!
u->dist = 1; // 路径长度为1
}
break;
}
u = vtxPtr+edgePtr[ej].dst; // u指向父节点,继续回溯
}

// 更新子结点的路径长度
if( ++d < INT_MAX ) // 当前结点找到了父节点
{
if( d < minDist ) //
{
minDist = d; // 更新minDist
e0 = ei; // e0记录找到的v2父弧
}
//
for( u = vtxPtr+edgePtr[ei].dst; u->ts != curr_ts; u = vtxPtr+edgePtr[u->parent].dst )
{
u->ts = curr_ts;
u->dist = --d;
}
}
}//end_for

if( (v2->parent = e0) > 0 )
{
v2->ts = curr_ts; //v2时间戳为当前时刻,本次大循环中其路径长度是有效的!
v2->dist = minDist;
continue;
}

// 未找到父节点,将此结点和其所有子节点置为孤儿
v2->ts = 0; // v2为当前结点,时间戳置0
for( ei = v2->first; ei != 0; ei = edgePtr[ei].next )
{
u = vtxPtr+edgePtr[ei].dst; // 邻接点
ej = u->parent; // 邻接点的父节点
if( u->t != vt || !ej ) // 邻接点无父节点或与本结点不同向?
continue;
if( edgePtr[ei^(vt^1)].weight && !u->next ) //u和v反向,则加入活动队列 (vt^1表示对vt取反)
{
u->next = nilNode;
last = last->next = u;
}
if( ej > 0 && vtxPtr+edgePtr[ej].dst == v2 ) //当前节点确实是v2的子节点
{
orphans.push_back(u); //加入孤立点队列
u->parent = ORPHAN; //标记其无父节点
}
}
}//end_while
}//end_for(;;)

return flow; //返回最大流量
}

template <class TWeight>
bool GCGraph<TWeight>::inSourceSegment( int i )
{
CV_Assert( i>=0 && i<(int)vtcs.size() );
return vtcs[i].t == 0;
}

#endif