OpenCV2实现在图像中写入汉字，支持单通道、3通道图像

通过以往文献的阅读，中文等字符可以借助OpenCV在图像中写入。但是往往都停留在OpenCV 1.0版本的调用上。本文在前人的基础上，修改完善了CvxText.h、CvxText.cpp两个文件，支持单通道图像、三通道图像的中文等字符的显示，支持OpenCV 2.0的调用。所用参考文献一一列举，感谢前人的分享及成果（http://blog.csdn.net/fengbingchun/article/details/8029337）！

1．创建一个控制台工程，参照http://blog.csdn.net/fengbingchun/article/details/7288079配置OpenCV（OpenCV初学者请详读参考文献）。

2．配置freetype：参照http://blog.csdn.net/xufeng0991/article/details/40735651下载freetype。无法下载请参见http://download.csdn.net/detail/u012033076/9589688进行下载。编译相应的版本得到对应lib文件（debug、release， win32、×64），并配置（这里我用的是freetype-2.6.5），其配置过程跟OpenCV有些类似，参考文献中有详细的测试过程，不赘述。

注意：使用freetype时，一定不要忘记将C:\WINDOWS\Fonts下的某一中文字符库拷贝到工程目录中！！我用的是微软雅黑字符库msyh.ttf。

3.将CvxText.h、CvxText.cpp文件复制到工程文件夹下。该类可以成功在单通道图像、3通道图像中添加中文、英文、字符等文本，可以替换不同的字体库，观察效果。

 

几个知识点：

1、  关于Scalar（参考文献：http://blog.csdn.net/ubunfans/article/details/24421981）

OpenCV 1.0用的是cvScalar，2.0用的是Scalar。表示了具有4个元素的数组。次类型在OpenCV中被大量用于传递像素值。用它来表示RGB颜色值（三个参数）。如果用不到第四个参数，则无需定义。

如果给出以下颜色参数表达式：

Scalar( a, b, c )

那么定义的RGB颜色值为：Red = c, Green= b and Blue=a

也就是说如果用

Mat_<Vec3b>_I =img;

那么在数值上_I(r,c)[0] = a,  _I(r,c)[1] = b, _I(r,c)[2] = c.

若还不理解，请阅读 http://blog.csdn.net/xiaojidan2011/article/details/8044602 。

因此在程序中可以用遍历图像数据的方法来进行文本与图像色彩的融合（详见函数putWChar

）。而字体定义用的也是Scalar，只是用到了他是多元组的关系，跟色彩没有啥关联。

2、  关于opencv1.0中img->origin(参考文献：http://blog.sina.com.cn/s/blog_805bef560100uaz4.html)

在使用opencv1.0显示图像时会出现图像倒立的情况，IplImage的origin属性有关系。origin为0表示顶左结构，即图像的原点是左上角，如果为1为左下角。一般从硬盘读入的图片或者通过cvCreateImage方法创建的IplImage图片默认的origin为0，即显示的时候都是正的。

因此在修改先前代码时，直接将该句赋为0.

//====================================================================
//
// 文件: CvxText.h
//
// 说明: OpenCV汉字输出
//
//====================================================================

#ifndef OPENCV_CVX_TEXT_2016_NEW_H
#define OPENCV_CVX_TEXT_2016_NEW_H

/**
* \file CvxText.h
* \brief OpenCV汉字输出接口
*
* 实现了汉字输出功能。
*/

#include <ft2build.h>
#include FT_FREETYPE_H

#include "opencv2/opencv.hpp"
using namespace cv;

class CvxText  
{
CvxText& operator=(const CvxText&);

public:
CvxText(const char *freeType);
virtual ~CvxText();

/**
* 获取字体。目前有些参数尚不支持。
*
* \param font        字体类型, 目前不支持
* \param size        字体大小/空白比例/间隔比例/旋转角度
* \param underline   下画线
* \param diaphaneity 透明度
*
* \sa setFont, restoreFont
*/
void getFont(int *type, Scalar *size=NULL, bool *underline=NULL, float *diaphaneity=NULL);

/**
* 设置字体。目前有些参数尚不支持。
*
* \param font        字体类型, 目前不支持
* \param size        字体大小/空白比例/间隔比例/旋转角度
* \param underline   下画线
* \param diaphaneity 透明度
*
* \sa getFont, restoreFont
*/
void setFont(int *type,Scalar *size=NULL, bool *underline=NULL, float *diaphaneity=NULL);

/**
* 恢复原始的字体设置。
*
* \sa getFont, setFont
*/
void restoreFont();


/**
* 输出汉字(颜色默认为黑色)。遇到不能输出的字符将停止。
*
* \param img  输出的影象
* \param text 文本内容
* \param pos  文本位置
*
* \return 返回成功输出的字符长度，失败返回-1。
*/
int putText(Mat img, const char *text, Point pos);

/**
* 输出汉字(颜色默认为黑色)。遇到不能输出的字符将停止。
*
* \param img  输出的影象
* \param text 文本内容
* \param pos  文本位置
*
* \return 返回成功输出的字符长度，失败返回-1。
*/
int putText(Mat img, const wchar_t *text, Point pos);

/**
* 输出汉字。遇到不能输出的字符将停止。
*
* \param img   输出的影象
* \param text  文本内容
* \param pos   文本位置
* \param color 文本颜色
*
* \return 返回成功输出的字符长度，失败返回-1。
*/
int putText(Mat img, const char *text, Point pos, Scalar color);

/**
* 输出汉字。遇到不能输出的字符将停止。
*
* \param img   输出的影象
* \param text  文本内容
* \param pos   文本位置
* \param color 文本颜色
*
* \return 返回成功输出的字符长度，失败返回-1。
*/
int putText(Mat img, const wchar_t *text, Point pos, Scalar color);


private:
// 输出当前字符, 更新m_pos位置
void putWChar(Mat img, wchar_t wc, Point &pos, Scalar color);


private:
FT_Library   m_library;   // 字库
FT_Face      m_face;      // 字体

// 默认的字体输出参数
int          m_fontType;
Scalar       m_fontSize;
bool         m_fontUnderline;
float        m_fontDiaphaneity;
};

#endif // OPENCV_CVX_TEXT_2007_08_31_H

#pragma once
#include <wchar.h>
#include <assert.h>
#include <locale.h>
#include <ctype.h>

#include "CvxText.h"
using namespace cv;

//====================================================================
//====================================================================

// 打开字库
CvxText::CvxText(const char *freeType)
{
assert(freeType != NULL);

// 打开字库文件, 创建一个字体
if(FT_Init_FreeType(&m_library)) throw;
if(FT_New_Face(m_library, freeType, 0, &m_face)) throw;

// 设置字体输出参数
restoreFont();

// 设置C语言的字符集环境
setlocale(LC_ALL, "");
}

// 释放FreeType资源
CvxText::~CvxText()
{
FT_Done_Face    (m_face);
FT_Done_FreeType(m_library);
}

void CvxText::getFont(int *type, Scalar *size, bool *underline, float *diaphaneity)
{
*type = m_fontType;
*size = m_fontSize;
*underline = m_fontUnderline;
*diaphaneity = m_fontDiaphaneity;
}

void CvxText::setFont(int *type, Scalar *size, bool *underline, float *diaphaneity)
{
// 参数合法性检查

if(type)
{
if(type >= 0) m_fontType = *type;
}
if(size)
{
m_fontSize.val[0] = fabs(size->val[0]);
m_fontSize.val[1] = fabs(size->val[1]);
m_fontSize.val[2] = fabs(size->val[2]);
m_fontSize.val[3] = fabs(size->val[3]);
}
if(underline)
{
m_fontUnderline   = *underline;
}
if(diaphaneity)
{
m_fontDiaphaneity = *diaphaneity;
}

FT_Set_Pixel_Sizes(m_face, (int)m_fontSize.val[0], 0);
}

// 恢复原始的字体设置
void CvxText::restoreFont()
{
m_fontType = 0;            // 字体类型(不支持)

m_fontSize.val[0] = 20;      // 字体大小
m_fontSize.val[1] = 0.5;     // 空白字符大小比例
m_fontSize.val[2] = 0.1;     // 间隔大小比例
m_fontSize.val[3] = 0;       // 旋转角度(不支持)

m_fontUnderline   = false;   // 下画线(不支持)

m_fontDiaphaneity = 1.0;   // 色彩比例(可产生透明效果)

// 设置字符大小
FT_Set_Pixel_Sizes(m_face, (int)m_fontSize.val[0], 0);
}

// 输出函数(颜色默认为黑色)
int CvxText::putText(Mat img, const char *text, Point pos)
{
if (3==img.channels())
{
return putText(img, text, pos, CV_RGB(255,255,255));
} 
else
{
return putText(img, text, pos, Scalar(255));
}

}
int CvxText::putText(Mat img, const wchar_t *text, Point pos)
{
return putText(img, text, pos, CV_RGB(255,255,255));
}

//

int CvxText::putText(Mat img, const char *text, Point pos, Scalar color)
{
if(img.data == NULL) return -1;
if(text == NULL)     return -1;

int i(0);
for(i = 0; text[i] != '\0'; ++i)
{
wchar_t wc = text[i];

// 解析双字节符号
if(!isascii(wc)) mbtowc(&wc, &text[i++], 2);

// 输出当前的字符
putWChar(img, wc, pos, color);
}
return i;
}
int CvxText::putText(Mat img, const wchar_t *text, Point pos, Scalar color)
{
if(img.data == NULL) return -1;
if(text == NULL)     return -1;

int i;
for(i = 0; text[i] != '\0'; ++i)
{
// 输出当前的字符
putWChar(img, text[i], pos, color);
}
return i;
}


// 输出当前字符, 更新m_pos位置
void CvxText::putWChar(Mat img, wchar_t wc, Point &pos, Scalar color)
{
// 根据unicode生成字体的二值位图
FT_UInt glyph_index = FT_Get_Char_Index(m_face, wc);
FT_Load_Glyph(m_face, glyph_index, FT_LOAD_DEFAULT);
FT_Render_Glyph(m_face->glyph, FT_RENDER_MODE_MONO);

FT_GlyphSlot slot = m_face->glyph;

// 行列数
int rows = slot->bitmap.rows;
int cols = slot->bitmap.width;

// 图像的高度、宽度
int nImgHeight = img.rows;
int nImgWidth  = img.cols;

const int nOrigin = 0;

for(int i = 0; i < rows; ++i)
{
for(int j = 0; j < cols; ++j)
{
int off  = ((nOrigin==0)? i: (rows-1-i)) * slot->bitmap.pitch + j/8;

if(slot->bitmap.buffer[off] & (0xC0 >> (j%8)))
{
int r = (nOrigin==0)? pos.y - (rows-1-i): pos.y + i;;
int c = pos.x + j;

if(r >= 0 && r < nImgHeight  && c >= 0 && c < nImgWidth)
{
switch(img.channels())
{
case 1: 
{
img.ptr<uchar>(r)[c] = uchar(img.ptr<uchar>(r)[c]*(1-m_fontDiaphaneity) + color.val[0]*m_fontDiaphaneity);
break;
}
case 3: 
{
Mat_<Vec3b> _I = img;
_I(r, c)[0] = uchar(_I(r, c)[0]*(1-m_fontDiaphaneity) + color.val[0]*m_fontDiaphaneity);
_I(r, c)[1] = uchar(_I(r, c)[1]*(1-m_fontDiaphaneity) + color.val[1]*m_fontDiaphaneity);
_I(r, c)[2] = uchar(_I(r, c)[2]*(1-m_fontDiaphaneity) + color.val[2]*m_fontDiaphaneity);
break;
}
}
// Scalar scalar = cvGet2D(img, r, c);
//
// // 进行色彩融合
// float p = m_fontDiaphaneity;
// for(int k = 0; k < 4; ++k)
// {
// scalar.val[k] = scalar.val[k]*(1-p) + color.val[k]*p;
// }
// 
// cvSet2D(img, r, c, scalar);
}
}
} // end for
} // end for

// 修改下一个字的输出位置
double space = m_fontSize.val[0]*m_fontSize.val[1];
double sep   = m_fontSize.val[0]*m_fontSize.val[2];

pos.x += (int)((cols? cols: space) + sep);
}

main.cpp

#pragma once

#include "opencv2/opencv.hpp"
#include "CvxText.h"

using namespace cv;

int main(int argc, char *argv[])
{
Mat img = imread("lena.jpg", 0);
CvxText text("msyh.ttf");

Scalar size(15, 0.5, 0.1, 0);
float p = 1.f; 
const char *msg = "@OpenCV中文输出测试！";

text.setFont(NULL, &size, NULL, &p);
text.putText(img, msg, Point(140, 250), CV_RGB(255,255,0));

imwrite("1.bmp", img);

return 0;
}