最近都在查看MYsql C API文档，也遇到了很多问题，下面来简单的做一个总结。
mysql多线程问题
- mysql多线程处理不好，经常会发生coredump，见使用Mysql出core一文。
单线程
- 一般情况下，单线程连接mysql代码如下：
/*
single_thread_mysql_client.cpp
*/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <mysql/mysql.h>
#include <pthread.h>
#include <unistd.h> #define DBHOST "localhost"
#define DBUSER "pca"
#define DBPASS "pca"
#define DBPORT 3306
#define DBNAME "dxponline"
#define DBSOCK NULL //"/var/lib/mysql/mysql.sock"
#define DBPCNT 0 int main()
{
MYSQL_RES *result;
MYSQL_ROW row;
MYSQL_FIELD *field;
unsigned int num_fields;
unsigned int i;
const char *pStatement = "SHOW TABLES";
mysql_library_init(, NULL, NULL);
MYSQL *mysql = mysql_init(NULL);
unsigned int timeout = ;
mysql_options(mysql, MYSQL_OPT_CONNECT_TIMEOUT, &timeout); if (mysql_real_connect(mysql, DBHOST, DBUSER, DBPASS, DBNAME, DBPORT, DBSOCK, DBPCNT) == NULL)
{
printf("connect failed: %s\n", mysql_error(mysql));
mysql_close(mysql);
mysql_library_end();
return ;
} printf("connect succssfully\n"); if ( != mysql_real_query(mysql, pStatement, strlen(pStatement)))
{
printf("query failed: %s\n", mysql_error(mysql));
mysql_close(mysql);
mysql_library_end();
return ;
} result = mysql_store_result(mysql); if (result == NULL)
{
printf("fetch result failed: %s\n", mysql_error(mysql));
mysql_close(mysql);
mysql_library_end();
return ;
} num_fields = mysql_num_fields(result);
printf("numbers of result: %d\n", num_fields); while (NULL != (field = mysql_fetch_field(result)))
{
printf("field name: %s\n", field->name);
} while (NULL != (row = mysql_fetch_row(result)))
{
unsigned long *lengths;
lengths = mysql_fetch_lengths(result); for (i = ; i < num_fields; i++)
{
printf("{%.*s} ", (int) lengths[i], row[i] ? row[i] : "NULL");
} printf("\n");
} mysql_free_result(result);
mysql_close(mysql);
mysql_library_end();
return ;
}
-
执行
make single_thread_mysql_client LDFLAGS="-g -O2 -L/usr/lib64/mysql -lmysqlclient -lpthread -lz -lm -lssl -lcrypto -ldl"即可获得对应单线程二进制。
多线程
- 多线程主要需要注意以下几点
-
mysql_library_init和mysql_library_end需要放入主线程； - 连接句柄需要多个才能加快并发，而连接句柄由
mysql_init生成，而mysql_init跟随机函数rand有点相似，第一次需要初始化后才能线程安全，所以需要使用mysql_thread_init和mysql_thread_end两个函数来保证线程安全；
-
- 一般多线程连接mysql代码如下
/*
muti_thread_mysql_client.cpp
*/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <mysql/mysql.h>
#include <pthread.h>
#include <unistd.h> #define THREAD_NUM 4
#define DBHOST "localhost"
#define DBUSER "pca"
#define DBPASS "pca"
#define DBPORT 3306
#define DBNAME "dxponline"
#define DBSOCK NULL //"/var/lib/mysql/mysql.sock"
#define DBPCNT 0 typedef struct ThreadArgsST
{
int id;
pthread_t *thread_id;
} ThreadArgs; void *func(void *arg)
{
ThreadArgs *args = (ThreadArgs *)arg;
MYSQL_RES *result;
MYSQL_ROW row;
MYSQL_FIELD *field;
unsigned int num_fields;
unsigned int i;
unsigned int timeout = ;
const char *pStatement = "SHOW TABLES";
mysql_thread_init();
MYSQL *mysql = mysql_init(NULL); if (mysql == NULL)
{
printf("[%ld][%d]mysql init failed: %s\n", *args->thread_id, args->id, mysql_error(mysql));
return (void *);
} mysql_options(mysql, MYSQL_OPT_CONNECT_TIMEOUT, &timeout); if (mysql_real_connect(mysql, DBHOST, DBUSER, DBPASS, DBNAME, DBPORT, DBSOCK, DBPCNT) == NULL)
{
printf("[%ld][%d]connect failed: %s\n", *args->thread_id, args->id, mysql_error(mysql));
mysql_close(mysql);
mysql_thread_end();
return (void *);
} printf("[%ld][%d]connect succssfully\n", *args->thread_id, args->id); if ( != mysql_real_query(mysql, pStatement, strlen(pStatement)))
{
printf("[%ld][%d]query failed: %s\n", *args->thread_id, args->id, mysql_error(mysql));
mysql_close(mysql);
mysql_thread_end();
return (void *);
} result = mysql_store_result(mysql); if (result == NULL)
{
printf("[%ld][%d]fetch result failed: %s\n", *args->thread_id, args->id, mysql_error(mysql));
mysql_close(mysql);
mysql_thread_end();
return (void *);
} num_fields = mysql_num_fields(result);
printf("[%ld][%d]numbers of result: %d\n", *args->thread_id, args->id, num_fields); while (NULL != (field = mysql_fetch_field(result)))
{
printf("[%ld][%d]field name: %s\n", *args->thread_id, args->id, field->name);
} while (NULL != (row = mysql_fetch_row(result)))
{
unsigned long *lengths;
lengths = mysql_fetch_lengths(result); for (i = ; i < num_fields; i++)
{
printf("[%ld][%d]{%.*s} ", *args->thread_id, args->id, (int) lengths[i], row[i] ? row[i] : "NULL");
} printf("\n");
} mysql_free_result(result);
mysql_close(mysql);
mysql_thread_end();
return (void *);
} int main(int argc, char *argv[])
{
int thread_num; if (argc == )
{
thread_num = atoi(argv[]);
}
else
{
thread_num = THREAD_NUM;
} mysql_library_init(, NULL, NULL);
printf("argc: %d and thread_num: %d\n", argc, thread_num); do
{
pthread_t *pTh = new pthread_t[thread_num];
ThreadArgs *pArgs = new ThreadArgs[thread_num];
int i; for (i = ; i < thread_num; i ++)
{
pArgs[i].id = i;
pArgs[i].thread_id = &pTh[i]; if ( != pthread_create(&pTh[i], NULL, func, &pArgs[i]))
{
printf("pthread_create failed\n");
continue;
}
} for (i = ; i < thread_num; i ++)
{
pthread_join(pTh[i], NULL);
} delete[] pTh;
delete[] pArgs;
}
while (); mysql_library_end();
return ;
}
-
执行
make muti_thread_mysql_client LDFLAGS="-g -O2 -L/usr/lib64/mysql -lmysqlclient -lpthread -lz -lm -lssl -lcrypto -ldl"即可获得对应单线程二进制。
连接数与连接句柄是一一对应关系，故一般使用长连接，所以需要连接池，所以上面的代码可以有优化的空间，代码见：
/*
muti_thread_mysql_client_pool.cpp
*/
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <mysql/mysql.h>
#include <pthread.h>
#include <unistd.h>
#include <queue>
#include <string> #define THREAD_NUM 4
#define DBHOST "localhost"
#define DBUSER "pca"
#define DBPASS "pca"
#define DBPORT 3306
#define DBNAME "dxponline"
#define DBSOCK NULL //"/var/lib/mysql/mysql.sock"
#define DBPCNT 0 using namespace std; class CBlockQueue;
typedef struct ThreadArgsST
{
int id;
pthread_t *thread_id;
CBlockQueue *pQueue;
} ThreadArgs; class CMutex
{
public:
CMutex()
{
pthread_mutex_init(&_mutex, NULL);
}
~CMutex()
{
pthread_mutex_destroy(&_mutex);
} int32_t lock()
{
return pthread_mutex_lock(&_mutex);
} int32_t unlock()
{
return pthread_mutex_unlock(&_mutex);
} int32_t trylock()
{
return pthread_mutex_trylock(&_mutex);
} private:
pthread_mutex_t _mutex;
}; class CGlobalFunction
{
public:
static MYSQL *connect()
{
unsigned int timeout = ;
mysql_thread_init();
MYSQL *mysql = mysql_init(NULL); if (mysql == NULL)
{
printf("mysql init failed: %s\n", mysql_error(mysql));
return NULL;
} mysql_options(mysql, MYSQL_OPT_CONNECT_TIMEOUT, &timeout); if (mysql_real_connect(mysql, DBHOST, DBUSER, DBPASS, DBNAME, DBPORT, DBSOCK, DBPCNT) == NULL)
{
printf("connect failed: %s\n", mysql_error(mysql));
mysql_close(mysql);
mysql_thread_end();
return NULL;
} printf("connect succssfully\n");
return mysql;
}
}; class CBlockQueue : public CMutex
{
public:
CBlockQueue() : _size()
{
}
~CBlockQueue()
{
}
void set_size(int size)
{
_size = size;
}
int size()
{
this->lock();
int size = q.size();
this->unlock();
return size;
}
bool push(void *m)
{
this->lock();
// TODO
/*
if (q.size() > _size)
{
this->unlock();
fprintf(stderr, "[QUEUE_IS_FULL]queue size over limit from push: %d\n", _size);
return false;
}
*/
q.push(m);
this->unlock();
return true;
} void *pop()
{
this->lock(); if (q.empty())
{
this->unlock();
fprintf(stderr, "[QUEUE_IS_EMPTY]queue is no item from pop");
return NULL;
} void *m = q.front();
q.pop();
this->unlock();
return m;
} private:
queue q;
int _size;
}; void *func(void *arg)
{
ThreadArgs *args = (ThreadArgs *)arg;
MYSQL_RES *result;
MYSQL_ROW row;
MYSQL_FIELD *field;
bool pushed = true;
unsigned int num_fields;
unsigned int i;
const char *pStatement = "SHOW TABLES";
MYSQL *db = (MYSQL *)args->pQueue->pop(); if (db == NULL)
{
db = CGlobalFunction::connect(); if (db == NULL)
{
printf("[%ld][%d]mysql connect failed\n", *args->thread_id, args->id);
return (void *);
}
} if ( != mysql_real_query(db, pStatement, strlen(pStatement)))
{
printf("[%ld][%d]query failed: %s\n", *args->thread_id, args->id, mysql_error(db));
args->pQueue->push(db);
return (void *);
} result = mysql_store_result(db); if (result == NULL)
{
printf("[%ld][%d]fetch result failed: %s\n", *args->thread_id, args->id, mysql_error(db));
args->pQueue->push(db);
return (void *);
} num_fields = mysql_num_fields(result);
printf("[%ld][%d]numbers of result: %d\n", *args->thread_id, args->id, num_fields); while (NULL != (field = mysql_fetch_field(result)))
{
printf("[%ld][%d]field name: %s\n", *args->thread_id, args->id, field->name);
} while (NULL != (row = mysql_fetch_row(result)))
{
unsigned long *lengths;
lengths = mysql_fetch_lengths(result); for (i = ; i < num_fields; i++)
{
printf("[%ld][%d]{%.*s} ", *args->thread_id, args->id, (int) lengths[i], row[i] ? row[i] : "NULL");
} printf("\n");
} mysql_free_result(result);
args->pQueue->push(db);
return (void *);
} int main(int argc, char *argv[])
{
CBlockQueue queue;
int thread_num; if (argc == )
{
thread_num = atoi(argv[]);
}
else
{
thread_num = THREAD_NUM;
} mysql_library_init(, NULL, NULL);
printf("argc: %d and thread_num: %d\n", argc, thread_num); do
{
int i;
pthread_t *pTh = new pthread_t[thread_num];
ThreadArgs *pArgs = new ThreadArgs[thread_num]; for (i = ; i < thread_num; i ++)
{
pArgs[i].id = i;
pArgs[i].thread_id = &pTh[i];
pArgs[i].pQueue = &queue; if ( != pthread_create(&pTh[i], NULL, func, &pArgs[i]))
{
printf("pthread_create failed\n");
continue;
}
} for (i = ; i < thread_num; i ++)
{
pthread_join(pTh[i], NULL);
} delete[] pTh;
delete[] pArgs;
int qsize = queue.size(); for (i = ; i < qsize; i ++)
{
MYSQL *db = (MYSQL *)queue.pop(); if (NULL != db)
{
mysql_close(db);
mysql_thread_end();
}
}
}
while (); mysql_library_end();
return ;
}
-
执行
make muti_thread_mysql_client_pool LDFLAGS="-g -O2 -L/usr/lib64/mysql -lmysqlclient -lpthread -lz -lm -lssl -lcrypto -ldl"即可获得对应单线程二进制。
上述代码就是利用队列来保持mysql连接，达到优化连接数。
总结
-
mysql连接与多线程处理不好，可能会造成很多问题，如
*MySQL Connection failed (#2058): This handle is already connected. Use a separate handle for each connection.*Error in my_thread_global_end(): 1 threads didn't exit- 甚至出现coredump
关于多线程连接mysql优化的思想，其实可以扩展到其他连接，如HTTP、Socket等连接中；
测试多线程连接Mysql：
int main()
{
mysql_library_init(,NULL,NULL);
pthread_t producer;
pthread_t consumer_1;
pthread_t consumer_2;
//produce_fun不涉及数据库链接，不贴出来
pthread_create(&producer,NULL,produce_fun,NULL);
pthread_create(&consumer_1,NULL,consume_fun,NULL);
pthread_create(&consumer_2,NULL,consume_fun,NULL);
//下面的三句非常重要，main线程等待其他三个线程的结束，避免main线程执行到mysql_library_end时退出，而
//其他三个线程仍然在运行并报错的情形
pthread_join(producer,NULL);
pthread_join(consumer_1,NULL);
pthread_join(consumer_2,NULL);
mysql_library_end();
return ;
} void addRecord_d(MYSQL *ptr_db,const char *t_name,int item){
char query_buffer[];
sprintf(query_buffer,"insert into %s values(0,%d)",t_name,item);
int ret=mysql_query(ptr_db,query_buffer);
if(ret){
fprintf(stderr,"%s%s\n","cannot add record to ",t_name);
return;
} unsigned long long update_id=mysql_insert_id(ptr_db);
printf("add record (%llu,%d) ok.",update_id,item);
} void * consume_fun(void *arg){
MYSQL db;
MYSQL *ptr_db=mysql_init(&db);
mysql_real_connect();
//蓝色部分可以改为其他任何带操作数据库语句的代码
//procedure
while(){
printf("consumer...");
int item=consume(&p);
addRecord_d(ptr_db,"test",item);
}
mysql_thread_end();
pthread_exit(NULL);
}
C/C++中调用api设置mysql连接的编码方式
mysql在C/C++中调用api设置连接mysql的编码方式有以下几种方法：
1. mysqli_set_charset
调用示例：
- ret = mysql_set_character_set(mysql, "utf8");
说明：
推荐使用的设置方法，与mysql的连接断开自动重连后仍能保持设置的编码格式，并且影响mysql_real_escape_string函数功能，使mysql_real_escape_string函数使用设置的编码格式转义字符串。
但该函数在mysql5.0.5版本以后才支持，故版本太低者...。
2. 执行sql语句：SET NAMES
调用示例：
- ret = mysql_real_query(mysql, "SET NAMES UTF8;",
- (unsigned long) strlen ("SET NAMES UTF8;"));
说明：
使用sql语句执行，只能影响当前与数据库的连接，断开自动重连后编码格式会重置为默认的配置。
3. 设置MYSQL_SET_CHARSET_NAME属性
调用示例：
- ret = mysql_options(mysql, MYSQL_SET_CHARSET_NAME, "utf8");
说明：
跟mysql_set_character_set类似，断开自动重连后仍能保持设置的编码格式，只是不会影响到mysql_real_escape_string函数。
并且在mysql5.0.5版本都可以使用，低版本可以使用该方法代替。
需要特别说明的是只有在调用mysql_real_connect连接数据库之前修改该属性才会生效。
mysql控制自动重连行为
当向mysql server发送statement时，mysql客户端发现连接失效后会自动尝试重新连接server。如果"自动重连"状态是enabled，客户端尝试连接server,并在连接成功后重新发送statement.
"自动重连“默认是disabled的。
如果应用程序需要知道连接是否可用（可以退出程序或显示相应的提示信息），确认“自动重连”是disabled。可以通过调用包含MYSQL_OPT_RECONNECT参数的mysql_options()函数以确认"自动重连"是否disabled:
my_bool reconnect = 0;
mysql_options(&mysql, MYSQL_OPT_RECONNECT, &reconnect);
如果连接已经断开，mysql_ping()依赖“自动重连”的状态。如果“自动重连”是enabled,mysql_ping()会重新获取连接。否则，会返回错误。
有些客户端程序可能提供了控制自动重连的功能。比如，mysql默认是允许重连的，但是使用 --skip-reconnect 选项将关闭这个行为。
如果发生了自动重连（比如，调用了mysql_ping()）,自动重连是透明的。为了检查是否发生了重连，在调用mysql_ping()函数前，先调用mysql_thread_id()函数获取原始的连接id，然后调用mysql_ping()，在调用 mysql_thread_id()函数，对比两次 mysql_thread_id()的结果是否变化了。
“自动重连”很方便，因为你不需要再实现自己重连代码，但是一旦发生了自动重连，connection的一些状态在server端就会被重置，而你的应用程序得不到这些变化的通知。
下面列出连接相关的状态变化：
任何未提交的事务将会回滚并且连接autocommit属性将会重置
事务中的锁将会被释放。
所有的临时表将会关闭（并释放）。
Session中的变量会重新初始化为系统默认值，包括在statements中显式声明的变量，比如
SET NAMES。用户自定义的变量将会丢失。
Prepared statements将释放。
HANDLER变量将会关闭。LAST_INSERT_ID()的值将会重置为0.
通过
GET_LOCK()获取的锁将会释放。
如果连接失效，可能connection的session在server端依然在运行，当server没有检测到客户端失去连接。在这种情况下，原来connection的锁依然属于那个session，你可以调用mysql_kill()函数kill掉它。
Linux下C语言连接MySQL找不到mysql.h解决办法
昨天是把MySQL装上去了，今天尝试用C语言访问连接MySQL，发现使用编译指令：gcc -I/usr/include/mysql connect.c -lmysqlclient -o connect之后，提示找不到“mysql.h”文件，T_T|||。
原因其实很简单了，昨天我只装了server和client两个包，对于平常的使用，这已经足够了，但对于要在Linux下进行数据库的开发，则还需要安装devel开发包，并且该开发包的版本应该和我之前所安装的server和client包版本一致，否则会发生冲突而导致无法安装。
server和client包的安装见上一篇日志：Linux(Fedora 9)卸载自带的MySQL并安装MySQL的详细步骤。
好了，我们来安装devel包，注意版本要保持一致：
- [root@localhost install]# rpm -ivh MySQL-devel-community-5.1.46-1.rhel5.i386.rpm
- Preparing... ########################################### [100%]
- 1:MySQL-devel-community ########################################### [100%]
这次为了避免再出现问题，我把共享组件包shared也装上去了，哈哈：
- [root@localhost install]# rpm -ivh MySQL-shared-community-5.1.46-1.rhel5.i386.rpm
- Preparing... ########################################### [100%]
- 1:MySQL-shared-community ########################################### [100%]
装完之后，再编译就通过了，此时的“mysql.h”已经出现在了/usr/include/mysql目录下面。Happy~
undefined reference to `mysql_init'解决办法
写了一个很简单的测试数据库连接的程序conn.c如下:
#include <stdio.h>
#include <stdlib.h>
#include "/usr/local/mysql/include/mysql/mysql.h"
#include <string.h>
int main(int argc, char *argv[])
{
MYSQL my_connection;
mysql_init(&my_connection);
if (mysql_real_connect(&my_connection, "localhost", "root", "","mysql",,NULL,CLIENT_FOUND_ROWS))
{
printf("Connection success\n");
mysql_close(&my_connection);
}
else
{
fprintf(stderr, "Connection failed\n");
if (mysql_errno(&my_connection))
{
fprintf(stderr, "Connection error %d: %s\n",mysql_errno(&my_connection),mysql_error(&my_connection));
}
}
return EXIT_SUCCESS;
}
gcc编译:gcc -o conn conn.c出现如下错误:
/tmp/ccY0JTdh.o(.text+0x1e): In function `main':
: undefined reference to `mysql_init'
/tmp/ccY0JTdh.o(.text+0x47): In function `main':
: undefined reference to `mysql_real_connect'
/tmp/ccY0JTdh.o(.text+0x6d): In function `main':
: undefined reference to `mysql_close'
/tmp/ccY0JTdh.o(.text+0x97): In function `main':
: undefined reference to `mysql_errno'
/tmp/ccY0JTdh.o(.text+0xad): In function `main':
: undefined reference to `mysql_error'
/tmp/ccY0JTdh.o(.text+0xc0): In function `main':
: undefined reference to `mysql_errno'
collect2: ld returned 1 exit status
出现该错误的原因是因为编译器找不到mysql_init,mysql_close等的具体实现.虽然我们包括了正确的头文件,但是 我们在编译的时候还是要连接确定的库.对于一些常用的函数的实现,gcc编译器会自动去连接一些常用库,这样我们就没有必要自己去指定了,如:printf函数.在本程序中要通过-L选项包含库文件的路径:
gcc -o conn conn.c -L /usr/local/mysql/lib/*.a -lz
通过,用*.a将库全部包含进来拉,其实只要包含mysqlclient.a就可以. -lz什么意思我也不清楚了
undefined reference to 'dlopen';undefined reference to 'dlclose';undefined reference to 'dlerror'等问题
在linux下，编译链接的时候，经常会遇到这样一个问题，undefined reference to.....，引起这个问题的原因在于在链接的时候缺少选项。下面举几个例子，并给出解决办法。
1、undefined reference to `dlerror'
undefined reference to `dlopen'
undefined reference to `dlerror'；；解决方法：在makefile的 ldflags 后面把选项 -ldl添加上即可
2、undefined reference to `main'；；解决方法：在makefile的 ldflags 后面添加 -nostartfiles 选项
3、undefined reference to `pthread_setspecific'
undefined reference to `pthread_key_delete'
undefined reference to `pthread_key_create'：：解决办法：在makefile的LDFLAGS后面添加 -lpthread 选项。
最后：：如果undefined reference to后面的内容是在自己的文件中声明或定义的东西，就不能用这种方法来解决了。这时就需要检查一下自己的makefile涉及到源文件、头文件的地方是否出错了，也有可能是其他的原因