项目启动了很多线程，但是不知道谁启动的

通过源代码跟踪肯定没问题，关键是通过windbg可以看到很多线程，但是不知道谁启动的
最主要是这个堆栈一样的线程有几十个，我想区分谁建立的。


STACK_TEXT:  
16d9fc1c 0dad2e1c e06d7363 00000001 00000003 KERNELBASE!RaiseException+0x58
WARNING: Stack unwind information not available. Following frames may be wrong.
16d9fc54 0dad29ed 16d9fc64 0db153bc 0daf066c thosttraderapi!CThostFtdcTraderApi::CreateFtdcTraderApi+0x58fcc
16d9fc70 0da7040a 00004040 45d73da4 1460ccac thosttraderapi!CThostFtdcTraderApi::CreateFtdcTraderApi+0x58b9d
16d9fd84 60a611d3 1460df30 a023af03 00000000 thosttraderapi+0x6040a
16d9fdbc 765c337a 0e383f48 16d9fe08 77bd9882 verifier!AVrfpStandardThreadFunction+0x2f
16d9fdc8 77bd9882 0e383f48 b74fca00 00000000 kernel32!BaseThreadInitThunk+0xe
16d9fe08 77bd9855 60a611a4 0e383f48 00000000 ntdll!__RtlUserThreadStart+0x70
16d9fe20 00000000 60a611a4 0e383f48 00000000 ntdll!_RtlUserThreadStart+0x1b

这段堆栈信息只能看到线程启动到崩溃，但是我怎么知道谁启动了这个线程呢？
通过线程堆栈我估计够呛，各位如何确定的呢？   有没有什么好方法？

16 个解决方案

#1

为什么不在创建新线程相关的那几个API上设断点观察呢？

#2

在CreateThread()上设置断点观察？

#3

关键是崩溃的时候，拿到dmp，这个是无法源代码调试的，我要反过来定位到那段代码搞的。

要是自己开发调试，那不是简单多了


对了，前面搞崩溃文件2个月，找到3处经常崩溃的地方加了try
一处内存暴增，正在分析到底为什么调用那么多次，最终解决还是崩溃dmp的内存记录了每次分配的堆栈找到的

但是建立线程反向跟踪怎么找呢？

#4

打断点喽，是不是？

#5

断点什么啊，客户的崩溃文件

#6

有时不将“调用函数名字＋各参数值，进入函数后各参数值，中间变量值，退出函数前准备返回的值，返回函数到调用处后函数名字＋各参数值＋返回值”这些信息写日志到文件中是无论如何也发现不了问题在哪里的，包括捕获各种异常、写日志到屏幕、单步或设断点或生成core文件、……这些方法都不行！ 写日志到文件参考下面：

//循环向a函数每次发送200个字节长度（这个是固定的）的buffer,
//a函数中需要将循环传进来的buffer，组成240字节（也是固定的）的新buffer进行处理，
//在处理的时候每次从新buffer中取两个字节打印
#ifdef WIN32
    #pragma warning(disable:4996)
#endif
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#ifdef WIN32
    #include <windows.h>
    #include <process.h>
    #include <io.h>
    #define  MYVOID             void
    #define  vsnprintf          _vsnprintf
#else
    #include <unistd.h>
    #include <sys/time.h>
    #include <pthread.h>
    #define  CRITICAL_SECTION   pthread_mutex_t
    #define  MYVOID             void *
#endif
//Log{
#define MAXLOGSIZE 20000000
#define MAXLINSIZE 16000
#include <time.h>
#include <sys/timeb.h>
#include <stdarg.h>
char logfilename1[]="MyLog1.log";
char logfilename2[]="MyLog2.log";
static char logstr[MAXLINSIZE+1];
char datestr[16];
char timestr[16];
char mss[4];
CRITICAL_SECTION cs_log;
FILE *flog;
#ifdef WIN32
void Lock(CRITICAL_SECTION *l) {
    EnterCriticalSection(l);
}
void Unlock(CRITICAL_SECTION *l) {
    LeaveCriticalSection(l);
}
void sleep_ms(int ms) {
    Sleep(ms);
}
#else
void Lock(CRITICAL_SECTION *l) {
    pthread_mutex_lock(l);
}
void Unlock(CRITICAL_SECTION *l) {
    pthread_mutex_unlock(l);
}
void sleep_ms(int ms) {
    usleep(ms*1000);
}
#endif
void LogV(const char *pszFmt,va_list argp) {
    struct tm *now;
    struct timeb tb;

    if (NULL==pszFmt||0==pszFmt[0]) return;
    vsnprintf(logstr,MAXLINSIZE,pszFmt,argp);
    ftime(&tb);
    now=localtime(&tb.time);
    sprintf(datestr,"%04d-%02d-%02d",now->tm_year+1900,now->tm_mon+1,now->tm_mday);
    sprintf(timestr,"%02d:%02d:%02d",now->tm_hour     ,now->tm_min  ,now->tm_sec );
    sprintf(mss,"%03d",tb.millitm);
    printf("%s %s.%s %s",datestr,timestr,mss,logstr);
    flog=fopen(logfilename1,"a");
    if (NULL!=flog) {
        fprintf(flog,"%s %s.%s %s",datestr,timestr,mss,logstr);
        if (ftell(flog)>MAXLOGSIZE) {
            fclose(flog);
            if (rename(logfilename1,logfilename2)) {
                remove(logfilename2);
                rename(logfilename1,logfilename2);
            }
        } else {
            fclose(flog);
        }
    }
}
void Log(const char *pszFmt,...) {
    va_list argp;

    Lock(&cs_log);
    va_start(argp,pszFmt);
    LogV(pszFmt,argp);
    va_end(argp);
    Unlock(&cs_log);
}
//Log}
#define ASIZE    200
#define BSIZE    240
#define CSIZE      2
char Abuf[ASIZE];
char Cbuf[CSIZE];
CRITICAL_SECTION cs_HEX ;
CRITICAL_SECTION cs_BBB ;
struct FIFO_BUFFER {
    int  head;
    int  tail;
    int  size;
    char data[BSIZE];
} BBB;
int No_Loop=0;
void HexDump(int cn,char *buf,int len) {
    int i,j,k;
    char binstr[80];

    Lock(&cs_HEX);
    for (i=0;i<len;i++) {
        if (0==(i%16)) {
            sprintf(binstr,"%03d %04x -",cn,i);
            sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
        } else if (15==(i%16)) {
            sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
            sprintf(binstr,"%s  ",binstr);
            for (j=i-15;j<=i;j++) {
                sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
            }
            Log("%s\n",binstr);
        } else {
            sprintf(binstr,"%s %02x",binstr,(unsigned char)buf[i]);
        }
    }
    if (0!=(i%16)) {
        k=16-(i%16);
        for (j=0;j<k;j++) {
            sprintf(binstr,"%s   ",binstr);
        }
        sprintf(binstr,"%s  ",binstr);
        k=16-k;
        for (j=i-k;j<i;j++) {
            sprintf(binstr,"%s%c",binstr,('!'<buf[j]&&buf[j]<='~')?buf[j]:'.');
        }
        Log("%s\n",binstr);
    }
    Unlock(&cs_HEX);
}
int GetFromRBuf(int cn,CRITICAL_SECTION *cs,struct FIFO_BUFFER *fbuf,char *buf,int len) {
    int lent,len1,len2;

    lent=0;
    Lock(cs);
    if (fbuf->size>=len) {
        lent=len;
        if (fbuf->head+lent>BSIZE) {
            len1=BSIZE-fbuf->head;
            memcpy(buf     ,fbuf->data+fbuf->head,len1);
            len2=lent-len1;
            memcpy(buf+len1,fbuf->data           ,len2);
            fbuf->head=len2;
        } else {
            memcpy(buf     ,fbuf->data+fbuf->head,lent);
            fbuf->head+=lent;
        }
        fbuf->size-=lent;
    }
    Unlock(cs);
    return lent;
}
MYVOID thdB(void *pcn) {
    char        *recv_buf;
    int          recv_nbytes;
    int          cn;
    int          wc;
    int          pb;

    cn=(int)pcn;
    Log("%03d thdB              thread begin...\n",cn);
    while (1) {
        sleep_ms(10);
        recv_buf=(char *)Cbuf;
        recv_nbytes=CSIZE;
        wc=0;
        while (1) {
            pb=GetFromRBuf(cn,&cs_BBB,&BBB,recv_buf,recv_nbytes);
            if (pb) {
                Log("%03d recv %d bytes\n",cn,pb);
                HexDump(cn,recv_buf,pb);
                sleep_ms(1);
            } else {
                sleep_ms(1000);
            }
            if (No_Loop) break;//
            wc++;
            if (wc>3600) Log("%03d %d==wc>3600!\n",cn,wc);
        }
        if (No_Loop) break;//
    }
#ifndef WIN32
    pthread_exit(NULL);
#endif
}
int PutToRBuf(int cn,CRITICAL_SECTION *cs,struct FIFO_BUFFER *fbuf,char *buf,int len) {
    int lent,len1,len2;

    Lock(cs);
    lent=len;
    if (fbuf->size+lent>BSIZE) {
        lent=BSIZE-fbuf->size;
    }
    if (fbuf->tail+lent>BSIZE) {
        len1=BSIZE-fbuf->tail;
        memcpy(fbuf->data+fbuf->tail,buf     ,len1);
        len2=lent-len1;
        memcpy(fbuf->data           ,buf+len1,len2);
        fbuf->tail=len2;
    } else {
        memcpy(fbuf->data+fbuf->tail,buf     ,lent);
        fbuf->tail+=lent;
    }
    fbuf->size+=lent;
    Unlock(cs);
    return lent;
}
MYVOID thdA(void *pcn) {
    char        *send_buf;
    int          send_nbytes;
    int          cn;
    int          wc;
    int           a;
    int          pa;

    cn=(int)pcn;
    Log("%03d thdA              thread begin...\n",cn);
    a=0;
    while (1) {
        sleep_ms(100);
        memset(Abuf,a,ASIZE);
        a=(a+1)%256;
        if (16==a) {No_Loop=1;break;}//去掉这句可以让程序一直循环直到按Ctrl+C或Ctrl+Break或当前目录下存在文件No_Loop
        send_buf=(char *)Abuf;
        send_nbytes=ASIZE;
        Log("%03d sending %d bytes\n",cn,send_nbytes);
        HexDump(cn,send_buf,send_nbytes);
        wc=0;
        while (1) {
            pa=PutToRBuf(cn,&cs_BBB,&BBB,send_buf,send_nbytes);
            Log("%03d sent %d bytes\n",cn,pa);
            HexDump(cn,send_buf,pa);
            send_buf+=pa;
            send_nbytes-=pa;
            if (send_nbytes<=0) break;//
            sleep_ms(1000);
            if (No_Loop) break;//
            wc++;
            if (wc>3600) Log("%03d %d==wc>3600!\n",cn,wc);
        }
        if (No_Loop) break;//
    }
#ifndef WIN32
    pthread_exit(NULL);
#endif
}
int main() {
#ifdef WIN32
    InitializeCriticalSection(&cs_log);
    InitializeCriticalSection(&cs_HEX );
    InitializeCriticalSection(&cs_BBB );
#else
    pthread_t threads[2];
    int threadsN;
    int rc;
    pthread_mutex_init(&cs_log,NULL);
    pthread_mutex_init(&cs_HEX,NULL);
    pthread_mutex_init(&cs_BBB,NULL);
#endif
    Log("Start===========================================================\n");

    BBB.head=0;
    BBB.tail=0;
    BBB.size=0;

#ifdef WIN32
    _beginthread((void(__cdecl *)(void *))thdA,0,(void *)1);
    _beginthread((void(__cdecl *)(void *))thdB,0,(void *)2);
#else
    threadsN=0;
    rc=pthread_create(&(threads[threadsN++]),NULL,thdA,(void *)1);if (rc) Log("%d=pthread_create %d error!\n",rc,threadsN-1);
    rc=pthread_create(&(threads[threadsN++]),NULL,thdB,(void *)2);if (rc) Log("%d=pthread_create %d error!\n",rc,threadsN-1);
#endif

    if (!access("No_Loop",0)) {
        remove("No_Loop");
        if (!access("No_Loop",0)) {
            No_Loop=1;
        }
    }
    while (1) {
        sleep_ms(1000);
        if (No_Loop) break;//
        if (!access("No_Loop",0)) {
            No_Loop=1;
        }
    }
    sleep_ms(3000);
    Log("End=============================================================\n");
#ifdef WIN32
    DeleteCriticalSection(&cs_BBB );
    DeleteCriticalSection(&cs_HEX );
    DeleteCriticalSection(&cs_log);
#else
    pthread_mutex_destroy(&cs_BBB);
    pthread_mutex_destroy(&cs_HEX);
    pthread_mutex_destroy(&cs_log);
#endif
    return 0;
}

#7

知道谁启动的有什么意义？不让他启动？

#8

引用 7 楼 lianshaohua 的回复:

知道谁启动的有什么意义？不让他启动？

缩小故障定位范围，工程有十几个项目，下面又带有多个柜台的程序，底层多个通信通道，对上层也有通信通道

#9

引用 8 楼 zlc990405 的回复:

Quote: 引用 7 楼 lianshaohua 的回复:

知道谁启动的有什么意义？不让他启动？

缩小故障定位范围，工程有十几个项目，下面又带有多个柜台的程序，底层多个通信通道，对上层也有通信通道

每个项目都有自己的服务吧？能通过服务定位吗？（现象、日志等等）

#10

引用 9 楼 lianshaohua 的回复:

Quote: 引用 8 楼 zlc990405 的回复:

Quote: 引用 7 楼 lianshaohua 的回复:

知道谁启动的有什么意义？不让他启动？

缩小故障定位范围，工程有十几个项目，下面又带有多个柜台的程序，底层多个通信通道，对上层也有通信通道

每个项目都有自己的服务吧？能通过服务定位吗？（现象、日志等等）

柜台雷同，例如多个CTP柜台，多个googlebuffer通道，多个zmq和rmq通道，还有多个定时器线程、wcf通道，看着栈基本雷同，很难区分。
我虽然用debugdiag打印了线程创建时的栈，但这也是创建的时候线程的栈，而不是创建者的栈，没法回溯到底谁创建的，位置在哪里创建的。

#11

引用 9 楼 lianshaohua 的回复:

Quote: 引用 8 楼 zlc990405 的回复:

Quote: 引用 7 楼 lianshaohua 的回复:

知道谁启动的有什么意义？不让他启动？

缩小故障定位范围，工程有十几个项目，下面又带有多个柜台的程序，底层多个通信通道，对上层也有通信通道

每个项目都有自己的服务吧？能通过服务定位吗？（现象、日志等等）

日志就难了，创建线程一般都不打印线程号，有很多也是在别人的dll里面创建的，这个更没法把控了。
且很多线程属于守候线程，平时在哪里也不动，基本上都是在等待socket通信。

#12

引用 11 楼 zlc990405 的回复:

Quote: 引用 9 楼 lianshaohua 的回复:

Quote: 引用 8 楼 zlc990405 的回复:

Quote: 引用 7 楼 lianshaohua 的回复:

知道谁启动的有什么意义？不让他启动？

缩小故障定位范围，工程有十几个项目，下面又带有多个柜台的程序，底层多个通信通道，对上层也有通信通道

每个项目都有自己的服务吧？能通过服务定位吗？（现象、日志等等）

日志就难了，创建线程一般都不打印线程号，有很多也是在别人的dll里面创建的，这个更没法把控了。
且很多线程属于守候线程，平时在哪里也不动，基本上都是在等待socket通信。

感觉是设计的问题，而不是技术的问题；设计导致了这种难以定位的结果；能先缩小范围吗？

#13

引用 1 楼 zhao4zhong1 的回复:

为什么不在创建新线程相关的那几个API上设断点观察呢？

为什么不在创建新线程相关的那几个API上设断点观察Call Stack中内容以确定属于哪个进程的哪个线程要创建当前线程呢？

#14

获取函数调用堆栈    仅供参考

#15

这个帖子结贴吧，实际上是上期所的CTP的dll内部内存泄露导致的崩溃，2016年4月份给上期所邮件，他们已经修改了代码发布新版本解决了这个问题。
20160613版本，没记错的话

去年一整年都在学习异常调试技术，基本解决了程序稳定性问题，不过由于大部分代码不是自己编写，且内部到底还存在哪些逻辑上的崩溃点还不能完全摸清楚。
实际上这个崩溃点是基本上天天崩溃，解决了这个问题后，我们的产品又陆续出现多次崩溃，不过在代码控制范围内基本都解决了。

由于已经非常熟悉崩溃调试，所以在代码控制范围内准确定位的，基本上2个小时之内就可以解决。但是对于栈被破坏的release版本，目前还是一头雾水，debug版本还有点疑问，过会另外开贴咨询。

#16

另外关于如何知道哪个模块启动了线程，PROCESS MONITOR可以看到线程启动的时候谁调用启动的，总体来说解决了我另外一个疑问