关于llvm kaleidoscope: 记一次Debug血泪之路

时间:2022-12-27 12:18:11

简而言之,慎(bu)用(yong)全局变量

这次debug基本上花了我一周的时间,我基本上是晚上9点30下自习回然后调试到11点30,如此反复一周直到今天周五终于解决了,,以前都听说前辈们 说尽量不要使用全局变量,我只当个笑话顺而过,今天我可能走了前辈们的老路,我实在忍不住要告诫各位请慎用全局变量,如果不当笑话对待这点那这篇文章目的就达到了,后面可以省略了。

以下是可以被省略的正文。上学期到这学期始我林林总总写过几个编译器前端,有lexyacc自底向上自动生成的也有手写词法分析自顶向下的递归下降分析,但是还从来没做过后端,一来是感觉自己差点火候二来也太懒感觉量大繁琐。这学期开学偶然在知乎听说llvm有成熟的代码生成优化以及到到目标机器的代码生成,想来自己看了那么多theory还从来没有实践过真正的编译器,说不遗憾肯定是假的,然后我翻了一遍llvm documentation发现有个极简编译器kaleidoscope的demo,于是准备撸起袖子实现一遍,官方demo是linux下的,我用visual
studio 2015实现了一遍,然后稍微把它面向对象了一番。问题就在这里的“稍微”,我只把词法分析语法分析用面向对象进行表示,其余部分用demo里的静态/全局变量/函数。直到LLVM IR代码生成都是熟悉的味道熟悉的套路,但是到了chapter4添加了一个优化器和JIT解释器就遇到了九天神坑,首先一大堆LINK ERRORs,好在都在接受范围内,编译了一大堆依赖项后编译通过了。当我输入一个表达式"1+2"就出现了nullptr异常,然后我从startup开始很自然的进入parser.parserDriver();

int main() {
llvm::InitializeNativeTarget();
llvm::InitializeNativeTargetAsmPrinter();
llvm::InitializeNativeTargetAsmParser(); kaleidoscope::Parser parser; fprintf(stderr, ">> ");
parser.getNextToken(); theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();
initializeModuleAndPassManager(); parser.parserDriver();
return 0;
}

进入parserDriver后大概长这个样子

/// top ::= definition | external | expression | ';'
void kaleidoscope::Parser::parserDriver() {
while (true) {
fprintf(stderr, ">> ");
switch (currentToken) {
case Token::TokenEOF:
return;
case ';': // ignore top-level semicolons.
getNextToken();
break;
case Token::TokenDef:
handleFunctionDefinition();
break;
case Token::TokenExtern:
handleExtern();
break;
default:
handleTopLevelExpression();
break;
}
}
}

这里由于我输入的是"1+2"在kaleidoscope的定义里面应该属于toplevelexpression,继续跟踪handleTopLevelExpression(),

void kaleidoscope::Parser::handleTopLevelExpression() {
if (auto funcAST = parseTopLevelExpr()) {
if (funcAST->codegen()) { //omit these codes...
}
}
else {
getNextToken();
}
}

我也不清楚到底是解析表达式错误还是代码生成,先进parserTopLevelExpr下了断点看了一下函数正常返回,排除解析错误那接下来就是代码生成

llvm::Function * FunctionAST::codegen() {
auto & p = *(this->funcProto);
funcPrototypeMap[this->funcProto->getFunctionName()] = std::move(this->funcProto);
llvm::Function * theFunction = getSpecifiedFunction(p.getFunctionName());
//omit...
}

逐语句跑了一遍发现是第三行引发的异常,断点显式getFunctionName没有问题,那肯定就是函数问题了,继续跟踪getSpecifiedFunction

static llvm::Function * getSpecifiedFunction(std::string name) {
// First, see if the function has already been added to the current module.
if (auto *F = theModule->getFunction(name))
return F; // If not, check whether we can codegen the declaration from some existing
// prototype.
auto FI = funcPrototypeMap.find(name);
if (FI != funcPrototypeMap.end())
return FI->second->codegen(); // If no existing prototype exists, return null.
return nullptr;
}

逐语句发现是对llvm::Module::getFunction的问题,getFunction在module的符号表查询指定的函数如果不存在就返回null

Function *Module::getFunction(StringRef Name) const {
return dyn_cast_or_null<Function>(getNamedValue(Name));
}

继续getNamedValue()

GlobalValue *Module::getNamedValue(StringRef Name) const {
return cast_or_null<GlobalValue>(getValueSymbolTable().lookup(Name));
}

问题就在这里了,异常显示的this is nullptr也就是说getValueSymbolTable返回的是nullptr理所当然后面的lookup成员函数调用出错,进入getValueSymbolTable

  /// Get the symbol table of global variable and function identifiers
const ValueSymbolTable &getValueSymbolTable() const { return *ValSymTab; }

这是Module类的一个函数,返回private  ValueSymbolTable *ValSymTab;而ValSymTab在module初始化的时候会分配内存

Module::Module(StringRef MID, LLVMContext &C)
: Context(C), Materializer(), ModuleID(MID), SourceFileName(MID), DL("") {
ValSymTab = new ValueSymbolTable();
NamedMDSymTab = new StringMap<NamedMDNode *>();
Context.addModule(this);
}

但是这里ValSymTab指向的内存却是没有分配。我想应该是堆不够的问题,我相信我的电脑,没有为什么,然后剩下的可能就是theModule变量出现了问题。纵观整个解决方案,用到static std::unique_ptr<llvm::Module> theModule;也就initializeModuleAndPassManager(),getSpecifiedFunction(std::string name),我 先是构跟踪n了itializeModuleAndPassManager(),回到main,断点显式theJIT没有问题(这里多说一句,在windows下KaleidoscopeJIT里面的if
(auto Sym = CompileLayer.findSymbolIn(H, Name, true))应该改成false否则会出现问题,这也是个坑),进入initializeModuleAndPassManager()

int main() {
llvm::InitializeNativeTarget();
llvm::InitializeNativeTargetAsmPrinter();
llvm::InitializeNativeTargetAsmParser(); kaleidoscope::Parser parser; fprintf(stderr, ">> ");
parser.getNextToken(); theJIT = llvm::make_unique<llvm::orc::KaleidoscopeJIT>();
initializeModuleAndPassManager(); parser.parserDriver();
return 0;
}

断点显示变量都没问题了,都正常被赋值了,wtf?难道我之前跟踪错了?诡异的事情发生了,我顺手给theModule加了个监控,虽然在这个initializeModuleAndPassManager里面theModule没有任何问题,但是进入parser.parserDriver后突然监控显示变量就出现问题了,我真是一脸懵逼,parser.parserDriver()根本没有对theModule的操作啊,为什么无缘无故变量的值会变,我都不知道看了多少遍源码,终于发现AST.h里面的theModule是按照官方demo的写法是static变量,我隐约记得全局static变量只能在文件内使用,而我在codegen的文件内直接引用了它,虽然不明白为什么会过编译但所幸发现了问题,去掉static后LINKERROR报错显示这几个变量重定义,因为多次include
.h文件变量会多次定义,最后放到.cpp编译通过输入"1+2"显示"evaluate to 3.00000"莫名感动。

回想起这惨痛的debug经历深感惭愧,感觉写多了业务逻辑代码脑子里好像少了一种思考的东西,忘记了很多基础,遇到问题就无脑baidu google,稍微解决不了就换库换包, 一直顺风顺水没怎么自己努力解决过问题,没想过有些东西换上千百次都不会变。痛定思痛,文以记之。