字节码bytecode
python把源码文件编译成字节码文件,存放在__pycahe子目录内,用.pyc结尾。之后如果不再修改源码文件,运行时则使用*.pyc文件编译成机器码,这样不但运行速度快,而且支持多个操作系统。
字节码,其实就是一种中间代码。
前置知识
在看字节码之前,先要了解一下code object。它们在datamodel.html中有介绍
例子:
>>> import dis
>>> def hello():
... print('Hello World!')
...
>>> hello.__code__
<code object hello at 0x1066683a0, file "<stdin>", line 1>
__code__属性显示了编译后的函数体the compiled function body, 它是一个code object。
code object 代码对象
code模块中的code类产生code对象。
>>> type(hello.__code__)
<class 'code'>
code object一个python的内部类型。即解释器内部使用的类型。也称为bytecode。
它是python把源码编译成字节码时,创建的代码对象。
code类有多个个data attributes(实例变量),其中:
- co_consts 为一个包含字节码所使用的字面值的元组。如果code object代表一个函数,这个属性的第一项是函数的文档字符串。
- co_varnames 为一个包含局部变量名称的元组。
- 'co_names': <member 'co_names' of 'code' objects> 在函数体内引用的非本地name的tuple
详细介绍见:https://docs.python.org/3/reference/datamodel.html#object.__repr__
例子:
>>> hello.__code__.co_consts
(None, 'Hello World!') >>> hello.__code__.co_varnames
()
>>> hello.__code__.co_names
('print',)
dis模块
使用上面的hello()函数。用dis.dis()方法, 它返回字节码操作的格式化试图。
>>> dis.dis("hello()")
1 0 LOAD_NAME 0 (hello)
2 CALL_FUNCTION 0
4 RETURN_VALUE
>>>
>>> dis.dis(hello)
2 0 LOAD_GLOBAL 0 (print)
2 LOAD_CONST 1 ('Hello World!')
4 CALL_FUNCTION 1
6 POP_TOP
8 LOAD_CONST 0 (None)
10 RETURN_VALUE
解释:
dis
模块为 Python 字节码提供了一个 “反汇编”,它可以让你更容易地得到一个人类可读的版本,以及查找各种字节码指令。
这是因为字节码是--非人类可读格式的字节。通过dis模块,就可以理解字节码。
dis.dis(hello)会在函数hello被编译之前,返汇编它:
- 例子中,做左边的数字2代表编译该字节码的源代码中的行号。
- 左边列中的数字是字节码中指令的偏移量()/也称为索引,即指令xxx所在位置。⚠️见本文底部例子的解释。
- 右边的数字是字节码指令的参数,数字后面实际的参数,⚠️见本文底部例子。
本例子:
- LOAD_GLOBAL(namei)加载名称为
co_names[namei]
的全局对象推入栈顶。- 本例子:因为hello.__code__.co_names是('print', ),所以就是把print函数对象推入栈顶。
- LOAD_CONST(consti) 将co_consts[consti]推入栈顶。
- 本例子:将'Hello World!'这个字符串常量推入栈顶。
- CALL_FUNCTION(argc) Calls a callable object with positional arguments.
- “计算栈”的顶端就包括所有的位置参数。从栈中弹出所有的参数和可调用对象,
- 然后把参数传入对象并调用对象,最后把返回的值推入栈。
- ⚠️具体涉及到frame的生命周期和call stack的知识(尚未理解)
- POP_TOP 移除栈顶(Top-of-Stack)的项目
- LOAD_CONST(consti) 本例子是将None推入栈。因为没有指定函数的返回值,所以默认返回None。
- RETURN_VALUE 把栈顶的值返回到the caller of the function。
了解字节码的用处
- 了解字节码,可以帮助理解python的运行模型。通过python字节码,可以知道如何更好的写和优化源码。
- 理解字节码可以帮助你更好回答一些疑惑:比如,为什么
{}
比dict()
快? 这是因为执行代码的过程有区别,通过dis.dis("{}")和dis.dis("dict()")就明白了。 - 理解字节码和Python如何运行它,就会理解面向栈的编程。有助开拓视野。
延伸:
- Python 虚拟机内幕,它是 Obi Ike-Nwosu 写的一本免费在线电子书,它深入 Python 解析器,解释了 Python 如何工作的细节。
- 一个用 Python 编写的 Python 解析器,它是由 Allison Kaptur 写的一个教程,它是用 Python 构建的 Python 字节码解析器,并且它实现了运行 Python 字节码的全部构件。
- 最后,CPython 解析器是一个开源软件,你可以在 GitHub 上阅读它。它在文件
Python/ceval.c
中实现了字节码解析器。这是 Python 3.6.4 发行版中那个文件的链接;字节码指令是由第 1266 行开始的switch
语句来处理的。
本文摘录:https://zhuanlan.zhihu.com/p/39259061
知识点补充
例子1
>>> dis.opname[0x65]
'LOAD_NAME'
>>> dis.opname[101]
'LOAD_NAME'
解释:
dis.opname会获得一个list,索引101对应的是一个字符串"LOAD_NAME"。
>>> dis.opmap['LOAD_NAME']
101
dis.opmap得到一个dict, 映射操作名称到字节码mapping operation names to bytecodes, 索引'LOAD_NAME'的值是十进制数字101。
101是一个十进制的字节码,对应的是"LOAD_NAME"
例子2
>>> x = dis.Bytecode(hello)
>>> x
Bytecode(<function hello at 0x106594b80>)
>>> for instr in x:
... print(instr.opname)
...
LOAD_GLOBAL
LOAD_CONST
CALL_FUNCTION
POP_TOP
LOAD_CONST
RETURN_VALUE
解释:
把函数hello分析为一个Bytecode对象。然后打印它内部的所有字节码的对应的人类可读的operation name。
其实就是dis.dis(hello)中的第3列。
>>> for instr in x:
... print(instr.opcode)
...
116
100
131
1
100
83
使用opcode打印出对应的字节码。116(这是十进制)对应LOAD_GLOBAL。
>>> hello.__code__
<code object hello at 0x1066683a0, file "<stdin>", line 1>
>>> hello.__code__.co_code
b't\x00d\x01\x83\x01\x01\x00d\x00S\x00'
>>> list(hello.__code__.co_code)
[116, 0, 100, 1, 131, 1, 1, 0, 100, 0, 83, 0]
>>> dis.opname[116]
'LOAD_GLOBAL'
>>> dis.dis(hello)
2 0 LOAD_GLOBAL 0 (print)
2 LOAD_CONST 1 ('Hello World!')
4 CALL_FUNCTION 1
6 POP_TOP
8 LOAD_CONST 0 (None)
10 RETURN_VALUE
>>> dis.opname[1]
'POP_TOP'
由此可知dis.dis的第2列数字其实是把字节码list化后的索引。最右边那一列的数字其实就是字节码的参数。
小结:
dis.opname:得到字节码的含义的list表。
dis.map: 一个dict,key是字节码的含义,value是十进制的字节码。
使用xx.__code__得到一个Code Object,用属性co_code可以得到字节码。