前言
相信Python老鸟都应该看过那篇非常有吸引力的Saving 9 GB of RAM with Python's slots 文章,作者使用了__slots__让内存占用从25.5GB降到了16.2GB。在当时来说,这相当于用一个非常简单的方式就降低了30%的内存使用,着实惊人。作者并没有提到他的业务特点和代码,那我们就基于《fluent python》中的例子来验证下是不是有这么厉害:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
from __future__ import print_function
import resource
class A( object ):
def __init__( self ):
self .a = 'string'
self .b = 10
self .c = True
class B( object ):
__slots__ = [ 'a' , 'b' , 'c' ]
def __init__( self ):
self .a = 'string'
self .b = 10
self .c = True
def test( cls ):
mem_init = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
l = []
for i in range ( 500000 ):
l.append( cls ())
mem_final = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
del l
print ( 'Class: {}:\n' . format ( getattr ( cls , '__name__' )))
print ( 'Initial RAM usage: {:14,}' . format (mem_init))
print ( ' Final RAM usage: {:14,}' . format (mem_final))
print ( '-' * 20 )
if __name__ = = '__main__' :
import sys
test( globals ()[sys.argv[ 1 ].upper()])
|
我们分别跑一下这2个类:
1
2
3
4
5
6
7
8
9
|
❯ python mem_test.py a
Class: A:
Initial RAM usage: 4 , 890 , 624
Final RAM usage: 200 , 454 , 144
- - - - - - - - - - - - - - - - - - - -
❯ python mem_test.py b
Class: B:
Initial RAM usage: 4 , 919 , 296
Final RAM usage: 60 , 235 , 776
|
2种方法初始内存略有差别,但是由于这个差别和总内存量相比太小而忽略不计,结论就是:
使用slots可以让内存使用减少3.5倍!!# 通过 (200 - 4) / ((60 - 4) * 1.0) 计算得来
那么用slot就是非非常那个有必要吗?事实上500000个实例这种机会非常少见,用不用完全根据业务来决定,并不要以偏概全。因为(敲黑板了哈)使用__slots__也是有副作用的:
- 每个继承的子类都要重新定义一遍__slots__
- 实例只能包含哪些在__slots__定义的属性,这对写程序的灵活性有影响,比如你由于某个原因新网给instance设置一个新的属性,比如instance.a = 1, 但是由于a不在__slots__里面就直接报错了,你得不断地去修改__slots__或者用其他方法迂回的解决
- 实例不能有弱引用(weakref)目标,否则要记得把__weakref__放进__slots__
第三点有点难理解,我写个例子看看吧:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
In [ 2 ]: % pycat ref_example.py
from weakref import ref
class A( object ):
__slots__ = [ 'b' ]
def __init__( self ):
self .b = 1
class B( object ):
__slots__ = [ 'b' , '__weakref__' ]
def __init__( self ):
self .b = 1
In [ 3 ]: from ref_example import *
In [ 4 ]: a = A()
In [ 5 ]: r = ref(a)
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
TypeError Traceback (most recent call last)
<ipython - input - 6 - 75a6d689c8b3 > in <module>()
- - - - > 1 r = ref(a)
TypeError: cannot create weak reference to 'A' object
In [ 6 ]: b = B()
In [ 7 ]: r = ref(b)
In [ 8 ]: r
Out[ 8 ]: <weakref at 0x109199578 ; to 'B' at 0x10919f890 >
|
所以实例不超过万级别的类,__slots__是不太值得使用的。
PS: 《fluent python》比我狠,说的是小于百万级别实例不值得使用。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对服务器之家的支持。
原文链接:http://www.dongwm.com/archives/Python-slots-详解/