Performance Measure of Algorithms(2)--Space Complexity & Time Complexity

相关数学背景知识请参照上一篇博文Performance Measure of Algorithms(1)–Mathematical Background
递归算法的时间复杂度分析请访问Performance Measure of Algorithms(3)–递归算法的时间复杂度分析

1. Time Complexity时间复杂度

-The amount of computer time a program needs to run to complete
- f:n →The number of steps

在计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，亦即考察输入值大小趋近无穷时的情况。例如，如果一个算法对于任何大小为 n （必须比 n0 大）的输入，它至多需要5n^3 + 3n的时间运行完毕，那么它的渐近时间复杂度是 O(n^3)。

为了计算时间复杂度，我们通常会估计算法的操作单元数量，每个单元运行的时间都是相同的。因此，总运行时间和算法的操作单元数量最多相差一个常量系数。

相同大小的不同输入值仍可能造成算法的运行时间不同，因此我们通常使用算法的最坏情况复杂度，记为 T(n) ，定义为任何大小的输入 n 所需的最大运行时间。另一种较少使用的方法是平均情况复杂度，通常有特别指定才会使用。时间复杂度可以用函数 T(n) 的自然特性加以分类，举例来说，有着 T(n) = O(n) 的算法被称作“线性时间算法”；而 T(n) = O(M^n) 和 M^n= O(T(n)) ，其中 M ≥ n > 1 的算法被称作“指数时间算法”。

1.1 Rules

Ο(log2n)、Ο(n)、 Ο(nlog2n)、Ο(n^2)和Ο(n^3)称为多项式时间，而Ο(2^n)和Ο(n!)称为指数时间。计算机科学家普遍认为前者（即多项式时间复杂度的算法）是有效算法，把这类问题称为P（Polynomial,多项式）类问题，而把后者（即指数时间复杂度的算法）称为NP（Non-Deterministic Polynomial, 非确定多项式）问题。

1.2 Examples

1. O(1)

Ο(1)表示基本语句的执行次数是一个常数，一般来说，只要算法中不存在循环语句，其时间复杂度就是Ο(1)。对于一些简单的输入输出语句或赋值语句,近似认为需要O(1)时间。对于选择结构,如if语句,它的主要时间耗费是在执行then字句或else字句所用的时间,需注意的是检验条件也需要O(1)时间。

Temp=i; i=j; j=temp;

以上三条单个语句的频度均为1，该程序段的执行时间是一个与问题规模n无关的常数。算法的时间复杂度为常数阶，记作T(n)=O(1)。注意：如果算法的执行时间不随着问题规模n的增加而增长，即使算法中有上千条语句，其执行时间也不过是一个较大的常数。此类算法的时间复杂度是O(1)。

2. O(n)

a=0; b=1;                     //(2次) 
  for (i=1;i<=n;i++)          //(n次) 
  {    
     s=a+b;　　　              //(n-1次) 
     b=a;　　　　　            //(n-1次) 
     a=s;　　　　              //(n-1次) 
  }  

T(n)=2+n+3(n-1)=4n-1=O(n).

int fact(int n)
{   
       if (n<=1)
           return 1;
    else
           return (n*fact(n-1));
}

递归调用 T(n)=O(n).

3. O(n^2)

sum=0；                 //(1次)
for(i=1;i<=n;i++)      //（n+1次） 
   for(j=1;j<=n;j++)   //（n^2次） 
    sum++；            //（n^2次） 

因为Θ(2n^2+n+1)=n^2（Θ即：去低阶项，去掉常数项，去掉高阶项的常参得到），所以T(n)= =O(n^2)；

for (i=1;i<n;i++)  
 { y=y+1; //(n-1次) for (j=0;j<=(2*n);j++) x++; //(n-1)*(2n+1)=2n^2-n-1 }  

f(n)=2n2-n-1+(n-1)=2n2-2又Θ(2n^2-2)=n^2,该程序的时间复杂度T(n)=O(n^2).

一般情况下，对步进循环语句只需考虑循环体中语句的执行次数，忽略该语句中步长加1、终值判别、控制转移等成分，当有若干个循环语句时，算法的时间复杂度是由嵌套层数最多的循环语句中最内层语句的频度f(n)决定的。

4. O(log2n)

i=1;        //(1次) 
while (i<=n)  
   i=i*2;    //(f(n)次) 

语句1的频度是1, 设语句2的频度是f(n), 则：2^f(n)<=n; f(n)<=log2n 取最大值f(n)=log2n,T(n)=O(log2n )

5. O(n^3)

for(i=0;i<n;i++)  
{ for(j=0;j<i;j++) { for(k=0;k<j;k++) x=x+2; }  
}  

当i=m, j=k的时候,内层循环的次数为k当i=m时, j 可以取 0,1,…,m-1 , 所以这里最内循环共进行了0+1+…+m-1=(m-1)m/2次所以,i从0取到n, 则循环共进行了: 0+(1-1)*1/2+…+(n-1)n/2=n(n+1)(n-1)/6所以时间复杂度为O(n3).

Sum=0
for (j=0;j<N;j++)
    for (k=0;k<N*N;k++)
        Sum++;

6. O(n^5)

Sum=0
for (j=0;j<N;j++)             // (n次) 
    for (k=0;k<j*j;k++)       // k<j*j(n*n次) 
        for (m=0; m<k; m++)   // m<k<j*j(n*n次) 
            Sum++;

7. O((5/3)^n)

Analysis of Fibonacci number

int Fib (int N)
    {
        if  (N<=1)
        return 1;
    else
        return ( Fib(N-1) + Fib(N-2) );
    }
//fib(x)=0,(x=0);fib(x)=1,(x=1);fib(x)=fib(x-1)+fib(x-2),x>1

T(n)=O((5/3)^n)
时间复杂度T(N) = T(N-1) + T(N-2); 也是f(n)本身，1.5^n<=f(n+1)<=2^n, n>=1。时间复杂度证明：
用y表示f(n+1), x表示f(n)
(1) y >= x>=1, n>=0
(2) y <= 2x, n>=1，即从n=1开始，Fibonacci数列的上限是一个等比为2的数列。
(3) 由(1)(2)可以推算出，(x+y)/y = 1 + x/y >= 1 + 1/2 = 1.5, n>=1，即y >= 1.5x, n>=2。又有f(2)/f(1) >= 1.5，所以不等式也适用于n=1，即从n=1开始，Fibonacci数列的下限是一个等比为1.5的数列。
(4) 由(1)(3)可以推算出，(x+y)/y = 1 + x/y <= 1 + 1/1.5 = 5/3，即从某个数开始，Fibonacci数列的上限是一个等比为5/3的数列。
(5) (3)(4)可以反复进行下去，上下限的比例逐渐靠拢。最终收敛在黄金比例1.6180339887…。

斐波那契数列也可用其他方法求:
用循环求，效率很高了，时间复杂度是O(n)。

int f(int n)
{
     if(n <= 1)
          return 1;
     int f0=1, f1=1;
     for(int i=2; i<=n; ++i)
     {
          int t=f0+f1;
          f0=f1;
          f1=t;
     }
     return f1;
}

用矩阵求，时间复杂度O(log n)，效率是最高的。

Matrix2x2 g(int n)
{
     if(n<=0) return G(0);
     if(n==1) return G(1);
     Matrix2x2 t = f(n/2);
     return t*t*G(n%2);
}

以下表格整理了一些常用的时间复杂度类别。

2. Space Complexity空间复杂度

-The amount of memory a program needs to run to complete
- f:n →The number of units

算法的空间复杂度(Space Complexity)S(n)定义为该算法所耗费的存储空间，它也是问题规模n的函数。渐近空间复杂度也常常简称为空间复杂度。

空间复杂度(Space Complexity)是对一个算法在运行过程中临时占用存储空间大小的量度。一个算法在计算机存储器上所占用的存储空间，包括存储算法本身所占用的存储空间，算法的输入输出数据所占用的存储空间和算法在运行过程中临时占用的存储空间这三个方面。算法的输入输出数据所占用的存储空间是由要解决的问题决定的，是通过参数表由调用函数传递而来的，它不随本算法的不同而改变。存储算法本身所占用的存储空间与算法书写的长短成正比，要压缩这方面的存储空间，就必须编写出较短的算法。算法在运行过程中临时占用的存储空间随算法的不同而异，有的算法只需要占用少量的临时工作单元，而且不随问题规模的大小而改变，我们称这种算法是“就地”进行的，是节省存储的算法，如这一节介绍过的几个算法都是如此；有的算法需要占用的临时工作单元数与解决问题的规模n有关，它随着n的增大而增大，当n较大时，将占用较多的存储单元，例如将在第九章介绍的快速排序和归并排序算法就属于这种情况。

如当一个算法的空间复杂度为一个常量，即不随被处理数据量n的大小而改变时，可表示为O(1)；当一个算法的空间复杂度与以2为底的n的对数成正比时，可表示为0(10g2n)；当一个算法的空I司复杂度与n成线性比例关系时，可表示为0(n).若形参为数组，则只需要为它分配一个存储由实参传送来的一个地址指针的空间，即一个机器字长空间；若形参为引用方式，则也只需要为其分配存储一个地址的空间，用它来存储对应实参变量的地址，以便由系统自动引用实参变量。

References：
[1] https://zh.wikipedia.org/wiki/%E6%97%B6%E9%97%B4%E5%A4%8D%E6%9D%82%E5%BA%A6
[2] http://blog.csdn.net/zolalad/article/details/11848739
[3] http://blog.csdn.net/deping_chen/article/details/25540571