目录
- 算法效率
- 如何衡量一个算法的好坏
- 算法的复杂度
- 时间复杂度
- 时间复杂度的概念
- 大O的渐进表示法
- 常见时间复杂度计算举例
算法效率
如何衡量一个算法的好坏
如何衡量一个算法的好坏呢?比如对于以下斐波那契数列
long long Fib(int N)
{
if(N < 3)
return 1;
return Fib(N-1) + Fib(N-2);
}
斐波那契数列的递归实现方式非常简洁,但是他的复杂度较高
而什么是复杂度呢?
算法的复杂度
算法在编写成可执行程序后,运行时需要耗费时间资源和空间(内存)资源 。因此衡量一个算法的好坏,一般是从时间和空间两个维度来衡量的,即时间复杂度和空间复杂度。
时间复杂度主要衡量一个算法的运行快慢,而空间复杂度主要衡量一个算法运行所需要的额外空间。
比如我们实现循环时,循环内部又嵌套了许多循环
for(int i=0;i<N;i++)
{
for(int j=0;j<N;j++)
{
for(int j=0;j<N;j++)
{
....
}
}
}
这样的代码时间复杂度就很高
同样的,空间复杂度就是我们创建了很大变量,在创建的过程中他会占用内存的空间,你创建的越多,他的空间消耗的就越多
时间复杂度
时间复杂度的概念
时间复杂度的定义:算法的时间复杂度是一个函数,描述了该算法的运行时间。
实际上我们并不能算出算法运行的时间,除非用机器运行一遍,才能看到运行的时间(但是每台机器配置可能会有差异,所以运行的时间也会有所不同)
因为一个算法所花费的时间和语句的执行次数成正比,所以我们可以根据算法执行语句的次数去推断时间复杂度
即:找到某条基本语句与问题规模N之间的数学表达式,就是算出了该算法的时间复杂度
// 请计算一下Func1中++count语句总共执行了多少次?
void Func1(int N)
{
int count = 0;
for (int i = 0; i < N ; ++ i)
{
for (int j = 0; j < N ; ++ j)
{
++count;
}
}
for (int k = 0; k < 2 * N ; ++ k)
{
++count;
}
int M = 10;
while (M--)
{
++count;
}
printf("%d\n", count);
}
Func1 执行的基本操作次数 :
N = 10 F(N) = 130
N = 100 F(N) = 10210
N = 1000 F(N) = 1002010
其中F(N)表达式为F(N)=N^2+2*N+10
N^2的来源
for (int i = 0; i < N ; ++ i)
{
for (int j = 0; j < N ; ++ j)
{
++count;
}
}
2*N的来源
for (int k = 0; k < 2 * N ; ++ k)
{
++count;
}
10的来源
int M = 10;
while (M--)
{
++count;
}
最后这几个相加就得出了F(N)=N^2+2N+10
实际中我们计算时间复杂度时,我们其实并不一定要计算精确的执行次数,而只需要大概执行次数(当N趋于无穷时,N^2相对于2N+10起主导地位,也就是说 N^2远大于2N+10)
举个例子,你有10000万元,但是某一天你有100元不见了,你会在意这100吗,这里的100元就是2N+10,我们可以将其忽略,只留下10000万元N^2
大O的渐进表示法
大O符号(Big O notation):是用于描述函数渐进行为的数学符号。
推导大O阶方法:
1、用常数1取代运行时间中的所有加法常数。(常数表示已经确定的数,他不会趋于无穷,这样的表示就写成1)
例子:
int count = 0;
int M = 10;
while (M--)
{
count--;
}
F(N)=10,用大O表示就是O(1)
2、在修改后的运行次数函数中,只保留最高阶项。(最高项在函数中影响最大,所以保留最高项)
之前的例子
void Func1(int N)
{
int count = 0;
for (int i = 0; i < N ; ++ i)
{
for (int j = 0; j < N ; ++ j)
{
++count;
}
}
for (int k = 0; k < 2 * N ; ++ k)
{
++count;
}
int M = 10;
while (M--)
{
++count;
}
printf("%d\n", count);
}
3、如果最高阶项存在且不是1,则去除与这个项目相乘的常数(这里可以理解当N趋于无穷大时,你给他乘非0的数,他仍然是无穷大,所以相乘的常数就忽略)
通过上面我们会发现大O的渐进表示法去掉了那些对结果影响不大的项,简洁明了的表示出了执行次数。
另外有些算法的时间复杂度存在最好、平均和最坏情况:
最坏情况:任意输入规模的最大运行次数(上界)
平均情况:任意输入规模的期望运行次数
最好情况:任意输入规模的最小运行次数(下界)
例如:在一个长度为N数组中搜索一个数据x
最好情况:1次找到
最坏情况:N次找到
平均情况:N/2次找到
在实际中一般情况关注的是算法的最坏运行情况,所以数组中搜索数据时间复杂度为O(N)
常见时间复杂度计算举例
例子1:
void Func2(int N)
{
int count = 0;
for (int k = 0; k < 2 * N ; ++ k)
{
++count;
}
int M = 10;
while (M--)
{
++count;
}
printf("%d\n", count);
}
这里2*N起主导地位,所以为O(N)
例子2:
void Func3(int N, int M)
{
int count = 0;
for (int k = 0; k < M; ++k)
{
++count;
}
for (int k = 0; k < N; ++k)
{
++count;
}
printf("%d\n", count);
}
不确定M和N的关系我们可以写成O(max(M,N))
例子3:
void Func4(int N)
{
int count = 0;
for (int k = 0; k < 100; ++k)
{
++count;
}
printf("%d\n", count);
}
因为这里的循环是确定跑100次的,所以为O(1)(O(1)中的1表示对常数次,即使循环1000亿次,因为循环的次数是确定的,也仍然是O(1))
例子4:
const char * strchr ( const char * str, int character );
strchr的实现方式如下
while(*str)
{
if(*str ==character)
return str;
++str;
}
为了保守,我们会取最坏的情况来估计,所以时间复杂度是O(N)
例子5:
void BubbleSort(int* a, int n)
{
assert(a);
for (size_t end = n; end > 0; --end)
{
int exchange = 0;
for (size_t i = 1; i < end; ++i)
{
if (a[i-1] > a[i])
{
Swap(&a[i-1], &a[i]);
exchange = 1;
}
}
if (exchange == 0)
break;
}
}
这里的结果是O(N^2)
这段代码按最坏的情况去算的话就是最外层for循环循环n次,而内层的for循环是按等差数列变化的,所以最后的结果用大O表示就是O(N^2)
注意很多人可能会只看循环是否嵌套就直接去判断时间复杂度,这样是不对的
例子6:
int BinarySearch(int* a, int n, int x)
{
assert(a);
int begin = 0;
int end = n-1;
while (begin <= end)
{
int mid = begin + ((end-begin)>>1);
if (a[mid] < x)
begin = mid+1;
else if (a[mid] > x)
end = mid-1;
else
return mid;
}
return -1;
}
这段代码是通过二分查找,去查找数组中是否有x的值,为了计算时间复杂度我们需要用最坏的情况去计算,既当begin=end的时候可能会找到也可能找不到
过程如下图
为了方便计算我们假设a[mid]一直大于x,这样让end一直变小,因为end每次变化都是将所查找的范围都减去一半,也就是N/2,所以不难看出这是一个等比数列,当begin=end的时候就意味着已经查找结束了
所以这里的公式推导如图
这里的x=log的式子可以简化为x=logN,因为log以2为底的对数经常出现,所以我们常常将以2为底的对数省略,如果log以3或4等非2的数字为底,那么就不省略
例子7:
long long Fac(size_t N)
{
if (0 == N)
return 1;
return Fac(N - 1) * N;
}
这道题的过程如下
很显然这里的时间复杂度是O(N)
Fac(N-0)是第一次
Fac(N-1)是第二次
Fac(N-2)是第三次
Fac(N-(N-2))=Fac(2)则是N-1次
Fac(N-(N-1))=Fac(1)就是第N次
Fac(N-N)=F(0)就是第N+1次
由于N的影响是远大于1的,所以就将1省略掉,最终结果是O(N)
题目变形:
long long Fac(size_t N)
{
if (0 == N)
return 1;
for(i = 0;i < N; i++)
{
.....
}
return Fac(N - 1) * N;
}
这道题是在原有的递归函数中加入了一个循环,也就是每次递归执行都会乘一个N,所以最终就是递归N次,每次都时间复杂度为O(N),将每次都时间复杂度相加,也就是用等差数列的求和方式,最终算出的结果就是O(N^2)
例子8:
long long Fib(size_t N)
{
if (N < 3)
return 1;
return Fib(N - 1) + Fib(N - 2);
}
过程如图:
这里我们可以看到Fib(N)一分为二变成Fib(N-1)和Fib(N-2)
然后Fib(N-1)一分为二变成Fib(N-2)和Fib(N-3)…
最终到Fib(3)时会一分为二变成Fib(1)和Fib(2),也就是1和1
之后就不继续分了
当然并不是所有的数都会一分为二,比如Fib(2)和Fib(1),但是这对整体的影响并不大
所有我们可以认为这个过程类似等比数列,通过等比数列的求和方式
计算过程如下
所以时间复杂度为O(2^N)