白刃玄衣及 发表于 2020-12-10 06:55:55

Fuzzbook系列:软件的安全性测试

本章我们先介绍软件测试的基本概念。为什么需要测试软件?一个测试软件如何运转的?如何判断测试是否成功?如何判断是否测试足够?在本章中,我们将回顾这些重要的概念,并同时熟悉Python的基本用法。
简单的测试让我们从一个简单的例子开始,您希望实现平方根函数 。(让我们暂时假设环境没用这一个小功能)在研究了Newton-Raphson方法之后,提出了以下Python代码,通过my_sqrt函数计算平方根。"""Computes the square root of x, using the Newton-Raphson method"""whileapprox != guess:approx = guessguess = (approx + x / approx) /2returnapprox现在,让我们看看此功能函数是否真正按照规范执行。
了解python如果您不熟悉Python,则可能首先必须了解以上代码的功能。我们非常推荐Python教程,以了解Python的工作原理。对于您来说,理解以上代码最重要的是以下三个:
whilePython是动态类型的,这意味着变量的类型像xguess在运行时才被确定。大多数的Python的句法特征是由其他语言启发的,如控制结构(,if),等号(=),或比较(==,就这样,你已经可以理解上面的代码做什么:用开始guess的x / 2,它计算好近似approx直到值approx不再改变。这是最终返回的值。运行功能函数为了确定是否my_sqrt正常工作,我们可以使用一些值对其进行测试。例如x = 4,对于,它将产生正确的值:my_sqrt(4 )2.0上面的上部my_sqrt(4)是Python解释器的输入,默认情况下对它进行运行。下部(2.0)是其输出。我们可以看到my_sqrt(4)这同样适用于:my_sqrt(2 )1.414213562373095调试功能函数为了解操作方式,一种简单的策略是print在关键位置插入语句。例如,您可以记录的值defmy_sqrt_with_log(x):"""Computes the square root of x, using the Newton–Raphson method"""print("approx =", approx)# <-- Newapprox = guessreturnapproxmy_sqrt_with_log(9)approx= Noneapprox =4.5approx =3.25approx =3.0096153846153846approx =3.000015360039322approx =3.00000000003932143.0这样我们就可以观察到每次运行时的内部细节,以排查问题。
检查功能函数让我们回到测试。我们可以阅读并运行代码,但是上面的值my_sqrt(2)实际上正确吗?我们可以通过利用 。让我们来看看:my_sqrt(2) * my_sqrt (2)1.9999999999999996看起来确实有一些四舍五入上的错误出现了
现在,我们已经测试了上面的程序:我们已经在给定的输入上执行了该程序,并检查了其结果是否正确。在程序投入生产之前,这种测试是质量保证的最低限度。
自动化测试执行到目前为止,我们已经手动测试了上述程序,即,手动运行它并手动检查其结果。这是一种非常灵活的测试方法,但是从长远来看,它效率很低:
手动测试,您只能检查非常有限的执行及其结果
对程序进行任何更改后,您必须重复测试过程
这就是为什么自动化测试非常有用的原因。一种简单的方法是让计算机首先进行计算,然后让计算机检查结果。
例如,这段代码自动测试:
result = my_sqrt(4)expected_result = 2.0if result == expected_result:else:Testpassed这个测试的好处是我们可以一次又一次地运行它,从而确保至少正确计算了4的平方根。但是,仍然存在许多问题:
单个测试需要五行代码
我们不在乎舍入错误
我们仅检查单个输入(和单个结果)
让我们一一解决这些问题。首先,让我们使测试更加紧凑。几乎所有的编程语言都可以自动检查条件是否成立,如果条件不成立则停止执行。这称为断言,对于测试非常有用。
在Python中,我们使用assert语句,如果条件为true,则什么也不会发生。(如果一切正常,则不应该出问题。)但是,如果条件评估为false,assert则会引发异常,表明测试刚刚失败。
在我们的示例中,我们可以assert轻松地检查是否my_sqrt产生了上述预期结果:
assertmy_sqrt(4)==2当您执行此行代码时,什么都不会发生:我们证明(或断言)我们确认了
但是请记住,浮点计算可能会导致舍入误差。因此,我们不能简单地比较两个浮点数是否相等。因此,我们将确保它们之间的绝对差保持在某个阈值以下,通常表示为或epsilon。这是我们可以做到的:EPSILON=1e-8assertabs(my_sqrt(4) -2) <EPSILONP.S. abs求绝对值
我们还可以为此目的引入一个特殊功能,现在对具体值进行更多测试:
defassertEquals(x, y, epsilon=1e-8):assertabs(x - y) < epsilonassertEquals(my_sqrt(4), 2)assertEquals(my_sqrt(9), 3)assertEquals(my_sqrt(100), 10)似乎可以工作,对吧?如果我们知道计算的预期结果,则可以一次又一次地使用此类断言,以确保我们的程序正确运行。
进一步生成测试还记得 普遍恒成立吗?我们还可以使用一些值来明确地测试它:
assertEquals(my_sqrt(2) *my_sqrt(2), 2)assertEquals(my_sqrt(3) *my_sqrt(3), 3)assertEquals(my_sqrt(42.11) *my_sqrt(42.11), 42.11)似乎仍然有效,对不对?最重要的是通过 我们可以测试成千上万的值:
forninrange(1,1000):assertEquals(my_sqrt(n) * my_sqrt(n), n)my_sqrt用100个值测试需要多少时间?让我们来看看。我们使用自己的Timer模块来测量经过时间。为了能够使用Timer,我们首先导入我们自己的实用程序模块。importbookutilsfromTimerimportTimer0.02291180900010658710,000个值大约需要百分之一秒,因此单次执行my_sqrt需要1/1000000秒或大约1微秒。
让我们重复随机选择10,000个值。Pythonrandom.random函数返回0.0到1.0之间的随机值:
importrandomx =1+ random.random *1000000assertEquals(my_sqrt(x) * my_sqrt(x), x)print(t.elapsed_time)0.02770466199990551一秒钟之内,我们现在测试了10,000个随机值,并且每次实际上都正确计算了平方根。只要对进行任何更改my_sqrt,我们就可以重复进行此测试,每次都可以增强我们my_sqrt没有隐患的信心。但是请注意,尽管随机函数在产生随机值方面没有偏见,但不太可能生成会极大改变程序行为的特殊值。我们将在下面稍后讨论。在运行时验证除了为编写和运行测试外my_sqrt,我们还可以将检查权限集成到实现中。这样,将自动检查每次调用现在,无论何时我们用…my_sqrt_checked(2.0)1.414213562373095我们已经知道结果是正确的,并且对于每次新的成功计算都是如此。
如上所述,自动运行时检查假设有两件事:
必须能够制定这种运行时检查。始终有可能要检查具体的值,但是以抽象的方式制定所需的属性可能非常复杂。在实践中,您需要确定哪些属性最关键,并为它们设计适当的检查。另外,运行时检查可能不仅取决于本地属性,还取决于程序状态的多个属性,所有这些属性都必须确定。
必须能够负担得起此类运行时检查。在的情况下my_sqrt,运行花费不是很大;但是,即使经过简单的操作,如果我们不得不检查大型数据结构,那么检查的费用很快就会变得昂贵。在实践中,通常会在生产过程中禁用运行时检查,以确保可靠性为代价。另一方面,一套全面的运行时检查是发现错误并快速调试它们的好方法。您需要确定在生产期间仍需要多少种这样的功能。系统输入与函数输入my_sqrt提供给其他程序员,然后他们可以将其嵌入他们的代码中。在某些时候,它必须处理来自第三方的输入,即不受程序员的控制。print('The root of', x,'is', my_sqrt(x))我们假设这是一个接受命令行输入的程序,如下所示:$sqrt_program 42我们可以对通过一些系统输入进行调用:sqrt_program("4")The rootof4is2.0这有什么问题?好吧,问题在于我们不检查外部输入的有效性。例如sqrt_program(-1)尝试调用。怎么办?实际上,如果您my_sqrt使用负数调用,它将进入无限循环。由于技术原因,本章不能有无限循环(除非我们希望代码永远运行)。因此,我们使用一种特殊的with ExpectTimeOut(1)构造在一秒钟后中断执行。fromExpectErrorimportExpectTimeoutwithExpectTimeout(1):sqrt_program("-1")Traceback (most recentcalllast):File"<ipython-input-25-add01711282b>", line2,in<module>sqrt_program("-1")File"<ipython-input-22-53e8ec8bb3ca>", line3,insqrt_programprint('The root of', x,'is', my_sqrt(x))File"<ipython-input-1-47185ad159a1>", line7,inmy_sqrtguess = (approx + x / approx) /2File, line7,in2File"ExpectError.ipynb", line59,incheck_timeTimeoutError (expected)上面的消息是错误消息,表明出了点问题。它列出了错误发生时处于活动状态的函数和行的调用堆栈。最底部的行是最后执行的行;上面的几行代表函数调用–在我们的例子中,最大为我们不希望我们的代码以异常终止。因此,在接受外部输入时,我们必须确保已对其进行正确验证。我们可以写例如:
defsqrt_program(arg):ifx <0:然后我们可以确保my_sqrt仅根据其规范进行调用。sqrt_program(“ -1” )IllegalInput可是等等!如果sqrt_program不使用数字调用怎么办?然后,我们将尝试转换非数字字符串,这也会导致运行时错误:fromExpectErrorimportExpectErrorwithExpectError:sqrt_program("xyzzy")Traceback (most recentcalllast):File"<ipython-input-29-8c5aae65a938>", line2,in<module>sqrt_program("xyzzy")File"<ipython-input-26-ea86281b33cf>", line2,insqrt_programx =int(arg)ValueError: invalid literalforintwithbase10:'xyzzy'(expected)else:sqrt_program("4")The rootof4.0is2.0sqrt_program("-1")Illegal Numbersqrt_program("xyzzy")Illegal Input现在我们已经看到,在系统级别,程序必须能够优雅地处理任何类型的输入,而永远不会进入不受控制的状态。当然,这对于程序员来说是负担,他们必须努力使自己的程序在所有情况下都健壮起来。但是,这种负担在生成软件测试时会成为一个好处:如果程序可以处理任何类型的输入(可能带有定义良好的错误消息),我们也可以将其发送给任何类型的输入。但是,当使用生成的值调用函数时,我们必须知道其精确的先决条件。
测试的极限尽管在测试方面付出了最大的努力,但请记住,您始终在检查功能是否有一组有限的输入。因此,可能总是存在未经测试的输入,其功能可能仍会失败。
在的情况下Traceback (most recentcalllast):File"<ipython-input-34-24ede1f53910>", line2,in<module>root = my_sqrt(0)File"<ipython-input-1-47185ad159a1>", line7,inmy_sqrtguess = (approx + x / approx) /2ZeroDivisionError:floatdivisionbyzero (expected)到目前为止,在我们的测试中,我们还没有检查这种情况,这意味着要建立在 会出人意料地失败。但是,即使我们将随机生成器设置为产生0–1000000而不是1–1000000的输入,它偶然产生零值的机会仍然是百万分之一。如果对于几个单独的值,函数的行为完全不同,则纯随机测试几乎没有机会产生这些值。
当然,我们可以相应地修复功能,记录可接受的值x并处理特殊情况ifx ==0:return0returnmy_sqrt(x)这样,我们现在可以正确地计算
assertmy_sqrt_fixed(0)==0withExpectError:root = my_sqrt_fixed(-1)仍然,我们必须记住,尽管广泛的测试可以使我们对程序的正确性有很高的信心,但它不能保证所有将来的执行都是正确的。甚至检查每个结果的运行时验证也只能保证,如果产生一个结果,那么结果将是正确的。但不能保证将来的执行不会导致检查失败。在撰写本文时,我相信这my_sqrt_fixed(x)是,但我不能100%确定。经验教训测试的目的是执行一个程序,以便我们发现错误。
测试执行,测试生成和检查测试结果可以自动化。
测试不完整; 它不提供100%保证代码没有错误的保证。
下一步构建你自己的模糊测试——用随机输入测试程序。

塞翁364 发表于 2020-12-10 08:26:29

前排支持下了哦~

永远爱你冰塘 发表于 2020-12-11 06:55:04

楼主不许动,我是来抢沙发的,沙发没有,板凳也行!

哈哈SE7 发表于 2020-12-14 01:14:39

我是一楼,楼下的排队跟上。

602447933 发表于 2020-12-14 03:22:36

不错,顶一个!
页: [1]
查看完整版本: Fuzzbook系列:软件的安全性测试