blogs

37 错误、调试和测试_错误处理

在程序运行过程中,总会遇到各种各样的错误。

有的错误是程序编写有问题造成的,比如本来应该输出整数结果输出了字符串,这种错误我们通常称之为bug,bug是必须修复的。

有的错误是用户输入造成的,比如让用户输入email地址,结果得到一个空字符串,这种错误可以通过检查用户输入来做相应的处理。

还有一类错误是完全无法在程序运行过程中预测的,比如写入文件的时候,磁盘满了,写不进去了,或者从网络抓取数据,网络突然断掉了。这类错误也称为异常,在程序中通常是必须处理的,否则,程序会因为各种问题终止并退出。

Python内置了一套异常处理机制,来帮助我们进行错误处理。

此外,我们也需要跟踪程序的执行,查看变量的值是否正确,这个过程称为调试。Python的pdb可以让我们以单步方式执行代码。

最后,编写测试也很重要。有了良好的测试,就可以在程序修改后反复运行,确保程序输出符合我们编写的测试。

错误处理

在程序运行的过程中,如果发生了错误,可以事先约定返回一个错误代码,这样,就可以知道是否有错,以及出错的原因。在操作系统提供的调用中,返回错误码非常常见。比如打开文件的函数open(),成功时返回文件描述符(就是一个整数),出错时返回-1。

用错误码来表示是否出错十分不便,因为函数本身应该返回的正常结果和错误码混在一起,造成调用者必须用大量的代码来判断是否出错:

def foo():
    r = some_function()
    if r==(-1):
        return (-1)
    return r

def bar():
    r = foo()
    if r==(-1):
        print('Error')
    else:
        pass

一旦出错,还要一级一级上报,直到某个函数可以处理该错误(比如,给用户输出一个错误信息)。

所以高级语言通常都内置了一套try…except…finally…的错误处理机制,Python也不例外。

try

让我们用一个例子来看看try的机制:

try:
    print('Try...')
    r = 10 / 0
    print('Result:',r)
except ZeroDivisionError as e:
    print('Except', e)
finally:
    print('Finally...')
print('End')
Try...
Except division by zero
Finally...
End

从输出可以看到,当错误发生时,后续语句print('result:', r)不会被执行,except由于捕获到ZeroDivisionError,因此被执行。最后,finally语句被执行。然后,程序继续按照流程往下走。

如果把除数 0 改成 2 ,则执行结果如下:

try:
    print('Try...')
    r = 10/2
    print('Result:', r)
except ZeroDivisionError as e:
    print('Except', e)
finally:
    print('Finally...')
print('End')
Try...
Result: 5.0
Finally...
End

由于没有错误发生,所以except语句块不会被执行,但是finally如果有,则一定会被执行(可以没有finally语句)。

你还可以猜测,错误应该有很多种类,如果发生了不同类型的错误,应该由不同的except语句块处理。没错,可以有多个except来捕获不同类型的错误:

try:
    print('try...')
    r = 10 / int('a')
    print('result:', r)
except ValueError as e:
    print('ValueError:', e)
except ZeroDivisionError as e:
    print('ZeroDivisionError:', e)
finally:
    print('finally...')
print('END')
try...
ValueError: invalid literal for int() with base 10: 'a'
finally...
END

int()函数可能会抛出ValueError,所以我们用一个except捕获ValueError,用另一个except捕获ZeroDivisionError

此外,如果没有错误发生,可以在except语句块后面加一个else,当没有错误发生时,会自动执行else语句:

try:
    print('try...')
    r = 10 / int('2')
    print('result:', r)
except ValueError as e:
    print('ValueError:', e)
except ZeroDivisionError as e:
    print('ZeroDivisionError:', e)
else:
    print('no error!')
finally:
    print('finally...')
print('END')
try...
result: 5.0
no error!
finally...
END

Python的错误其实也是class,所有的错误类型都继承自BaseException,所以在使用except时需要注意的是,它不但捕获该类型的错误,还把其子类也“一网打尽”。比如:

try:
    foo()
except ValueError as e:
    print('ValueError')
except UnicodeError as e:
    print('UnicodeError')
---------------------------------------------------------------------------

NameError                                 Traceback (most recent call last)

<ipython-input-14-382f35a67285> in <module>
      1 try:
----> 2     foo()
      3 except ValueError as e:
      4     print('ValueError')
      5 except UnicodeError as e:


<ipython-input-9-1c332d07169e> in foo()
      1 def foo():
----> 2     r = some_function()
      3     if r==(-1):
      4         return (-1)
      5     return r


NameError: name 'some_function' is not defined

第二个except永远也捕获不到UnicodeError,因为UnicodeError是ValueError的子类,如果有,也被第一个except给捕获了。

Python所有的错误都是从BaseException类派生的,常见的错误类型和继承关系看这里:

https://docs.python.org/3/library/exceptions.html#exception-hierarchy

使用try...except捕获错误还有一个巨大的好处,就是可以跨越多层调用,比如函数main()调用foo()foo()调用bar(),结果bar()出错了,这时,只要main()捕获到了,就可以处理:

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    try:
        bar('0')
    except Exception as e:
        print('Error:', e)
    finally:
        print('finally...')

main()
Error: division by zero
finally...

也就是说,不需要在每个可能出错的地方去捕获错误,只要在合适的层次去捕获错误就可以了。这样一来,就大大减少了写try...except...finally的麻烦。

调用栈

如果错误没有被捕获,它就会一直往上抛,最后被Python解释器捕获,打印一个错误信息,然后程序退出。来看看err.py:

# err.py:
def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    bar('0')

main()
---------------------------------------------------------------------------

ZeroDivisionError                         Traceback (most recent call last)

<ipython-input-18-43ad0f8735f4> in <module>
      9     bar('0')
     10 
---> 11 main()


<ipython-input-18-43ad0f8735f4> in main()
      7 
      8 def main():
----> 9     bar('0')
     10 
     11 main()


<ipython-input-18-43ad0f8735f4> in bar(s)
      4 
      5 def bar(s):
----> 6     return foo(s) * 2
      7 
      8 def main():


<ipython-input-18-43ad0f8735f4> in foo(s)
      1 # err.py:
      2 def foo(s):
----> 3     return 10 / int(s)
      4 
      5 def bar(s):


ZeroDivisionError: division by zero

根据错误类型ZeroDivisionError,我们判断,int(s)本身并没有出错,但是int(s)返回 0,在计算10 / 0时出错,至此,找到错误源头。

出错的时候,一定要分析错误的调用栈信息,才能定位错误的位置。

记录错误

如果不捕获错误,自然可以让Python解释器来打印出错误堆栈,但程序也被结束了。既然我们能捕获错误,就可以把错误堆栈打印出来,然后分析错误原因,同时,让程序继续执行下去。

Python内置的 logging 模块可以非常容易地记录错误信息:

# err_logging.py

import logging

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    try:
        bar('0')
    except Exception as e:
        logging.exception(e)

main()
print('END')
ERROR:root:division by zero
Traceback (most recent call last):
  File "<ipython-input-19-50dd10eca926>", line 13, in main
    bar('0')
  File "<ipython-input-19-50dd10eca926>", line 9, in bar
    return foo(s) * 2
  File "<ipython-input-19-50dd10eca926>", line 6, in foo
    return 10 / int(s)
ZeroDivisionError: division by zero


END

同样是出错,但程序打印完错误信息后会继续执行,并正常退出:

通过配置,logging 可以把错误记录到日志文件里,方便事后排查。

抛出错误

因为错误是class,捕获一个错误就是捕获到该class的一个实例。因此,错误并不是凭空产生的,而是有意创建并抛出的。Python的内置函数会抛出很多类型的错误,我们自己编写的函数也可以抛出错误。

如果要抛出错误,首先根据需要,可以定义一个错误的class,选择好继承关系,然后,用raise语句抛出一个错误的实例:

# err_raise.py
class FooError(ValueError):
    pass

def foo(s):
    n = int(s)
#     try:
    if n==0:
        raise FooError('invalid value: %s' % s)
    return 10 / n
#     except Exception as e:
#         logging.exception(e)

# 执行,可以最后跟踪到我们自己定义的错误:
foo('0')
---------------------------------------------------------------------------

FooError                                  Traceback (most recent call last)

<ipython-input-24-470936296e98> in <module>
     13 
     14 # 执行,可以最后跟踪到我们自己定义的错误:
---> 15 foo('0')


<ipython-input-24-470936296e98> in foo(s)
      7 #     try:
      8     if n==0:
----> 9         raise FooError('invalid value: %s' % s)
     10     return 10 / n
     11 #     except Exception as e:


FooError: invalid value: 0

只有在必要的时候才定义我们自己的错误类型。如果可以选择Python已有的内置的错误类型(比如ValueError,TypeError),尽量使用Python内置的错误类型。

最后,我们来看另一种错误处理的方式:

# err_reraise.py

def foo(s):
    n = int(s)
    if n==0:
        raise ValueError('invalid value: %s' % s)
    return 10 / n

def bar():
    try:
        foo('0')
    except ValueError as e:
        print('ValueError!')
        raise

bar()
ValueError!



---------------------------------------------------------------------------

ValueError                                Traceback (most recent call last)

<ipython-input-25-739e80ef9b01> in <module>
     14         raise
     15 
---> 16 bar()


<ipython-input-25-739e80ef9b01> in bar()
      9 def bar():
     10     try:
---> 11         foo('0')
     12     except ValueError as e:
     13         print('ValueError!')


<ipython-input-25-739e80ef9b01> in foo(s)
      4     n = int(s)
      5     if n==0:
----> 6         raise ValueError('invalid value: %s' % s)
      7     return 10 / n
      8 


ValueError: invalid value: 0

在bar()函数中,我们明明已经捕获了错误,但是,打印一个ValueError!后,又把错误通过raise语句抛出去了,这不有病么?

其实这种错误处理方式不但没病,而且相当常见。捕获错误目的只是记录一下,便于后续追踪。但是,由于当前函数不知道应该怎么处理该错误,所以,最恰当的方式是继续往上抛,让顶层调用者去处理。好比一个员工处理不了一个问题时,就把问题抛给他的老板,如果他的老板也处理不了,就一直往上抛,最终会抛给CEO去处理。

raise语句如果不带参数,就会把当前错误原样抛出。此外,在except中raise一个Error,还可以把一种类型的错误转化成另一种类型:

try:
    10 / 0
except ZeroDivisionError:
    raise ValueError('input error!')
---------------------------------------------------------------------------

ZeroDivisionError                         Traceback (most recent call last)

<ipython-input-26-80c7eb55a8db> in <module>
      1 try:
----> 2     10 / 0
      3 except ZeroDivisionError:


ZeroDivisionError: division by zero


During handling of the above exception, another exception occurred:


ValueError                                Traceback (most recent call last)

<ipython-input-26-80c7eb55a8db> in <module>
      2     10 / 0
      3 except ZeroDivisionError:
----> 4     raise ValueError('input error!')


ValueError: input error!

只要是合理的转换逻辑就可以,但是,决不应该把一个IOError转换成毫不相干的ValueError。

练习

运行下面的代码,根据异常信息进行分析,定位出错误源头,并修复:

# -*- coding: utf-8 -*-

from functools import reduce

def str2num(s):
    return int(s)

def calc(exp):
    ss = exp.split('+')
    ns = map(str2num, ss)
    return reduce(lambda acc, x: acc + x, ns)

def main():
    r = calc('100 + 200 + 345')
    print('100 + 200 + 345 =', r)
    r = calc('99 + 88 + 7')
    print('99 + 88 + 7 =', r)

main()

100 + 200 + 345 = 645
99 + 88 + 7 = 194

小结

Python内置的try...except...finally用来处理错误十分方便。出错时,会分析错误信息并定位错误发生的代码位置才是最关键的。

程序也可以主动抛出错误,让调用者来处理相应的错误。但是,应该在文档中写清楚可能会抛出哪些错误,以及错误产生的原因。