下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

你不知道的 Python 技巧

作者:豌豆花下猫     来源: Python猫点击数:588发布时间: 2020-02-08 15:12:38

标签: 编程语言视频Python视频Python视频教程

大神带你学编程,欢迎选课

你可能不知道的 Python 技巧。编程语言原本是被设计成专门使用在计算机上的,但它们也可以用来定义算法或者数据结构。正是因为如此,程序员才会试图使程序代码更容易阅读。

新年之初就发生了天大的事件,相信不须我指出名了,但它们打乱了太多人的生活安排,甚至是生命轨迹,几乎没有人不受到影响。面对那些事,我个人感觉很乏力,不安与疲惫。可是放空了几天后,我们还是得积极面对,将生活拨回正轨,继续那些未竟之事。人生苦短,愿诸君皆可平安喜乐!

有许许多多文章写了 Python 中的许多很酷的特性,例如变量解包、偏函数、枚举可迭代对象,但是关于 Python 还有很多要讨论的话题,因此在本文中,我将尝试展示一些我知道的和在使用的,但很少在其它文章提到过的特性。那就开始吧。

你不知道的 Python 技巧_编程语言视频_Python视频_Python视频教程_课课家

1、对输入的字符串“消毒”

对用户输入的内容“消毒”,这问题几乎适用于你编写的所有程序。通常将字符转换为小写或大写就足够了,有时你还可以使用正则表达式来完成工作,但是对于复杂的情况,还有更好的方法:

  1. user_input = "This\\nstring has\\tsome whitespaces...\\r\\n" 
  2.  
  3. character_map = { 
  4.  ord('\\n') : ' '
  5.  ord('\\t') : ' '
  6.  ord('\\r') : None 
  7. user_input.translate(character_map)  # This string has some whitespaces... " 

在此示例中,你可以看到空格字符“ \\n”和“ \\t”被单个空格替换了,而“ \\r”则被完全删除。这是一个简单的示例,但是我们可以更进一步,使用unicodedata 库及其 combining() 函数,来生成更大的重映射表(remapping table),并用它来删除字符串中所有的重音。

2、对迭代器切片

如果你尝试直接对迭代器切片,则会得到 TypeError ,提示说该对象不可取下标(not subscriptable),但是有一个简单的解决方案:

  1. import itertools 
  2.  
  3. s = itertools.islice(range(50), 10, 20)  # <itertools.islice object at 0x7f70fab88138> 
  4. for val in s: 
  5.  ... 

使用itertools.islice,我们可以创建一个 islice 对象,该对象是一个迭代器,可以生成我们所需的内容。但是这有个重要的提醒,即它会消耗掉切片前以及切片对象 islice 中的所有元素。

(译注:更多关于迭代器切片的内容,可阅读Python进阶:迭代器与迭代器切片)

3、跳过可迭代对象的开始

有时候你必须处理某些文件,它们以可变数量的不需要的行(例如注释)为开头。itertools 再次提供了简单的解决方案:

  1. string_from_file = ""
  2. // Author: ... 
  3. // License: ... 
  4. // 
  5. // Date: ... 
  6.  
  7. Actual content... 
  8. ""
  9.  
  10. import itertools 
  11.  
  12. for line in itertools.dropwhile(lambda line:line.startswith("//"), string_from_file.split("\\n")): 
  13.     print(line) 

这段代码仅会打印在初始的注释部分之后的内容。如果我们只想丢弃迭代器的开头部分(在此例中是注释),并且不知道有多少内容,那么此方法很有用。

4、仅支持关键字参数(kwargs)的函数

当需要函数提供(强制)更清晰的参数时,创建仅支持关键字参数的函数,可能会挺有用:

  1. def test(*, a, b): 
  2.  pass 
  3.  
  4. test("value for a""value for b")  # TypeError: test() takes 0 positional arguments... 
  5. test(a="value", b="value 2")  # Works... 

如你所见,可以在关键字参数之前,放置单个 * 参数来轻松解决此问题。如果我们将位置参数放在 * 参数之前,则显然也可以有位置参数。

5、创建支持 with 语句的对象

我们都知道如何使用 with 语句,例如打开文件或者是获取锁,但是我们可以实现自己的么?是的,我们可以使用__enter__ 和__exit__ 方法来实现上下文管理器协议:

  1. class Connection
  2.  def __init__(self): 
  3.   ... 
  4.  
  5.  def __enter__(self): 
  6.   # Initialize connection... 
  7.  
  8.  def __exit__(self, type, value, traceback): 
  9.   # Close connection... 
  10.  
  11. with Connection() as c: 
  12.  # __enter__() executes 
  13.  ... 
  14.  # conn.__exit__() executes 

这是在 Python 中实现上下文管理的最常见方法,但是还有一种更简单的方法:

  1. from contextlib import contextmanager 
  2.  
  3. @contextmanager 
  4. def tag(name): 
  5.  print(f"<{name}>"
  6.  yield 
  7.  print(f"</{name}>"
  8.  
  9. with tag("h1"): 
  10.  print("This is Title."

上面的代码段使用 contextmanager 装饰器实现了内容管理协议。tag 函数的第一部分(yield 之前)会在进入 with 语句时执行,然后执行 with 的代码块,最后会执行 tag 函数的剩余部分。

6、用__slots__节省内存

如果你曾经编写过一个程序,该程序创建了某个类的大量实例,那么你可能已经注意到你的程序突然就需要大量内存。那是因为 Python 使用字典来表示类实例的属性,这能使其速度变快,但内存不是很高效。通常这不是个问题,但是,如果你的程序遇到了问题,你可以尝试使用__slots__ :

  1. class Person: 
  2.     __slots__ = ["first_name""last_name""phone"
  3.     def __init__(self, first_name, last_name, phone): 
  4.     self.first_name = first_name 
  5.     self.last_name = last_name 
  6.     self.phone = phone 

这里发生的是,当我们定义__slots__属性时,Python 使用固定大小的小型数组,而不是字典,这大大减少了每个实例所需的内存。使用__slots__还有一些缺点——我们无法声明任何新的属性,并且只能使用在__slots__中的属性。同样,带有__slots__的类不能使用多重继承。

7、限制CPU和内存使用量

如果不是想优化程序内存或 CPU 使用率,而是想直接将其限制为某个固定数字,那么 Python 也有一个库能做到:

  1. import signal 
  2. import resource 
  3. import os 
  4.  
  5. To Limit CPU time 
  6. def time_exceeded(signo, frame): 
  7.  print("CPU exceeded..."
  8.  raise SystemExit(1) 
  9.  
  10. def set_max_runtime(seconds): 
  11.  # Install the signal handler and set a resource limit 
  12.  soft, hard = resource.getrlimit(resource.RLIMIT_CPU) 
  13.  resource.setrlimit(resource.RLIMIT_CPU, (seconds, hard)) 
  14.  signal.signal(signal.SIGXCPU, time_exceeded) 
  15.  
  16. To limit memory usage 
  17. def set_max_memory(size): 
  18.  soft, hard = resource.getrlimit(resource.RLIMIT_AS) 
  19.  resource.setrlimit(resource.RLIMIT_AS, (size, hard)) 

在这里,我们可以看到两个选项,可设置最大 CPU 运行时间和内存使用上限。对于 CPU 限制,我们首先获取该特定资源(RLIMIT_CPU)的软限制和硬限制,然后通过参数指定的秒数和先前获取的硬限制来设置它。最后,如果超过 CPU 时间,我们将注册令系统退出的信号。至于内存,我们再次获取软限制和硬限制,并使用带有 size 参数的setrlimit 和获取的硬限制对其进行设置。

8、控制可以import的内容

某些语言具有非常明显的用于导出成员(变量、方法、接口)的机制,例如Golang,它仅导出以大写字母开头的成员。另一方面,在 Python 中,所有内容都会被导出,除非我们使用__all__ :

  1. def foo(): 
  2.  pass 
  3.  
  4. def bar(): 
  5.  pass 
  6.  
  7. __all__ = ["bar"

使用上面的代码段,我们可以限制from some_module import * 在使用时可以导入的内容。对于以上示例,通配导入时只会导入 bar。此外,我们可以将__all__ 设为空,令其无法导出任何东西,并且在使用通配符方式从此模块中导入时,将引发 AttributeError。

9、比较运算符的简便方法

为一个类实现所有比较运算符可能会很烦人,因为有很多的比较运算符——__lt__、__le__、__gt__ 或__ge__。但是,如果有更简单的方法呢?functools.total_ordering 可救场:

  1. from functools import total_ordering 
  2.  
  3. @total_ordering 
  4. class Number: 
  5.  def __init__(self, value): 
  6.   self.value = value 
  7.  
  8.  def __lt__(self, other): 
  9.   return self.value < other.value 
  10.  
  11.  def __eq__(self, other): 
  12.   return self.value == other.value 
  13.  
  14. print(Number(20) > Number(3)) 
  15. print(Number(1) < Number(5)) 
  16. print(Number(15) >= Number(15)) 
  17. print(Number(10) <= Number(2)) 

这到底如何起作用的?total_ordering 装饰器用于简化为我们的类实例实现排序的过程。只需要定义__lt__ 和__eq__,这是最低的要求,装饰器将映射剩余的操作——它为我们填补了空白。

( 译注: 原作者的文章分为两篇,为了方便读者们阅读,我特将它们整合在一起,以下便是第二篇的内容。)

10、使用slice函数命名切片

使用大量硬编码的索引值会很快搞乱维护性和可读性。一种做法是对所有索引值使用常量,但是我们可以做得更好:

  1. # ID   First Name   Last Name 
  2. line_record = "2        John         Smith" 
  3.  
  4. ID = slice(0, 8) 
  5. FIRST_NAME = slice(9, 21) 
  6. LAST_NAME = slice(22, 27) 
  7.  
  8. name = f"{line_record[FIRST_NAME].strip()} {line_record[LAST_NAME].strip()}" 
  9. name == "John Smith" 

在此例中,我们可以避免神秘的索引,方法是先使用 slice 函数命名它们,然后再使用它们。你还可以通过 .start、.stop和 .stop 属性,来了解 slice 对象的更多信息。

11、在运行时提示用户输入密码

许多命令行工具或脚本需要用户名和密码才能操作。因此,如果你碰巧写了这样的程序,你可能会发现 getpass 模块很有用:

  1. import getpass 
  2.  
  3. user = getpass.getuser() 
  4. password = getpass.getpass() 
  5. # Do Stuff... 

这个非常简单的包通过提取当前用户的登录名,可以提示用户输入密码。但是须注意,并非每个系统都支持隐藏密码。Python 会尝试警告你,因此切记在命令行中阅读警告信息。

12、查找单词/字符串的相近匹配

现在,关于 Python 标准库中一些晦涩难懂的特性。如果你发现自己需要使用Levenshtein distance 【2】之类的东西,来查找某些输入字符串的相似单词,那么 Python 的 difflib 会为你提供支持。

  1. import difflib 
  2. difflib.get_close_matches('appel', ['ape''apple''peach''puppy'], n=2) 
  3. returns ['apple''ape'

difflib.get_close_matches 会查找最佳的“足够好”的匹配。在这里,第一个参数与第二个参数匹配。我们还可以提供可选参数 n ,该参数指定要返回的最多匹配结果。另一个可选的关键字参数 cutoff (默认值为 0.6),可以设置字符串匹配得分的阈值。

13、使用IP地址

如果你必须使用 Python 做网络开发,你可能会发现 ipaddress 模块非常有用。一种场景是从 CIDR(无类别域间路由 Classless Inter-Domain Routing)生成一系列 IP 地址:

  1. import ipaddress 
  2. net = ipaddress.ip_network('74.125.227.0/29')  # Works for IPv6 too 
  3. # IPv4Network('74.125.227.0/29'
  4.  
  5. for addr in net: 
  6.     print(addr) 
  7.  
  8. # 74.125.227.0 
  9. # 74.125.227.1 
  10. # 74.125.227.2 
  11. # 74.125.227.3 
  12. # ... 

另一个不错的功能是检查 IP 地址的网络成员资格:

  1. ip = ipaddress.ip_address("74.125.227.3"
  2.  
  3. ip in net 
  4. True 
  5.  
  6. ip = ipaddress.ip_address("74.125.227.12"
  7. ip in net 
  8. False 

还有很多有趣的功能,在这里【3】可以找到,我不再赘述。但是请注意,ipaddress 模块和其它与网络相关的模块之间只有有限的互通性。例如,你不能将 IPv4Network 实例当成地址字符串——需要先使用 str 转换它们。

14、在Shell中调试程序崩溃

如果你是一个拒绝使用 IDE,并在 Vim 或 Emacs 中进行编码的人,那么你可能会遇到这样的情况:拥有在 IDE 中那样的调试器会很有用。

你知道吗?你有一个——只要用python3.8 -i 运行你的程序——一旦你的程序终止了, -i 会启动交互式 shell,在那你可以查看所有的变量和调用函数。整洁,但是使用实际的调试器(pdb )会如何呢?让我们用以下程序(script.py ):

  1. def func(): 
  2.     return 0 / 0 
  3.  
  4. func() 

并使用python3.8 -i script.py运行脚本:

  1. # Script crashes... 
  2. Traceback (most recent call last): 
  3.   File "script.py", line 4, in <module> 
  4.     func() 
  5.   File "script.py", line 2, in func 
  6.     return 0 / 0 
  7. ZeroDivisionError: division by zero 
  8. >>> import pdb 
  9. >>> pdb.pm()  # Post-mortem debugger 
  10. > script.py(2)func() 
  11. -> return 0 / 0 
  12. (Pdb) 

我们看到了崩溃的地方,现在让我们设置一个断点:

  1. def func(): 
  2.     breakpoint()  # import pdb; pdb.set_trace() 
  3.     return 0 / 0 
  4.  
  5. func() 

现在再次运行它:

  1. script.py(3)func() 
  2. -> return 0 / 0 
  3. (Pdb)  # we start here 
  4. (Pdb) step 
  5. ZeroDivisionError: division by zero 
  6. > script.py(3)func() 
  7. -> return 0 / 0 
  8. (Pdb) 

大多数时候,打印语句和错误信息就足以进行调试,但是有时候,你需要四处摸索,以了解程序内部正在发生的事情。在这些情况下,你可以设置断点,然后程序执行时将在断点处停下,你可以检查程序,例如列出函数参数、表达式求值、列出变量、或如上所示仅作单步执行。

pdb 是功能齐全的 Python shell,理论上你可以执行任何东西,但是你还需要一些调试命令,可在此处【4】找到。

15、在一个类中定义多个构造函数

函数重载是编程语言(不含 Python)中非常常见的功能。即使你不能重载正常的函数,你仍然可以使用类方法重载构造函数:

  1. import datetime 
  2.  
  3. class Date
  4.     def __init__(self, yearmonthday): 
  5.         self.year = year 
  6.         self.month = month 
  7.         self.day = day 
  8.  
  9.     @classmethod 
  10.     def today(cls): 
  11.         t = datetime.datetime.now() 
  12.         return cls(t.year, t.month, t.day
  13.  
  14. d = Date.today() 
  15. print(f"{d.day}/{d.month}/{d.year}"
  16. # 14/9/2019 

你可能倾向于将替代构造函数的所有逻辑放入__init__,并使用*args 、**kwargs 和一堆 if 语句,而不是使用类方法来解决。那可能行得通,但是却变得难以阅读和维护。

因此,我建议将很少的逻辑放入__init__,并在单独的方法/构造函数中执行所有操作。这样,对于类的维护者和用户而言,得到的都是干净的代码。

16、使用装饰器缓存函数调用

你是否曾经编写过一种函数,它执行昂贵的 I/O 操作或一些相当慢的递归,而且该函数可能会受益于对其结果进行缓存(存储)?如果你有,那么有简单的解决方案,即使用 functools 的lru_cache :

  1. from functools import lru_cache 
  2. import requests 
  3.  
  4. @lru_cache(maxsize=32) 
  5. def get_with_cache(url): 
  6.     try: 
  7.         r = requests.get(url) 
  8.         return r.text 
  9.     except
  10.         return "Not Found" 
  11.  
  12.  
  13. for url in ["https://google.com/"
  14.             "https://martinheinz.dev/"
  15.             "https://reddit.com/"
  16.             "https://google.com/"
  17.             "https://dev.to/martinheinz"
  18.             "https://google.com/"]: 
  19.     get_with_cache(url) 
  20.  
  21. print(get_with_cache.cache_info()) 
  22. # CacheInfo(hits=2, misses=4, maxsize=32, currsize=4) 

在此例中,我们用了可缓存的 GET 请求(最多 32 个缓存结果)。你还可以看到,我们可以使用 cache_info 方法检查函数的缓存信息。装饰器还提供了 clear_cache 方法,用于使缓存结果无效。

我还想指出,此函数不应与具有副作用的函数一起使用,或与每次调用都创建可变对象的函数一起使用。

17、在可迭代对象中查找最频繁出现的元素

在列表中查找最常见的元素是非常常见的任务,你可以使用 for 循环和字典(map),但是这没必要,因为 collections 模块中有 Counter 类:

  1. from collections import Counter 
  2.  
  3. cheese = ["gouda""brie""feta""cream cheese""feta""cheddar"
  4.           "parmesan""parmesan""cheddar""mozzarella""cheddar""gouda"
  5.           "parmesan""camembert""emmental""camembert""parmesan"
  6.  
  7. cheese_count = Counter(cheese) 
  8. print(cheese_count.most_common(3)) 
  9. # Prints: [('parmesan', 4), ('cheddar', 3), ('gouda', 2)] 

实际上,Counter 只是一个字典,将元素与出现次数映射起来,因此你可以将其用作普通字典:

python print(cheese_count["mozzarella"]) ¨K40K cheese_count["mozzarella"] += 1 print(cheese_count["mozzarella"]) ¨K41K

除此之外,你还可以使用 update(more_words) 方法轻松添加更多元素。Counter 的另一个很酷的特性是你可以使用数学运算(加法和减法)来组合和减去 Counter 的实例。

小结

在日常 Python 编程中,并非所有这些特性都是必不可少的和有用的,但是其中一些特性可能会时不时派上用场,并且它们也可能简化任务,而这本来可能很冗长且令人讨厌。

我还要指出的是,所有这些特性都是 Python 标准库的一部分,虽然在我看来,其中一些特性非常像是标准库中的非标准内容。因此,每当你要在 Python 中实现某些功能时,首先可在标准库查看,如果找不到,那你可能看得还不够仔细(如果它确实不存在,那么肯定在某些三方库中)。

如果你使用 Python,那么我认为在这里分享的大多数技巧几乎每天都会有用,因此我希望它们会派上用场。另外,如果你对这些 Python 技巧和骚操作有任何想法,或者如果你知道解决上述问题的更好方法,请告诉我!

编程语言(programming language)是一种被标准化的交流技巧,用来向计算机发出指令,定义计算机程序,让程序员能够准确地定义计算机所需要使用的数据,并精确地定义在不同情况下所应当采取的行动的一种计算机语言。 编程语言可以分成机器语言、汇编语言、高级语言三大类。计算机领域已发明了上千不同的编程语言,而且每年仍有新的编程语言诞生。

赞(11)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程