声振论坛

 找回密码
 我要加入

QQ登录

只需一步,快速开始

声振论坛 展示 科学计算 python 查看内容

为什么你应该学 Python?

2017-11-17 11:03| 发布者: weixin| 查看: 1004| 评论: 1|原作者: weixin|来自: 声振之家公众号

摘要: Python 结构松散:写大型复杂程序时,遇到规则严谨的程序结构体(比如每个文件一个公共类),比其他语言(比如Java)要费些力气。
  引 言
  第一次接触 Python 是在一节编程入门课上。其实,在此之前了解过它,所以在上课之前我对它的语法已经很熟悉了,但在上课之前我没有用它做过真正的项目。尽管对它没有太大兴趣,但我认为把它介绍给人们去学习编程还是很好的。

  我对它不是不喜欢,而是一种“无所谓”的态度。原因很简单:它里面有太多“魔法”。C和Java这些语言,对底层的行为描述的很清晰,Python则完全相反。

  Python 结构松散:写大型复杂程序时,遇到规则严谨的程序结构体(比如每个文件一个公共类),比其他语言(比如Java)要费些力气。但是,在这些方面 Python 给了你很大的自由。

  另一件事是严格的编码风格和调试:因为Python是解释型语言,查找问题不太容易:如果C语言有语法错误,编译器会直接停止编译,但在解释型语言中,直到执行到问题行,问题才会被发现。试着在需要整数的时候传一个字符串?cc 会马上提醒你,Python解释器却对此一点都不介意(虽然有工具可以发现这个问题,比如mypy,但我讨论的是通用的Python)。我提到的这些问题是解释型语言的通病,并非Python独有,但这些是我不喜欢它的主要原因。

  还有一个烦人的问题是强制缩进。我们老师(很优秀)认为这是好事情,因为“它强制我们形成简洁的代码风格”。确实如此,但还是有点烦,当代码没有按预期执行时,你分析代码想要找出bug,它却无影无踪,过了很长时间之后你发现if语句那一行有一个多余的空格。

  我曾经和同事聊过Python,告诉他为什么我之前对这个语言不感冒,他笑着问我“问什么不喜欢Python呢?因为它读起来很像英语?”。是的。因为这个语言做了很多底层的工作,有时候会不清楚发生了什么。举个读文件的例子,假设你想一行一行读取文件内容并打印出来。

  C会这么做:
       1.png

  python 这么做:
       2.png

  现在,很多人会认为这是python的优势,然而,第一个例子中,干了什么一目了然:
        · 获取一个文件指针
        · 从文件读取每一行数据到缓存中,打印缓存中的内容
        · 关闭文件流

  python的例子中看不到这些,它是一种 “魔法般的”过程。现在,有人认为这是好事,因为将程序员与底层实现细节隔离(我同意这个说法),但我想知道到底发生了什么。

  有趣的是,我以上提到的缺点,我现在认为都是优点。为了公平起见,我强调,Python里边没有魔法,如果你多了解一点,你会发现真的没有,有的只是语言解释代码的方式,从这点来看,我发现它挺有意思的。如果你也这么觉得,我建议你深入了解它的工作机制,如果有东西像魔法,就找出来到底发生了什么,事情就会变得清晰,魔法就变成了便利。

  我的认识发生很大的变化,尤其是我决定使用Python后,事实上我现在是 Python的死忠!现在你也许会想我将会在哪里说服你学Python是个好主意,不要担心,马上就到。我想说明,这只是我对这个语言的个人感受,只是个人偏好。我没有试图以“如果你用Python,你就不是真正的程序员(实际上,我不这么认为)”的理由劝说人们学C。当有人问我他们的入门语言应该选哪个,我通常建议他们选Python,基于我上边提到的“缺点”的原因。我的感觉来源于我的兴趣,我曾经在做一些很底层的东西,你能想到,Python并不适用。

  Python 语言精粹
  在借用了JavaScript畅销书《JavaScript 语言精粹》作为本节标题后,我们开始讨论本文的主题:为什么你(没错,就是你!)应该学Python

  1、通用脚本语言
       这是我使用Python的主要原因。我曾经和很多人做过很多项目,不同的人用不同的系统。就我而言,我经常在windows系统和linux系统之间切换。举一个实际的例子,有一个项目,我写了项目的自动测试脚本,结果发现只有我能用,因为是用PowerShell写的,而我是项目中唯一使用Windows的。当时同事们自然认为bash是最好的,我还向他们解释PowerShell遵循一种不同的模式并且有它的强项(例如,它提供了.NET框架接口),它是面向对象的脚本语言,和bash 完全不一样。现在我不想讨论哪个更好,因为这不是本文的重点。

  那么这个问题怎么解决呢?嗯…现在,是否有一种脚本语言可以在所有主流平台上运行呢?你猜对了,它就是Python。除了可以在主流平台上运行,它还是开箱即用的脚本语言。标准库包含不少实用程序,提供了独立于系统的常用接口。举一个简洁明了的例子,假设你想获取文件夹下所有文件的文件名,然后对其进行处理,在UNIX下,你要这么做:
      3.png

  用 PowerShell 做类似的事情:
      4.png

  An equivalent functionality in Python can be achieved with:

  python 这么做:
       5.png
  现在我认为,Python除了可以跑在Linux,MacOSX和Windows上,它也很易读。上边例子中的脚本很简单,在复杂的例子中不同语言的易读性差异会更明显。

  就像我之前提到的,Python自带了许多强大的库用来取代shell 脚本,你会发现,最有用的是:
        · os – 提供系统无关功能,比如文件目录和文件读写。
        · subprocess – 产生新进程、与输入输出流和返回代码交互。可以用它来启动系统已安装的程序,但请记住如果你担心脚本的可移植性,这不是最好的选择。
        · shutil – 提供对文件和文件集合的高级操作。
        · argparse – 解析命令行参数,构建命令行接口。

  好了,假设你get 到了重点,跨平台和易读性听起来挺不错的,但是你真的喜欢UNIX shell类似的语法怎么办?告诉你个好消息,鱼和熊掌可以兼得!看看 Plumbum,它是一个Python模块,它的座右铭是“ 再也不写shell 脚本”。它模仿了shell语法,同时保持了跨平台。

  不要完全抛弃 shell 脚本:即使Python可以完全取代shell脚本,但也不是必须这么做,因为Python脚本天生适合Unix命令行理念,你要做的就是让它们从 sys.stdin(标准输入)读数据,向sys.stdout(标准输出)写数据。举个例子,假设你有一个文件,每行有一个单词,你想知道每个单词在文中出现的次数。这种情况就没必要全部是用Python,我们可以使用cat命令和我们的脚本,称它为namecount.py 一起来完成这个任务。

  假设有一个文件,名为names.txt ,内容如下:
      6.png

  现在使用我们的脚本:
      7.png

  Powershell:
      8.png

  期望的输出如下(顺序可能会变化):
      9.png

  namecount.py 源码:
      10.png

  无序的信息可读性差,你可能想按单词出现的次数对其排序,让我们试试。我们要用管道输出文件内容供内建命令处理。按数字降序排序,我们要做的就是 $> cat names.txt | namecount.py | sort -rn 。如果使用PowerShell应该这样:$> Get-Content names.txt | python namecount.py | Sort-Object { [int]$_.split()[-1] } -Descending (你可能听到了Unixer的吐槽声了,PowerShell怎么这么繁琐)。

  这回我们的输出是确定的,如下所示:
       11.png
  旁注:如果你用PowerShell,cat是Get-Content的别名,sort是Sort_object的别名,所以以上命令可以写成:$> cat names.txt | python namecount.py和 $> cat names.txt | python namecount.py | sort { [int]$_.split()[-1] } -Descending

  但愿我成功说服你。python是你某些脚本的替代品,你不必完全抛弃shell 脚本,因为你可以将Python融合到你现有的工作流和工具箱中,还可以从它跨平台,更好的可读性,还有丰富的库中获益。

  2、大量优秀的库
       Python有非常丰富的库。我的意思是,几乎任何事都有库(有趣的是:如果你在你的Python解释器中输入import antigravity,在浏览器中打开xkdc漫画的页面,是不是很酷?)。我不是很推崇堆叠模块式的编程,但你不必这样。因为有太多的库,不表示你都要使用。我也不喜欢堆叠模块(它有点像CBSE),我在了解它们之后才使用。

  例如,我决定研究马尔科夫链,我想了一个项目:抓取一个艺术家的所有歌词,建立一个马尔科夫链,然后从其中生成歌曲。这个项目的目的是生成的歌曲应该能反映出艺术家的风格。所以我到处找相关的东西,搞出了lyricst项目(这只是个样品,还不成熟,只是一个测试项目,如我所言,我只是随便搞了一下没想深入。如果你想玩的话,它包含有命令行界面和示例的说明文档)。我认为,最好的找歌词的地方是RAPGenius,因为它很活跃,经常更新。

  为了获取艺术家所有的歌词,我必须从网站上爬,然后处理HTML。幸运的是,Python很适合做网络爬虫,它有强大的库像BeautifulSoup可以处理HTML。所以我是这么做的,先使用BeautifulSoup从网页中抽取我需要的信息(就是歌词)然后用这些信息构建马尔科夫链。当然我曾经想用正则表达式构建自己的 HTML解析器,但是这个库的存在让我更关注项目的最终目的:把玩马尔科夫链,让它更有趣,比方说,从文件中读取些内容出来。

  3、用来做渗透测试很强大
       如果你在作渗透测试或仅仅是喜欢玩玩,Python是你的好帮手!由于Python 在所有LInux和MAC OS机器上都有安装,还有丰富的库,完善的语法,还是一门脚本语言,让它很适合干这个。

  另一个我为什么决定使用Python的原因(除了我之前提到的)是我对安全很感兴趣,Python是用来做渗透测试的完美选择。我在第一次进入领域是通过 Scapy(或Scapy3k,python3),我印象很深。Scapy能够创建、监听、解析数据包。它的API 很简单,文档也很完善。你可以很容易的创建不同层的数据(我指的是OSI 模型)或者捕获它们对其进行分析或修改。你甚至可以导出 pcap文件用Wireshark打开。虽然除了抓包还能做很多事情,还有很多其他的库也可以,但我在这里不会涉及,因为这不是本文的重点,而且要展开讲的话需要一篇文章。

  有人可能会说,“哦,太棒了,但我感兴趣的是Windows设备,里边不会自带 Python”。别当心,你可以用py2exe把你的脚本编译成.exe 文件。文件可能会有点大(取决于你是用的库的数量),但这不是重点。

  如果你很好奇,请参考list of Python pentesting tools。 文末我还推荐了几本书。

  4、黑客的语言
       Python是可塑性很强的语言。你可以用各种方法改造它。可参见《 altering the way imports work》和《messing with classes before they are created》这两篇文章。这只是一些例子。也让它成为强大的脚本语言(在第一节有说)适合做渗透测试(第三节),因为它给了你很大的自由。

  我不想讲太多,但我会讲述它让我惊讶的地方。当时,我在做一个网络爬虫(Python很适合干这个!),我用的其中一个工具是BeautifulSoup。 这是我用来学习Python的项目之一。Beautifulsoup处理HTML的语法清晰直观,原因是在自定义行为方面,Python给了你很大的自由。了解一番API 后,发现有 “魔法”。和这种情况类似:
       12.png
  上面的代码利用第一个字符串参数创建了一个BeautifulsSoup实例,第二个参数表示我想使用Python自带的HTML解析器(BeautifulSoup可以搭配多种解析器)。soup.p返回一个Tag(bs4.element.Tag) 对象,表示将作为第一个参数。

  以上代码的输出是:
       13.png

  现在你可能会想,你说的魔法在哪?马上就来。魔法在于上面的代码可以被修改为任何标签,甚至可以是自定义的。它意味着下面的代码也可以正常运行:
       14.png

  The output is the following:

  输出如下:
       15.png

  当我发现这样也能运行,我的反应是“怎么回事?”。因为,第一个例子很容易实现,我的意思是最直接的方法是为每一个HTML标签定义一个属性(实例变量),在解析过程中如果找到了,就赋值给它们。但是这对第二种情况不适用,不可能对所有的字符串定义属性。我想知道它是怎么实现的,所以我打开 BeautifulSoups源代码开始寻找。 我没有发现任何命名为p的属性,这一点也不奇怪,解析函数没有对其赋值。谷歌一番后,我找到了答案:魔法方法。什么是魔法方法,为什么要叫这个名字?事实上,魔法方法是给你的类赋予魔法的方法。这种方法通常前后有两条下划线(例如 __init__()),在Python文档的 DataModel model section 有对它的说明。

  真正让 BeautifulSoup 拥有这个功能的魔法方法是__getattr__(self, name)(self 在python 中指向实例,和 Java 中的this 类似)。如果去查看文档,你会发现第一段如下:
       16.png

  当你尝试访问一个不存在的属性,对象的 __getattr__(self,name) 方法会被调用,将返回一个以name作为名字的属性的字符串。

  举个例子。假设你有一个Person类,拥有first_name属性。我们给使用者访问和name相同属性的内容的能力。下面是代码:
       17.png

  我们在终端运行代码:
       18.png

  这意味着我们能凭空构造实例属性,是不是很棒?所以你可以偷偷的让你的 Dog除了汪汪叫之外,还会喵喵叫:
       19.png
  你可以在没有reflection的情况下,随意添加新属性。object.__dict__ 是(字典)[https://docs.python.org/3.5/library/stdtypes.html#typesmapping] 包含 object 的属性和它们的值(注意我说的是object.dict, object 是一个实例,还有一个 class.dict,是类的属性的字典)。

  意思是:
       20.png

  等价于:
       21.png

  两者输出是一样的:
       22.png
  到这里你会想,是挺好的,但是有什么用呢?答案很简单:magical APIs。你有没有用过一些 Python 库让你感觉像魔法?这是让它们变的有”魔法”的一种情况。虽然一旦你懂了底层发生的事情,就会发现没有魔法。

  如果你还想了解更多,可以查看文档中的 Description Protocol。

  Python 的面向对象
  Python的面向对象有点奇怪。例如,类中没有私有变量和方法。所以你想在类中创建一个实例变量或私有方法,你必须遵守规则:
        · 一个下划线 (_)表示私有变量和方法。
        · 两个下划线(__) 表示的变量和方法,它们的名字会被修改。

  举个例子,假设你有如下类:
      23.png

  转到解释器:
      24.png
  如你所见,你可以访问 _private 变量,但是最后一个例子发生了什么,它是否意味着有两个下划线的变量是真正的私有变量?答案是 NO,它们的名字被改变了,实际上,它被 Python替换成了 _Foo_secret 。如果你想访问的话,你仍然可以访问:
       25.png

  然而,PEP8建议只在父类中使用双下划线来避免属性名冲突。“PEP”,表示 “Python Enhancement Proposal”,它用来描述 Python 特性或作用。如果你想要添加一个新特性,你可以创建一个PEP,这样可以让整个社区可以看到并讨论。你可以在这里了解更多的PEPs。

  可见,Python 很信任程序员。

  我不会再深入讲OO了,因为它需要单独一篇文章(甚至是一系列)来讲解。

  我确实想给你提个醒,Python 的 OO 可不像 Java 语言那么自然,你需要慢慢适应,但你知道吗,它只是做事的方法不同而已。举个例子,它没有抽象类,你必须使用装饰器来实现这个行为。

  结 语
  希望这篇文章,能够给你一个学习Python的理由。这篇文章来自一个为过去说了Python 的坏话而愧疚,如今在到处宣传 Python 的人。我先申明一点,这只是个人喜好问题,当有人问我先学哪门语言时,我通常推荐Python。

  如果你还没决定,那就给它一次机会!用上一两个小时,多读些关于它的东西。如果你喜欢从书上学习,我也会帮你,看看《Fluent Python》, 下节还有更多。

  书籍推荐
       我兑现了诺言,这一节推荐书籍。我会尽量保持简短一些,只包含一些我读过的书籍。
        · 《Fluent Python》 —— 一本讲 Python3 的好书。无论你是新手、熟手还是高手都值得一读。包含了 Python 的来龙去脉。
        · 《Web Scraping With Python》 —— 标题已经说明了一切,讲如何用Python 来做网络爬虫。你会探索如何爬网上的内容,解析 HTML 等。我觉得这本书对爬虫领域的新手和熟手很有帮助。即使你之前从没用过Python,你也可以看懂。它没有涉及任何高级主题。
        · 《Black Hat Python》 —— 这个有趣!你可以创建反弹 SSH shell,木马等等!如果你想知道 Python 如何做渗透测试,请一定要读它。注意它使用的是 Python 2,我有一个仓库,用的是 Python 3。
        · 《Violent Python: A Cookbook for Hackers, Forensic Analysts, Penetration Testers and Security Engineers》 ——比上面的主题要多,你会学到如何写一个常见的用于实战的渗透测试,取证分析和安全脚本。

  来源:优才网(ID:ucaicn)

发表评论

最新评论

引用 zhangnan3509 2022-2-18 11:18
非常好的帖子,可惜看到的有点晚了

查看全部评论(1)

QQ|小黑屋|Archiver|手机版|联系我们|声振论坛

GMT+8, 2024-3-29 19:42 , Processed in 0.103591 second(s), 24 queries , Gzip On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

返回顶部