Python 中最流行的十个标准库

原标题:Python中最流行的十个标准库
Python是当今人工智能和机器学习领域最流行的编程语言之一 。 Python以其有用的库和包而著称 , 即使没有软件工程背景的人也能编程 。 Python拥有一组与Python语言一起分发的标准库 , 如DateTime、math或Random 。 本文的目标是在GitHub的Python仓库中找到10个最有用的标准库 。
为实现我们的目标 , 我们研究了GitHub中不同的Python仓库 , 并收集了它们的旧库来回答这个问题 。 为了开始我们的研究 , 首先 , 我们收集了GitHub中5个著名的Python资源库在过去一年的提交情况 。
然后 , 我们对这些仓库中的Python源文件进行解析 , 并收集其提交中使用的库 。 最后 , 我们将这些GitHub仓库提交中使用的10个最流行的Python标准库进行可视化 。
如何收集数据?
有不同的方法可以访问GitHub仓库中的数据 , 例如GitHubtorrent、GitAPI调用或Googlebigquery 。 但是 , 在本文中 , 我们想要尝试一个新的非常有用的Python包 , 名为Pydriller , 它可以收集我们需要的数据 。
Pydriller速度快 , 使用方便 。 我是在攻读博士学位的时候熟悉了这个有趣的包 。 你可以在这里查看Pydriller的文档 。 要从Pydriller开始 , 首先 , 我们安装包:
pipinstallpydriller
每次提交时 , GitHub中的一个或多个源文件都可以被修改 。 在GitHub这样的版本控制系统中 , 每一次提交都有一个文件 , 名为“diff” 。 它通过提交特定的提交来存储在源文件中应用的更改 。 在GitHub仓库的提交中查找库的方法之一是在“diff”文件中搜索正则表达式 。
但在本文中 , 我们想尝试一些不同的方法 。 我们比较两个不同版本的源文件“提交之前”和“提交之后”应用提交 , 然后收集这两个文件在库名中的差异 。 通过这种方法 , 我们就可以发现库在不同提交中的使用频率 。
好消息是 , Pydriller允许我们在应用提交之前和应用提交之后访问源文件的版本 。 下面是收集数据所需的代码:
#importlibraries
importpydrilleraspyd
fromdatetimeimportdatetime
#periodtocollectdata
dt1=datetime(2019,11,1)
dt2=datetime(2020,11,1)
#pathof5Pythonrepositories
path=["https://github.com/django/django.git","https://github.com/pandas-dev/pandas.git",
"https://github.com/numpy/numpy","https://github.com/home-assistant/home-assistant.git",
"https://github.com/donnemartin/system-design-primer.git"]
#collectingaversionofasourcefilebeforeandafterapplyingacommit
tf_source=pd.DataFrame(columns=['commit_ID','before_Commit','after_Commit'])
forcommitinpyd.RepositoryMining(path_to_repo=path,since=dt1,to=dt2).traverse_commits():
formodified_fileincommit.modifications:
ifmodified_file.filename.endswith(".py"):
tf_source=tf_source.append({'commit_ID':commit.hash,'before_Commit':modified_file.source_code_before,
'after_Commit':modified_file.source_code},ignore_index=True)
用Pydriller在GitHub中收集5个著名的Python库 。 我们在GitHub上收集了5个大的Python项目在去年的提交情况 , 其中有
Django、Pandas、NumPy、Homeassistant、system-design-primer 。 “RepositoryMining”是Pydriller的主要API调用之一 。
我们可以通过RepositoryMining中的两个参数来定义一个时间段来收集不同仓库中的提交:since和to 。 另外 , 我们考虑所有名称以“.py”结尾的源文件的提交 , 因为这些资源库中也有其他编程语言的源文件 , 但我们关注的是Python库 。
我们收集了三个特征:
commit.hash、source_code_before、source_code 。 Pydriller中的commit.hash返回提交的id , source_code_before是应用提交前的源文件版本 , source_code则显示提交后的源文件内容 。 下面是我们收集的数据头:

Python 中最流行的十个标准库
文章图片
tf_source.head()
到目前为止 , 我们已经收集了开始旅程所需的数据 。 在下一节中 , 我们将学习如何探索这些源文件中的库 。
如何解析Python源代码
提取源代码中信息的方法之一是将它们转换成抽象语法树(AbstractSyntaxTree , AST) 。 然后 , 我们就可以遍历这棵树 , 并收集目标节点 。
但最重要的一点是 , 我们只想收集Python标准库 , 而不是所有在仓库中使用的包 , 比如本地定义的库 , 它们只有在仓库中才有意义 。 Python标准库是和Python语言一起发布的 。 因此 , 为了将标准包和其他包分开 , 我们需要拉取Python中所有有效的标准库 。
然后 , 我们可以写一个函数来收集源代码中的库名 。 我们可以将本节分为两步:收集Python中所有可用的标准库的列表、构建基于抽象语法书的函数来收集库名 。