Python 中最流行的十个标准库( 二 )


1.收集Python中所有可用的标准库的列表
在Python的网站上 , 有一张Python中所有标准库的列表 , 并附有简短说明 。 这个页面将所有的Python标准库按字母名称排序 , 帮助我们对Python中所有的标准库进行拉取 。 我把所有Python标准库的列表放在这里 , 以.csv的格式 。
2.构建基于抽象语法书的函数来收集库名
既然我们有了所有标准Python库的列表 , 我们就需要从PythonGitHub仓库中收集我们示例数据集中的库名称 。
正如我们提到的 , 其中一种方法是遍历抽象语法树 。 在本文中 , 我们的目标节点是importfrom 。 我们希望有一个函数遍历解析树 , 找到目标节点 , 并返回库的名称 。 下面是这样做的类 。
#importlibraries
importast
importtokenize
#AclasstowalktroughASTandcollectlibrariesname
classFuncParser(ast.NodeVisitor):
defvisit_Import(self,node):
tempImpo=node.names
if(tempImpo!=None):
listImpo=tempImpo[0]
Impo=listImpo.name
if(Impoinapi_name):
file_contents.append(Impo)
ast.NodeVisitor.generic_visit(self,node)
else:
ast.NodeVisitor.generic_visit(self,node)
defvisit_ImportFrom(self,node):
module=node.module
if(moduleinapi_name):
file_contents.append(module)
else:
ast.NodeVisitor.generic_visit(self,node)
defgeneric_visit(self,node):
ast.NodeVisitor.generic_visit(self,node)
在Python代码中收集库名的类 。 为了更好地理解这个类的工作原理 , 下面是一段简单的代码 。 这段示例代码只有两行 , 分别导入了两个不同的库 , 其中一个是python标准库:tokenize , 另一个是本地库:assistant 。
importtokenizeastz
importassistantasass
下面是这个示例代码的解析树的转储 。 可以发现 , 我们需要收集的是作为alias类中的name参数 。 此外 , 我们还需要检查库的名称是否在我们从Python原始网站收集的所有标准库的列表中 。
我们将.csv文件保存在名为api_name的列表中 。 如果我们在这个示例代码上应用这个类FuncParser , 它将只返回tokenize , 因为另一个库assistant在Python标准库列表中不可用 。
Module(body=[Import(names=[alias(name='tokenize',asname='tz')]),Import(name
Python仓库中基于GitHub提交的10个最流行标准库是什么?
到目前为止 , 我们收集了GitHub中5个著名的Python仓库的示例数据集 , 并构建了一个类来收集Python代码中的库名 。 现在 , 我们需要将这个函数应用到GitHub的示例数据中 , 并找出这些仓库的提交中使用的前10个库 。
正如我们前面所讨论的 , 我们将提交提交之前的源文件的抽象语法树和提交提交之后的同一源文件的抽象语法树进行比较 , 然后我们收集不同的库节点 。
然后我们收集不同的库节点 。 首先 , 我会给大家展示一个步骤性的示例 , 告诉大家如何比较这两个抽象语法树 , 最后 , 我把所有的代码放在一起 , 以循环遍历整个数据集 , 并计算每个库的出现次数 。
1.提交之前收集库名列表
我们将示例数据集存储在tf_source中 , 我选择这个数据集的第一行来解释整个过程 。 tf_source'Commit_before'返回示例数据集中第一次提交前的代码内容 。
然后 , 我们应用FuncParser()来收集这个源文件中的所有库名 , 并在file_contents列表中返回结果 。 我们创建一个名为tokens_before的数据框架 , 并存储这个列表 。
text_before=str(tf_source[‘Commit_before’](0))
bf_obj=FuncParser()
bf_tree=ast.parse(text_before)
file_contents=[]
bf_obj.visit(bf_tree)
dtobj_before=pd.DataFrame(file_contents,columns=[‘token’])
tokens_before=pd.DataFrame(dtobj_before[‘token’].value_counts())
2.提交提交之后收集库名列表
我们重复与上面的步骤相同的过程 , 但这次是在提交提交之后对源文件的内容进行的 。
tf_source‘Commit_after’ , 另外 , 我们将结果存储在一个名为tokens_after的数据帧中 。
text_after=str(tf_source[‘Commit_after’](0))
aft_obj=FuncParser()
aft_tree=ast.parse(text_after)
file_contents=[]
aft_obj.visit(aft_tree)
dtobj_after=pd.DataFrame(file_contents,columns=[‘token’])
tokens_after=pd.DataFrame(dtobj_after[‘token’].value_counts())
3.找出这两个列表之间的差异
在这一步中 , 我们从tokens_after中减去tokens_before以计算它们的差异 。
diff=tokens_after.subtract(tokens_before)
diff_token=diff[(diff.select_dtypes(include=[‘number’])!=0).any(1)]
diff_token=diff_token.fillna(0)
diff_token=diff_token.abs()
diff_token=diff_token.reset_index()
4.计算库的数量
最后 , 我们统计每个库在diff_token数据帧中出现的次数 。 为此 , 我们创建一个名为py_lib的字典 , 并统计库的出现次数 。