本文由 发布，转载请注明出处，如有问题请联系我们！ 发布时间: 2021-08-01代码静态分析工具比较-软件开发流程八个步骤
加载中一.环境
Python是一种强种类的信息种类语言表达，开发者能够动态性地为目标分派种类(动态性)，但不允许开展种类不配对的实际操作(不可以加上str.int等强种类自变量)。
动态性种类协助开发者轻松自在地撰写编码。但是，常言道，动态性让人耳目一新，火化场复建。动态性种类也产生许多不便。假如动态语言能够加上静态数据种类标识，它将具备下列优点:
撰写更方便快捷。相互配合各种各样IDE专用工具，能够完成界定自动跳转，种类提醒等。编号更靠谱。即然拥有定义方法的扶持，很多专用工具可以在静态数据编号环节就能提早发觉词义不正确。重新构建更安心。确立了插口的进出参，使代码优化更确立更平稳。现阶段流行语言表达大多数适用静态数据种类，例如Java.Go.Rust。而动态语言(Python.JS)已经相拥静态数据种类，例如TypeScript。
关键详细介绍Python对静态数据种类的适用，小区开发设计的现况，种类查验专用工具的详细介绍和较为，种类分析的实战演练。
第二，Python的静态数据种类适用。
早在2006年，Python3.0就引进了种类注解的英语的语法，并排出了很多改善。
# 加种类前def add(a, b): return a b # 加种类后def add(a:int, b:int) -> int: return a b伴随着持续的演变，到Python3.5，能够完成种类提醒，拥有种类标明，IDE能够做种类查验。
随后，到Python3.7，静态数据种类适用基本上健全。
要我详解一下种类查验专用工具和一些基本要素。三种检测专用工具详细介绍。
Python创作者和流行生产商陆续发布了Python种类查验专用工具:
这种种类分析专用工具的原理相近。下列是简略详细介绍:1个mypy
最开始宣布发布的mypy是由Python鼻祖吉多·范·罗苏姆开发设计，并由各种各样流行在线编辑器(如PyCharm.Emacs.高尚文字.VS Code等)融合而成。)，有着充足的客户基本和文本文档感受。
2 pytype
Google的pytype能够做种类查验，并给予一些适用的实用工具。下边将简单详细介绍它的运用:
annotate-ast，全过程中的AST树标识专用工具。merge-pyi，把转化成的pyi文件合并回源文件中，乃至还能保证掩藏种类，在种类查验时再载入。pytd-tool，分析pyi文档的专用工具，分析成pytype自定的PYTD文件。pytype-single，再给出全部依靠的pyi文档的条件下，能够分析单独Python文档。pyxref，交叉引用的制作器。3堆柴
twiter的耐高温查验有两个独特作用:
Watchman作用， 能够监视编码文档，跟踪修改。Query作用，能够对源代码做部分地区性的查验，比如查看某行中一个关系式的种类.查看一个类的所有方式并回到成目录等，防止了全局性查验。4层
微软公司的pyright做为全新的开源项目发布，宣称具备下列优点:
速度更快。相比于 mypy 以及它用 Python 写的查验专用工具，它的速率是 5 倍或者大量。不依靠 Python 自然环境。它用 TypeScript 写出，运作于 node 上，不依靠 Python 自然环境或第三方包。可配备性强。适用随意地配备，适用特定不一样的软件环境（PYTHONPATH 设定.Python 版本号.服务平台总体目标）。查验项齐备。适用种类查验以及它英语的语法项的查验（如 PEP-484.PEP-526.PEP-544），及其函数返回值.类自变量.局部变量的查验，乃至能够查验标准for语句。命令行工具。它包括2个 VS Code 软件：一个命令行工具和一个语言表达网络服务器协议书（Language Server Protocol）。内嵌 Stubs 。应用的是 Typeshed 的团本（注：应用静止的 pyi 文档，查验内嵌控制模块.标准库和三方件 ）。语言表达服务项目特点。悬停信息提示.标记界定的自动跳转.即时的编写意见反馈。四个Pytype的详细介绍。
下面，大家将关键详细介绍pytype。为何挑选pytype？最先，mypy较为老，许多工作沒有新专用工具那麼新奇好用。方案用Python LSP解决Python文档，给予一些英语的语法服务项目作用，用Ocamel开展pyre-check，因此大家用Python pytype来完成要想的作用，pytype给予一些适用的专用工具，例如分析一个pyi文档，根据Python文档转化成pyi文档。
1基本要素。
Pyi文档
pyi的“I”指插口，它以接头的方式将Python文档的定义方法储存在pyi文档中，以輔助种类查验。
大伙儿能够留意一下常见的Pycharm，在新项目空中间的外界库> python3.6 >排版设计底单中有很多自带的pyi文档，辅助编码全过程的种类提醒和精准定位。
电脑打字底单上边提及的电脑打字底单等同于提早集成化的pyi集，pycharm仿佛自身维护保养一个数据信息。很多大中型开源软件也在相继给予底单，例如pyTorch。偏微分流也在考虑到当中。
做pyi的Python库许多，c的API启用也许多，必须耐心等待。
2实战演练
我阅读文章了pytype的源码，并联系实际编码和要求。下列是一些事例:
整体实际效果
import loggingimport sysimport osimport importlab.environmentimport importlab.fsimport importlab.graphimport importlab.outputfrom importlab import parsepyfrom sempy import utilfrom sempy import environment_utilfrom pytype.pyi import parser实例演试，根据Importlab专用工具剖析新项目空和相对应pyi文档中间的相互依赖:
def main(): # 特定要分析的文件目录 ROOT = '/path/to/demo_project' # 特定TYPESHED文件目录，能够从这儿免费下载：https://github.com/python/typeshed TYPESHED_HOME = '/path/to/typeshed_home' util.setup_logging() # 加载typeshed，假如TYPESHED_HOME配备的不对，会回到None typeshed = environment_util.initialize_typeshed_or_return_none(TYPESHED_HOME) # 加载目标目录合理文档 inputs = util.load_all_py_files(ROOT) # 转化成用以转化成import_graph的自然环境 env = environment_util.create_importlab_environment(inputs, typeshed) # 根据pyi和工程文件转化成import graph import_graph = importlab.graph.ImportGraph.create(env, inputs, trim=True) # 打印出全部依靠树 logging.info('Source tree:n%s', importlab.output.formatted_deps_list(import_graph)) # import控制模块的别称 e.g. import numpy as np -> {'np': 'numpy'} alias_map = {} # 引进控制模块的简称和实际pyi文档的投射 e.g. import os -> {'os': '/path/to/os/._init._.pyi'} import_path_map = {} # alias_map的value，能够和import_path_map的key相匹配，根据alias_map的key这一用户标识符去找真真正正的完成文档 for file_name in inputs: # 如果有pyi文档配对，则会放进resolved # 假如依靠了Build_in依靠，会被绕过，不回到 # 假如依靠了自定依靠，会放进unresolved，必须自身进一步分析，精准定位到新项目工程文件 (resolved, unresolved) = import_graph.get_file_deps(file_name) for item in resolved: item_name = item.replace('.pyi', '') .replace('.py', '') .replace('/._init._', '').split('/')[-1] import_path_map[item_name] = item for item in unresolved: file_path = os.path.join(ROOT, item.new_name '.py') import_path_map[item.name] = file_path import_stmts = parsepy.get_imports(file_name, env.python_version) for import_stmt in import_stmts: alias_map[import_stmt.new_name] = import_stmt.name print('下列为根据importlab分析方法获得的import关联nn') # 针对编码检索情景，只必须alias_map，既能够根据已经运用的目标关系到引进的控制模块 print('nn#################################nn') print('针对编码检索情景，只必须alias_map，既能够根据已经运用的目标关系到引进的控制模块') print('alias_map: ', alias_map) # 针对编码补齐情景，必须进一步分析当今文档及其引入的pyi文档，假如当今文档是._init._文档，则要进一步去该文件目录下的全部文档方式中全局搜索 print('nn#################################nn') print('针对编码补齐情景，必须进一步分析当今文档及其引入的pyi文档，假如当今文档是._init._文档，则要进一步去该文件目录下的全部文档方式中全局搜索') print('import_path_map: ', import_path_map) print('nnn下列为根据pytype工具，分析pyi文档AST来剖析三方依靠回到种类，进而分析出当今自变量的种类nn') # 根据pytype的分析，去分析依靠的pyi文档，得到启用方式的传参 fname = '/path/to/parsed_file' with open(fname, 'r') as reader: lines = reader.readlines() sourcecode = 'n'.join(lines) ret = parser.parse_string(sourcecode, filename=fname, python_version=3) constant_map = dict() function_map = dict() for key in import_path_map.keys(): v = import_path_map[key] with open(v, 'r') as reader: lines = reader.readlines() src = 'n'.join(lines) try: res = parser.parse_pyi(src, v, key, 3) except: continue # Alias # Classes for constant in res.constants: constant_map[constant.name] = constant.type.name for function in res.functions: signatures = function.signatures sig_list = [] for signature in signatures: sig_list.append((signature.params, signature.return_type)) function_map[function.name] = sig_list var_type_from_pyi_list = [] for alias in ret.aliases: variable_name = alias.name if alias.type is not None: typename_in_source = alias.type.name typename = typename_in_source # 引进别称的case，把它转换回家 if '.' not in typename: # 仅仅一般的别称，并不是调用函数的传参，忽视 continue if typename.split('.')[0] in alias_map: real_module_name = alias_map[typename.split('.')[0]] typename = real_module_name typename[typename.index('.'):] if typename in function_map: possible_return_types = [item[1].name for item in function_map[typename]] var_type_from_pyi_list.append((variable_name, possible_return_types)) if typename in constant_map: possible_return_type = constant_map[typename] var_type_from_pyi_list.append((variable_name, possible_return_type)) pass print('nn#################################nn') print('这种都是以PYI文档中剖析出去的传参种类') for item in var_type_from_pyi_list: print('用户标识符:', item[0], '回到种类:', item[1])if ._name._ == '._main._': sys.exit(main())分析的例子编码:
# demo.pyimport os as abcdefgimport refrom demo import utilsfrom demo import refscwd = abcdefg.getcwd()support_version = abcdefg.supports_bytes_environpattern = re.compile(r'.*')add_res = utils.add(1, 3)mul_res = refs.multi(3, 5)c = abs(1)
操作步骤最初，pytype运用了Google的另一个开源软件:ImportLab。
用以剖析文档中间的相互依赖。这时，typeshed文件目录中的文档还可以放进自然环境中，importlab能够转化成依赖图。
env = environment_util.create_importlab_environment(inputs, typeshed)import_graph = importlab.graph.ImportGraph.create(env, inputs, trim=True)# 如果有pyi文档配对，则会放进resolved# 假如依靠了Build_in依靠，会被绕过，不回到# 假如依靠了自定依靠，会放进unresolved，必须自身进一步分析，精准定位到新项目工程文件(resolved, unresolved) = import_graph.get_file_deps(file_name)根据导进图，大家获得了自变量的来源于(包含引入别称和方式启用的传参):
{'ast': 'ast', 'astpretty': 'astpretty', 'abcdefg': 'os', 're': 're', 'utils': 'demo.utils', 'refs': 'demo.refs', 'JsonRpcStreamReader': 'pyls_jsonrpc.streams.JsonRpcStreamReader'}根据相互依赖图，还能够直接引用相互依赖的具体地址:
import_path_map: {'ast': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/ast.pyi', 'astpretty': '/Users/zhangxindong/Desktop/search/code/sempy/venv/lib/python3.9/site-packages/astpretty.py', 'os': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/os/._init._.pyi', 're': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/typeshed/stdlib/re.pyi', 'utils': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/demo/utils.py', 'refs': '/Users/zhangxindong/Desktop/search/code/sempy/sempy/demo/refs/._init._.py', 'streams': '/Users/zhangxindong/Desktop/search/code/sempy/venv/lib/python3.9/site-packages/pyls_jsonrpc/streams.py'}下面便是深入分析相匹配的文档。我的市场需求是被一些方式的传参种类。针对pyi文档，pytype能够协助大家分析他们，随后我们可以根据启用关联来配对他们。
print('nnn下列为根据pytype工具，分析pyi文档AST来剖析三方依靠回到种类，进而分析出当今自变量的种类nn')# 根据pytype的分析，去分析依靠的pyi文档，得到启用方式的传参fname = '/path/to/parsed_file'with open(fname, 'r') as reader: lines = reader.readlines()sourcecode = 'n'.join(lines)ret = parser.parse_string(sourcecode, filename=fname, python_version=3)constant_map = dict()function_map = dict()for key in import_path_map.keys(): v = import_path_map[key] with open(v, 'r') as reader: lines = reader.readlines() src = 'n'.join(lines) try: res = parser.parse_pyi(src, v, key, 3) except: continue # Alias # Classes for constant in res.constants: constant_map[constant.name] = constant.type.name for function in res.functions: signatures = function.signatures sig_list = [] for signature in signatures: sig_list.append((signature.params, signature.return_type)) function_map[function.name] = sig_listvar_type_from_pyi_list = []for alias in ret.aliases: variable_name = alias.name if alias.type is not None: typename_in_source = alias.type.name typename = typename_in_source # 引进别称的case，把它转换回家 if '.' not in typename: # 仅仅一般的别称，并不是调用函数的传参，忽视 continue if typename.split('.')[0] in alias_map: real_module_name = alias_map[typename.split('.')[0]] typename = real_module_name typename[typename.index('.'):] if typename in function_map: possible_return_types = [item[1].name for item in function_map[typename]] # print('The possible return type of', typename_in_source, 'is', possible_return_types) var_type_from_pyi_list.append((variable_name, possible_return_types)) if typename in constant_map: possible_return_type = constant_map[typename] var_type_from_pyi_list.append((variable_name, possible_return_type)) pass比如:
pattern = re.compile(r'.*')从/users/张新东/desktop/search/code/sempy/sempy/typeshed/stdlib/re . pyi文档中，大家载入了2个方式，他们全是再次编译程序的，仅仅键入主要参数不一样，传参为Pattern种类。
因而，我们知道方式自变量的结构类型是re。方式..
这种都是以pyi文档中剖析出去的传参种类。用户标识符 cwd 回到种类：[‘str’]用户标识符 support_version 回到种类：bool用户标识符 pattern 回到种类：[‘typing.Pattern’, ‘typing.Pattern’]形容词 （verb的简称）运用
一部分Python语法分析作用已使用于阿里巴巴云Dev Studio的编码文档搜索强烈推荐和智能化编码补齐。
1编码文档搜索强烈推荐。
当开发者不清楚怎么使用API时(例如启用方式或是方式键入等)。)，他能够将电脑鼠标挪动到特定的API，表明智能编码软件给予的API归纳信息内容。开发者点一下“API Document Details”时，能够在右栏见到API的官方网文本文档和编码实例，还可以立即检索必须的API编码文本文档。现阶段适用JavaScript和Python编程语言的编码文档搜索强烈推荐。
在文本文档搜集的环节中，我们可以获得API的简称和相匹配的类。在具体编码中，我们可以根据语法分析，根据被启用的方式相匹配被启用的类信息内容，用以文档搜索。
2编码智能化补齐。开发者生成编码时，智能编码软件会全自动认知编码前后文，为开发者给予精确的编码补齐备选。标识的编码进行备选是编码智能化进行結果。现阶段适用Java，JavaScript，Python编程语言的智能化编码补齐。
在编码补整个过程中，根据语法分析，能够更精确地理学习到应用自变量的使用者的类信息内容，有利于净化掉深度神经网络实体模型强烈推荐的不科学选择项，并根据类的內部方式集招回一些有效的补齐项。
第六次汇总Python静态数据种类适用的基本概念和产品是完美无缺的。但因为历史时间负担重，社区动力不够，预期效果比较有限。除此之外，官方网，各种生产商和当地IDE都是有自身的完成和统计分析方法，并未做到统一的规范和文件格式。依据以上提及的优点和缺点，及其配对的工具箱和数据，能够选择自己的方法做剖析。希望Python社区可以改善对静态数据种类的适用。
