在线代码编译器(第一部分):编辑和编译
此文已由作者姚太行授权网易云社区发布。
欢迎访问网易云社区,了解更多网易技术产品运营经验。
在线编译器
代码在线编译器,即在线代码编写运行工具,提供给用户在线代码编辑、代码提示、代码诊断、编译、运行等一系列从代码编写到启动运行过程中必要的功能服务,以达到IDE的核心功能,应用范围较广,从使用场景下大致分为两类:
一般场景
功能基础:仅基于开发语言的语法特点及常用原生库。
内容描述:此应用场景下,对一些涉及IO,诸如读写、外部请求等极端操作类型支持程度较高,代码运行环境通常使用沙箱,以满足安全性需要。
应用范畴:主要的应用业务范畴有在线代码辅助编辑工具(Tool等)、在线考试平台(牛客网等)、算法竞赛刷题平台(leetcode等)。
特殊场景
功能基础:基于平台提供的大量工具API,仅结合必要的常用原生库。
内容描述:此应用场景下,用户编写的代码涉及的内容被限制在平台规定的有界范围内,代码风格、格式、结构也需按照平台规范进行展开,编译器除在基本语法检测的基础上也会对代码内涉及内容、方法做细致检测,对一些涉及IO、读写、网络请求等敏感操作会进行严格限制。由于需要使用平台本身提供的API,故简单的沙箱已经无法满足需要,需要针对不同的业务特点进行特殊的代码运行环境安全保障。
应用范畴:应用方面,根据平台工具API提供的出发点不同,业务范畴会被限制在平台涉及的范围内。在量化范畴内,多数量化平台会提供Python、Java的策略代码在线编译功能,并提供相关API以供用户完成量化策略开发的需要。
由于一般场景比较常见,开发及搭建的相关成熟样例也较多,本文在此不过多进行讨论。对于特殊场景,本文将结合在网易贵金属量化平台Java在线编译器的相关案例,对于在线编译部分的实现思路进行详细阐述。
案例说明
网易贵金属量化平台,核心是利用在线编译器相关原理,(目前)提供了针对贵金属交易的相关量化策略开发功能。后文每一个部分将以此平台为案例,结合理论总结进行案例阐述。为方便之后的阐述,现对系统基本情况作出简单说明:
业务核心说明:用户可结合自身市场投资经验,形成策略,以回测或实盘方式,使用历史行情或实时行情以策略内容进行在历某个阶段或实时地模拟交易操作,输出策略交易盈亏,以达到验证策略、优化策略、积攒投资经验的目的。
策略:策略即“决定何种条件下触发交易”的一段逻辑,条件判定依据除时间及商品行情外,还可能包含机器学习结果、训练模型结果以及经济学指标等。表现在量化平台上是一段Java(或其他语言)代码,代码通过调用平台提供的接口进行逻辑判断以及交易操作。
策略输出:策略输出的直接结果就是交易信号本身及交易记录,统计出某段时间该策略总盈亏、最大回撤、夏普率等常用盈亏评价统计指标。
过程上体现为:
用户编写策略
平台模拟交易
交易结果统计
用户编写策略 模拟交易并统计结果
在线编辑及编译
一个完整的在线编译流程,是从用户编写的代码开始的(当然代码来源不仅仅局限于此),代码从构建(编写或组装)到编译直至运行,最终输出结果或造成预期影响。流程包括
代码构建
语法检测
代码诊断
代码编译
代码运行
内容反馈
代码构建
代码构建,涉及到语言类型、代码结构以及最终的代码生成方式。
语言类型
在线编译器平台构建前,需明确平台支持的语言类型。语言类型会影响到的方面:
编译方式:可归纳至以下三种类型:
解释型:解释型语言编写的程序,由其对应的解释程序执行的,不会直接涉及到编译过程,如JavaScript等。此类语言在搭建时一般可以动态的进行执行,而无需后台程序进行繁琐的编译过程。在平台架构设计时,可结合实际需要将相关代码的处理过程直接放置于平台上层(如浏览器本身),直接反馈结果,而无需将请求处理过程放置在底层,反而会把逻辑搞复杂。
编译型:编译型语言通常功能较为强大且相对底层,需要先将代码编译为目标程序机器码文件,如C、C++等,目标程序文件可脱离代码在计算机上多次运行。此类语言的用户代码,需将用户最终提交的代码交由服务器等具体计算机进行处理后,再进行程序运行进而反馈程序运行结果。
混合型:混合型语言与编译型语言不同点在于,编译过程不生成机器码而生成字节码文件,如Java、Python等,字节码文件同样可被加载至特殊的运行环境中多次运行但却无法被计算器直接识别。此类语言的用户代码,同样需要交由服务器等计算机进行处理,但运行时必须交由能够提供特殊运行环境的计算机来执行。
代码风格:代码风格,主要是需要确定代码是否对格式有特殊的要求,从而对提示过程作出优化,且会对之后的代码检测过程提供便利。例如Python会对缩进有强依赖,那么在代码提示和用户使用方面需要进行特殊的服务优化。
代码提示:代码提示必须在语言类型确认后才可确定,一般的基于浏览器的前端在线编辑框架,对某些语言的原生API会有现成的提示,除这一部分外,如果需要提示给用户平台自身开发的一些额外的API,则需要对这部分额外的内容整理为代码提示要求的格式,进行补充与导入。
代码结构
一般场景下,对用户代码的结构一般没有特殊需求,即与一般的IDE功能相同。 但是在特殊场景下,由于代码编写的目的相对明确,代码中包含的内容也是有预期的,所以在用户代码编写前,就可以通过固定代码结构的方式来限制用户代码的编写内容及构成,在之后的代码检测阶段,也可以根据此固定格式来进行初步的代码合理性检测。
以Java为例,固定结构的内容包括:
禁止指定package结构
禁止类import导入
必须继承的父类
必须实现的接口
类唯一性
必须包含的方法
代码固定位置的提示性用注释
生成方式
代码生成方式上,根据平台对用户代码编写过程中的不同支持方式,在交互层面,用户生成自己代码的路径会有所不同,但最终结果均以生成合理代码为目标。
量化平台范畴中,用户代码用于实现对既往数据计算学习从而在未来做出决策的策略,以目前市场上一些特征较为突出的量化平台为例,生成方式可包括:
原始代码编辑方式
(样例图片来源:网易贵金属量化平台)此种方式下,即便借助代码提示和相关注释说明,用户在代码构建过程中也会较为困难,但对于成熟程序员而言,反而*度会相对较高。
组件化组建方式
(样例图片来源:BigQuant)此种方式中,对可预估的代码内容进行组件化,用户选用其需要的组件,由平台根据组件选择情况负责拼接,大大降低了代码编写的门槛,对于特殊行业需求但非计算机技术掌握者非常友好,且代码的合理性得到了极大的保证。
可视化组件组建方式
(样例图片来源:BigQuant)此种方式,是组件化的更高层面的包装,代码编写的门槛再一次被降低,且在表述代码逻辑过程中有奇效。
其实在代码生成方式上,结合不同的需求和业务领域的具体需要,还存在很多种不同的友好的生成方式。就上述三种方式而已,明显可以看出后两种方式在代码生成上更为友好和可用,但在*度上可能有所降低。
代码生成方式上,如果代码内容可预估、结构相对固定,在有条件的情况下,建议在提供除原始代码编辑方式的基础上,提供其他以组建为主体思路的代码生成方式。组建的代码生成方式,不但能提升用户体验,大幅度降低用户使用门槛,还能够有效降低用户代码出现语法错误及逻辑不合理的可能性。
案例说明
结合这一部分关于代码构建的总结,案例中对应的相关部分内容如下:
语言类型:Java8
代码结构:用户策略代码在编辑时,平台会预先提供模板,并提供相关所有API的代码提示。模板内包含了必须实现的接口以及必须包含的方法,并在固定流程结构过程中标记了提示用注释。在编写过程中,对用户编写并不受限,代码检测过程目前不在编辑过程中进行。
生成方式:目前提供原始代码编辑方式,未来计划朝着组件化方向进行发展。
代码检测
用户代码检测,是指在用户代码在诊断及运行前对其内容及语法,针对语法合法性以及构建阶段预想的代码结构进行检测,以甄别用户代码是否合理。如果在平台设计时,用户代码只是最终运行代码的一部分,公共部分由系统拼装,也可在这一检测过程中完成拼装过程。
代码拼装
代码拼装,即对用户编辑部分补充其余的公共部分,这样做既可以减少用户需要编辑的代码量,又能在一定程度上限定用户代码中出现一些意料之外的内容。
以Java为例,拼装内容可包括:
package路径:可限制最终生成的类的路径
import类导入:可限制用户能够使用的类范围
注解:可对用户代码以类或方法为粒度追加其他行为
通用方法:追加在运行时必须调用的通用方法(一般会置于抽象类中)
将拼装内容以预想方式与用户编辑部分合并为一个完整的可被检测的代码文件。
语法检测
简单的语法检测可以直接通过识别文件进行,或直接尝试利用诊断过程获知文件是否语法合理,再复杂的就要结合编译原理中的语法分析器构建抽象语法树来进行详细解析。
结构检测
对照代码构建阶段的代码结构相关内容,检测内容包括:
文件路径是否合理(包路径)
类名合法性
类是否存在必要继承及实现
是否包含必要参数
是否包含必要方法
是否符合其他必要固定结构
经历上述过程后,基本可以得到获知一份用户代码是否有被编译诊断的必要性。
案例说明
结合这一部分关于代码检测的总结,案例中对应的相关部分如下:
代码拼装:网易贵金属量化平台中,用户只需继承接口后,实现主体的三个方法,且在模板中对这三个方法的流程已做了详细说明,类之外的部分是无需用户编写的。代码拼装内容包括:
设置类代码文件的package路径至统一位置,并结合用户信息和时间戳进行生成子路径,防止路径下类重名
所有java.lang之外的包,只导入涉及到的部分,涵盖计算、数据结构、时间处理等内容
导入所有平台提供的API类
语法检测:直接使用编辑工具诊断过程进行,没有在这一部分使用到抽象语法树。
结构检测:量化平台上用户代码以类作为用户代码编写的主体,而不包含其他内容,结构检测内容包括:
用户代码部分不得为空
用户不得自主导入类
必须继承用户策略模板接口
必须策略模板的完整实现类
class关键字唯一,类唯一,且不得包含内部类
经过初步检测后,如果代码检测无误,就可以到代码诊断和代码编译,以进一步证明代码的可用性。
代码诊断
代码诊断(Diagnostic),此处的诊断,指在编译过程中,对代码是否可运行作出检查,并报告相关问题位置的过程。一般的IDE在Build过程中均会进行诊断,诊断过程会报告问题类型并指出问题所在行号,但并非所有诊断都会存在行号。诊断内容涵盖:
语法合法性:语句本身是否合法
文件结构合法性:文件内容是否符合某语言的基本要求
调用合法性:文件内涉及到的其他类或方法是否存在
代码诊断后,也就标志代码文件可以在当前环境中运行,但此阶段内一般不会检查运行时错误。一般的代码诊断会伴随代码编译过程进行,在代码编译过程中通过监听编译过程获得诊断信息,但非编译型语言的代码诊断是独立进行的。
案例说明将与代码编译过程一同进行。
代码编译
代码编译,及利用代码文件生成为更底层目标文件的过程。在编译型语言中,翻译为机器码等可被计算机直接执行的内容;在混合型语言中,则将代码文件编译为可被JVM等运行环境识别的内容。
由于用户提供的仅为代码部分,结合实际环境,代码可能具备不可通用性,只在固定环境下才可通过编译,由于用户使用的不是IDE,关于代码的诊断、编译、加载过程都需要由平台本身提供,即需要平台开发者利用语言特性及固有工具开发相关功能。
关于编译原理及流程相关内容,这里不再赘述。
案例说明
网易贵金属量化平台使用的语言环境为Java。针对Java的编译过程,在原生包javax.tools中提供了将Java源文件编译为.class文件过程中需要的关键类,相关内容如下:
javax.tools.JavaCompiler:
/** * Interface to invoke Java™ programming language compilers from * programs. * * <p>The compiler might generate diagnostics during compilation (for * example, error messages). If a diagnostic listener is provided, * the diagnostics will be supplied to the listener. If no listener * is provided, the diagnostics will be formatted in an unspecified * format and written to the default output, which is {@code * System.err} unless otherwise specified. Even if a diagnostic * listener is supplied, some diagnostics might not fit in a {@code * Diagnostic} and will be written to the default output. * ...
Java编译工具, 编译过程中会抛出相关的诊断信息。使用run方法执行编译操作,也可先生成编译任务(CompilationTask),之后调用CompilationTask的call方法执行编译任务。
javax.tools.JavaFileObject:
/** * File abstraction for tools operating on Java™ programming language * source and class files. * * <p>All methods in this interface might throw a SecurityException if * a security exception occurs. * * <p>Unless explicitly allowed, all methods in this interface might * throw a NullPointerException if given a {@code null} argument.
Java源文件对象,负责源文件对象加载至内存。
javax.tools.JavaFileManage:
/** * File manager for tools operating on Java™ programming language * source and class files. In this context, <em>file</em> means an * abstraction of regular files and other sources of data. ...
Java源文件管理类, 用于管理一系列JavaFileObject。
javax.tools.Diagnostic:
/** * Interface for diagnostics from tools. A diagnostic usually reports * a problem at a specific position in a source file. However, not * all diagnostics are associated with a position or a file. ...
Java文件诊断信息。
javax.tools.DiagnosticListener:
/** * Interface for receiving diagnostics from tools. * * @param <S> the type of source objects used by diagnostics received * by this listener *
诊断信息监听器,编译过程触发。生成编译任务(JavaCompiler.getTask())或获取FileManager(JavaCompiler.getStandardFileManager())时需要传递DiagnosticListener以便收集诊断信息。
在以上相关类的基础上,调用方式如下:
public static void compile(File srcFile, String targetClassPath) { JavaCompiler compiler = ToolProvider.getSystemJavaCompiler(); DiagnosticCollector<JavaFileObject> diagnosticListener = new DiagnosticCollector<>(); StandardJavaFileManager fileManager = compiler.getStandardFileManager(null, null, null); Iterable it = fileManager.getJavaFileObjects(srcFile); createClassPathIfNotExists(targetClassPath); List<String> options = new ArrayList<>(); options.add("-classpath"); StringBuilder sb = new StringBuilder(); URLClassLoader urlClassLoader = (URLClassLoader) Thread.currentThread().getContextClassLoader(); for (URL url : urlClassLoader.getURLs()) { sb.append(url.getFile().replace("%20", " ")).append(File.pathSeparator); } options.add(sb.toString()); options.add("-d"); options.add(targetClassPath); try { JavaCompiler.CompilationTask task = compiler.getTask(null, fileManager, diagnosticListener, options, null, it); boolean success = task.call(); if (!success) { StringBuilder errorMsg = new StringBuilder(); for (Diagnostic diagnostic : diagnosticListener.getDiagnostics()) { errorMsg.append("line:").append(diagnostic.getLineNumber() - StrategyCodeConstant.DEFAULT_PRE_LINE) .append(", ").append(diagnostic.getMessage(null)).append("\n"); } throw new CompileException(RetCode.COMPILE_ERROR, errorMsg.toString()); } } catch (CompileException e) { throw e; } catch (Exception e) { throw new CompileException(RetCode.COMPILE_ERROR, e.getMessage(), e); } }
结合前面的方法说明,解释方法内基本流程如下:
获取系统编译器
创建诊断监听器
读入Java源文件
创建目标class文件
设置类路径等编译参数
执行编译任务
抛出诊断信息
经过上述流程后,如果监听器未监听到任何诊断,则最终生成的class文件可直接被类加载器加载并运行。
在class文件的留存方式上,可结合具体需要指定具体策略。如无需留存用户代码,则可采用二进制方式直接生成class文件对应的内存,如果需要留存用户代码,则看将编译生成的class文件以其他方式进行转存。
代码运行
代码运行,即将编译后的内容加载至指定环境运行,各语言根据自身特性均会提供相关流程,本身并无难度。此处的代码运行讨论的内容,是如何将用户代码与在线编译器平台本身运行环境相结合。
一般场景下,用户代码只依赖原生工具,自称一体,如果语言存在类似JVM的运行环境,直接可以利用运行环境搭建简易沙箱即可运行。
特殊场景下,用户代码除必要原生工具外,对平台本身提供的API强依赖,由于API内容包罗万象,可能涉及到外部访问或公共服务器内存使用,故单纯的搭建沙箱,可能在一定程度上不能满足需求。
既然单纯的沙箱不能满足需求,可能就面临将用户代码加载至平台所在的运行环境中一同运行的情况。但在这一过程中,如何规范用户代码的接入及调用动作就是重中之重,另外,如何在满足用户代码运行基本需求的基础上又能维护平台安全就是必须解决的问题(ps:安全问题会在另一篇文章中进行阐述)。
规范用户代码的接入及调用动作,解决问题的入手点可以从以下几个方面入手:
明确用户代码调用内容:用户代码中究竟有何内容是必须使用平台提供API的,是否可以穷举所有行为。
明确用户代码结构:在明确行为的基础上,用户代码结构是否是可预知的,如果是可预知的,是否明确用户代码存在对外交互接口。
明确用户代码调用方式:用户代码只需被调用一次,还是需要调用若干次。
明确用户代码可能出现的问题:即便是代码诊断后,用户代码还是可能出现运行时异常,对于这些可能出现的运行时异常,要有预估以及处理方案,是否跳过本次执行或者打断执行过程。
结合以上思考点,需要确定的内容是:平台应该如何去调用用户代码,如何打通用户代码到平台的壁垒。
在较为合理的情况下,用户代码经历运行前的所有流程后,到这里应该是可以预估形态的,用户写了什么,会做什么,怎么用,平台怎么调用已经变得很明确了。
案例说明
网易贵金属量化平台,对用户的策略代码,直接规定了模板,用户编写的Java类必须继承策略模板结构并实现相关方法。
类策略模板接口内容:
/** * 策略类 */public interface Strategy { /** * 策略初始化的时候调用一次,用于选择品种,设置手续费,金额,等等 * * @param context 上下文 */ void init(Context context); /** * 策略的主要实现 * * @param context 上下文 */ void handle(Context context); /** * 策略运行结束时调用一次 * * @param context 上下文 */ void onExit(Context context); }
用户的策略代码需要随着时间推移,多次调用执行,进而模拟实际交易,此多次调用过程成为调度。具体的调用流程分为三个部分:
调度前:调用init方法,此方法内用户需要初始化一些调度使用到的参数并给出初始值
调度中:按时间轴或行情消息驱动方式,不断执行handle方法内的策略主要实现内容,过程中会更新handle方法内涉及到的变量内容,用户可以在这一过程中可随意使用对象内变量用于变量的临时存储。调度内容包括行情查询、模拟开仓平仓操作、数学计算等
调度后:执行onExit方法,此方法内用户可以结合自身需要做策略调度完成时的处理动作,可以进行自定义的统计计算或输出日志等
量化平台通过规定用户代码结构的方式,进而规范了用户代码的调用方式,使所有的用户代码在调用过程中的行为保持统一。
内容反馈
内容反馈,用户代码由产生到运行,需让用户感知到代码所产生的效果。在一般使用场景下,即简单的在线编译器,内容反馈表现在代码的编译情况以及代码内输出到控制台的内容;但在特殊场景下,这两部分的反馈内容对于用户而言,是远远不够的。
从反馈产生的时间上划分,可分为以下三个阶段:
正式运行前,涵盖内容包括:
用户代码语法检测情况
用户代码编译诊断情况
用户代码环境加载情况
正式运行时,涵盖内容包括:
用户代码运行中间值
用户代码运行时异常及错误
用户代码运行日志
运行结束后,涵盖内容包括:
用户代码调用结束通知
用户代码方法返回值
用户代码生成的数据
用户数据计算、统计、图形化处理结果等
对于以上内容,平台可选择性的向用户进行反馈。反馈方式上,可根据平台的具体表现形式进行选择,也可分为同步和异步两部分进行分别通知,反馈通知形式包含:
同步通知
输出控制台
消息窗体等及时推送与反馈
日志消息
异步通知
运行日志文件
运行情况报告文件
用户原始数据
用户数据计算、统计、图形化处理结果
案例说明
网易贵金属量化平台,对于内容反馈部分的实现,分为以下几个部分:
代码检测、诊断时,反馈检测及诊断内容:
代码运行时,反馈系统及用户自定义日志
代码运行后,反馈策略日志文件、原始交易信息、统计汇总
日志文件
原始交易信息
统计汇总
反馈内容,应该结合需求用户需求及使用反馈做出迭代调整,但内容只应限于用户代码涉及部分,不应透露服务器及平台本身的运行状态及重要参数信息。
后文链接
本文结合网易贵金属量化平台实际运用场景,阐述了在线编译器搭建思路,分析了各类可能的应用场景及思考要点,在这一过程中详细介绍了编辑及编译的过程。关于用户代码的安全检测与安全运行保障于后文阐述:
代码在线编译器(下)- 用户代码安全检测
其他
Tool在线工具
推荐一个功能较为齐全的在线工具平台:http://tool.lu/
Markdown图片插入
由于Markdown不能直接插入图片,图片插入以链接方式进行,故需要用三方的图床以存储图片并生成链接。推荐一个好用的图床:微博图床。可从chrome应用商店中下载插件,登录微博后即可使用。可生成缩略图及原图的HTTP、HTML、UBB、MarkDown链接。
免费体验云安全(易盾)内容安全、验证码等服务
更多网易技术、产品、运营经验分享请点击。
相关文章:
【推荐】 3招搞定APP注册作弊
【推荐】 测试周期内测试进度报告规范
【推荐】 SpringBoot入门(一)——开箱即用
下一篇: 绝佳的免费在线设计平台
推荐阅读
-
增强用户代码安全性的在线编译器(第二部分)
-
在线代码编译器(第一部分):编辑和编译
-
SSM三大框架基础面试题-一、Spring篇 什么是Spring框架? Spring是一种轻量级框架,提高开发人员的开发效率以及系统的可维护性。 我们一般说的Spring框架就是Spring Framework,它是很多模块的集合,使用这些模块可以很方便地协助我们进行开发。这些模块是核心容器、数据访问/集成、Web、AOP(面向切面编程)、工具、消息和测试模块。比如Core Container中的Core组件是Spring所有组件的核心,Beans组件和Context组件是实现IOC和DI的基础,AOP组件用来实现面向切面编程。 Spring的6个特征: 核心技术:依赖注入(DI),AOP,事件(Events),资源,i18n,验证,数据绑定,类型转换,SpEL。 测试:模拟对象,TestContext框架,Spring MVC测试,WebTestClient。 数据访问:事务,DAO支持,JDBC,ORM,编组XML。 Web支持:Spring MVC和Spring WebFlux Web框架。 集成:远程处理,JMS,JCA,JMX,电子邮件,任务,调度,缓存。 语言:Kotlin,Groovy,动态语言。 列举一些重要的Spring模块? Spring Core:核心,可以说Spring其他所有的功能都依赖于该类库。主要提供IOC和DI功能。 Spring Aspects:该模块为与AspectJ的集成提供支持。 Spring AOP:提供面向切面的编程实现。 Spring JDBC:Java数据库连接。 Spring JMS:Java消息服务。 Spring ORM:用于支持Hibernate等ORM工具。 Spring Web:为创建Web应用程序提供支持。 Spring Test:提供了对JUnit和TestNG测试的支持。 谈谈自己对于Spring IOC和AOP的理解 IOC(Inversion Of Controll,控制反转)是一种设计思想: 在程序中手动创建对象的控制权,交由给Spring框架来管理。IOC在其他语言中也有应用,并非Spring特有。IOC容器实际上就是一个Map(key, value),Map中存放的是各种对象。 将对象之间的相互依赖关系交给IOC容器来管理,并由IOC容器完成对象的注入。这样可以很大程度上简化应用的开发,把应用从复杂的依赖关系中解放出来。IOC容器就像是一个工厂一样,当我们需要创建一个对象的时候,只需要配置好配置文件/注解即可,完全不用考虑对象是如何被创建出来的。在实际项目中一个Service类可能由几百甚至上千个类作为它的底层,假如我们需要实例化这个Service,可能要每次都搞清楚这个Service所有底层类的构造函数,这可能会把人逼疯。如果利用IOC的话,你只需要配置好,然后在需要的地方引用就行了,大大增加了项目的可维护性且降低了开发难度。 Spring中的bean的作用域有哪些? 1.singleton:该bean实例为单例 2.prototype:每次请求都会创建一个新的bean实例(多例)。 3.request:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP request内有效。 4.session:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP session内有效。 5.global-session:全局session作用域,仅仅在基于Portlet的Web应用中才有意义,Spring5中已经没有了。Portlet是能够生成语义代码(例如HTML)片段的小型Java Web插件。它们基于Portlet容器,可以像Servlet一样处理HTTP请求。但是与Servlet不同,每个Portlet都有不同的会话。 Spring中的单例bean的线程安全问题了解吗? 概念用于理解:大部分时候我们并没有在系统中使用多线程,所以很少有人会关注这个问题。单例bean存在线程问题,主要是因为当多个线程操作同一个对象的时候,对这个对象的非静态成员变量的写操作会存在线程安全问题。 有两种常见的解决方案(用于回答的点): 1.在bean对象中尽量避免定义可变的成员变量(不太现实)。 2.在类中定义一个ThreadLocal成员变量,将需要的可变成员变量保存在ThreadLocal(线程本地化对象)中(推荐的一种方式)。 ThreadLocal解决多线程变量共享问题(参考博客):https://segmentfault.com/a/1190000009236777 Spring中Bean的生命周期: 1.Bean容器找到配置文件中Spring Bean的定义。 2.Bean容器利用Java Reflection API创建一个Bean的实例。 3.如果涉及到一些属性值,利用set方法设置一些属性值。 4.如果Bean实现了BeanNameAware接口,调用setBeanName方法,传入Bean的名字。 5.如果Bean实现了BeanClassLoaderAware接口,调用setBeanClassLoader方法,传入ClassLoader对象的实例。 6.如果Bean实现了BeanFactoryAware接口,调用setBeanClassFacotory方法,传入ClassLoader对象的实例。 7.与上面的类似,如果实现了其他*Aware接口,就调用相应的方法。 8.如果有和加载这个Bean的Spring容器相关的BeanPostProcessor对象,执postProcessBeforeInitialization方法。 9.如果Bean实现了InitializingBean接口,执行afeterPropertiesSet方法。 10.如果Bean在配置文件中的定义包含init-method属性,执行指定的方法。 11.如果有和加载这个Bean的Spring容器相关的BeanPostProcess对象,执行postProcessAfterInitialization方法。 12.当要销毁Bean的时候,如果Bean实现了DisposableBean接口,执行destroy方法。 13.当要销毁Bean的时候,如果Bean在配置文件中的定义包含destroy-method属性,执行指定的方法。 Spring框架中用到了哪些设计模式? 1.工厂设计模式:Spring使用工厂模式通过BeanFactory和ApplicationContext创建bean对象。 2.代理设计模式:Spring AOP功能的实现。 3.单例设计模式:Spring中的bean默认都是单例的。 4.模板方法模式:Spring中的jdbcTemplate、hibernateTemplate等以Template结尾的对数据库操作的类,它们就使用到了模板模式。 5.包装器设计模式:我们的项目需要连接多个数据库,而且不同的客户在每次访问中根据需要会去访问不同的数据库。这种模式让我们可以根据客户的需求能够动态切换不同的数据源。 6.观察者模式:Spring事件驱动模型就是观察者模式很经典的一个应用。 7.适配器模式:Spring AOP的增强或通知(Advice)使用到了适配器模式、Spring MVC中也是用到了适配器模式适配Controller。 还有很多。。。。。。。 @Component和@Bean的区别是什么 1.作用对象不同。@Component注解作用于类,而@Bean注解作用于方法。 2.@Component注解通常是通过类路径扫描来自动侦测以及自动装配到Spring容器中(我们可以使用@ComponentScan注解定义要扫描的路径)。@Bean注解通常是在标有该注解的方法中定义产生这个bean,告诉Spring这是某个类的实例,当我需要用它的时候还给我。 3.@Bean注解比@Component注解的自定义性更强,而且很多地方只能通过@Bean注解来注册bean。比如当引用第三方库的类需要装配到Spring容器的时候,就只能通过@Bean注解来实现。 @Configuration public class AppConfig { @Bean public TransferService transferService { return new TransferServiceImpl; } } <beans> <bean id="transferService" class="com.kk.TransferServiceImpl"/> </beans> @Bean public OneService getService(status) { case (status) { when 1: return new serviceImpl1; when 2: return new serviceImpl2; when 3: return new serviceImpl3; } } 将一个类声明为Spring的bean的注解有哪些? 声明bean的注解: @Component 组件,没有明确的角色 @Service 在业务逻辑层使用(service层) @Repository 在数据访问层使用(dao层) @Controller 在展现层使用,控制器的声明 注入bean的注解: @Autowired:由Spring提供 @Inject:由JSR-330提供 @Resource:由JSR-250提供 *扩:JSR 是 java 规范标准 Spring事务管理的方式有几种? 1.编程式事务:在代码中硬编码(不推荐使用)。 2.声明式事务:在配置文件中配置(推荐使用),分为基于XML的声明式事务和基于注解的声明式事务。 Spring事务中的隔离级别有哪几种? 在TransactionDefinition接口中定义了五个表示隔离级别的常量:ISOLATION_DEFAULT:使用后端数据库默认的隔离级别,Mysql默认采用的REPEATABLE_READ隔离级别;Oracle默认采用的READ_COMMITTED隔离级别。ISOLATION_READ_UNCOMMITTED:最低的隔离级别,允许读取尚未提交的数据变更,可能会导致脏读、幻读或不可重复读。ISOLATION_READ_COMMITTED:允许读取并发事务已经提交的数据,可以阻止脏读,但是幻读或不可重复读仍有可能发生ISOLATION_REPEATABLE_READ:对同一字段的多次读取结果都是一致的,除非数据是被本身事务自己所修改,可以阻止脏读和不可重复读,但幻读仍有可能发生。ISOLATION_SERIALIZABLE:最高的隔离级别,完全服从ACID的隔离级别。所有的事务依次逐个执行,这样事务之间就完全不可能产生干扰,也就是说,该级别可以防止脏读、不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。 Spring事务中有哪几种事务传播行为? 在TransactionDefinition接口中定义了八个表示事务传播行为的常量。 支持当前事务的情况:PROPAGATION_REQUIRED:如果当前存在事务,则加入该事务;如果当前没有事务,则创建一个新的事务。PROPAGATION_SUPPORTS: 如果当前存在事务,则加入该事务;如果当前没有事务,则以非事务的方式继续运行。PROPAGATION_MANDATORY: 如果当前存在事务,则加入该事务;如果当前没有事务,则抛出异常。(mandatory:强制性)。 不支持当前事务的情况:PROPAGATION_REQUIRES_NEW: 创建一个新的事务,如果当前存在事务,则把当前事务挂起。PROPAGATION_NOT_SUPPORTED: 以非事务方式运行,如果当前存在事务,则把当前事务挂起。PROPAGATION_NEVER: 以非事务方式运行,如果当前存在事务,则抛出异常。 其他情况:PROPAGATION_NESTED: 如果当前存在事务,则创建一个事务作为当前事务的嵌套事务来运行;如果当前没有事务,则该取值等价于PROPAGATION_REQUIRED。 二、SpringMVC篇 什么是Spring MVC ?简单介绍下你对springMVC的理解? Spring MVC是一个基于Java的实现了MVC设计模式的请求驱动类型的轻量级Web框架,通过把Model,View,Controller分离,将web层进行职责解耦,把复杂的web应用分成逻辑清晰的几部分,简化开发,减少出错,方便组内开发人员之间的配合。 Spring MVC的工作原理了解嘛? image.png Springmvc的优点: (1)可以支持各种视图技术,而不仅仅局限于JSP; (2)与Spring框架集成(如IoC容器、AOP等); (3)清晰的角色分配:前端控制器(dispatcherServlet) , 请求到处理器映射(handlerMapping), 处理器适配器(HandlerAdapter), 视图解析器(ViewResolver)。 (4) 支持各种请求资源的映射策略。 Spring MVC的主要组件? (1)前端控制器 DispatcherServlet(不需要程序员开发) 作用:接收请求、响应结果,相当于转发器,有了DispatcherServlet 就减少了其它组件之间的耦合度。 (2)处理器映射器HandlerMapping(不需要程序员开发) 作用:根据请求的URL来查找Handler (3)处理器适配器HandlerAdapter 注意:在编写Handler的时候要按照HandlerAdapter要求的规则去编写,这样适配器HandlerAdapter才可以正确的去执行Handler。 (4)处理器Handler(需要程序员开发) (5)视图解析器 ViewResolver(不需要程序员开发) 作用:进行视图的解析,根据视图逻辑名解析成真正的视图(view) (6)视图View(需要程序员开发jsp) View是一个接口, 它的实现类支持不同的视图类型(jsp,freemarker,pdf等等) springMVC和struts2的区别有哪些? (1)springmvc的入口是一个servlet即前端控制器(DispatchServlet),而struts2入口是一个filter过虑器(StrutsPrepareAndExecuteFilter)。 (2)springmvc是基于方法开发(一个url对应一个方法),请求参数传递到方法的形参,可以设计为单例或多例(建议单例),struts2是基于类开发,传递参数是通过类的属性,只能设计为多例。 (3)Struts采用值栈存储请求和响应的数据,通过OGNL存取数据,springmvc通过参数解析器是将request请求内容解析,并给方法形参赋值,将数据和视图封装成ModelAndView对象,最后又将ModelAndView中的模型数据通过reques域传输到页面。Jsp视图解析器默认使用jstl。 SpringMVC怎么样设定重定向和转发的? (1)转发:在返回值前面加"forward:",譬如"forward:user.do?name=method4" (2)重定向:在返回值前面加"redirect:",譬如"redirect:http://www.baidu.com" SpringMvc怎么和AJAX相互调用的? 通过Jackson框架就可以把Java里面的对象直接转化成Js可以识别的Json对象。具体步骤如下 : (1)加入Jackson.jar (2)在配置文件中配置json的映射 (3)在接受Ajax方法里面可以直接返回Object,List等,但方法前面要加上@ResponseBody注解。 如何解决POST请求中文乱码问题,GET的又如何处理呢? (1)解决post请求乱码问题: 在web.xml中配置一个CharacterEncodingFilter过滤器,设置成utf-8; <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>utf-8</param-value> </init-param> </filter> <filter-mapping> <filter-name>CharacterEncodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> (2)get请求中文参数出现乱码解决方法有两个: ①修改tomcat配置文件添加编码与工程编码一致,如下: <ConnectorURIEncoding="utf-8" connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/> ②另外一种方法对参数进行重新编码: String userName = new String(request.getParamter("userName").getBytes("ISO8859-1"),"utf-8") ISO8859-1是tomcat默认编码,需要将tomcat编码后的内容按utf-8编码。 Spring MVC的异常处理 ? 统一异常处理: Spring MVC处理异常有3种方式: (1)使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver; (2)实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器; (3)使用@ExceptionHandler注解实现异常处理; 统一异常处理的博客:https://blog.csdn.net/ctwy291314/article/details/81983103 SpringMVC的控制器是不是单例模式,如果是,有什么问题,怎么解决? 是单例模式,所以在多线程访问的时候有线程安全问题,不要用同步,会影响性能的,解决方案是在控制器里面不能写成员变量。(此题目类似于上面Spring 中 第5题 有两种解决方案) SpringMVC常用的注解有哪些? @RequestMapping:用于处理请求 url 映射的注解,可用于类或方法上。用于类上,则表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestBody:注解实现接收http请求的json数据,将json转换为java对象。 @ResponseBody:注解实现将conreoller方法返回对象转化为json对象响应给客户。 SpingMvc中的控制器的注解一般用那个,有没有别的注解可以替代? 一般用@Controller注解,也可以使用@RestController,@RestController注解相当于@ResponseBody + @Controller,表示是表现层,除此之外,一般不用别的注解代替。 如果在拦截请求中,我想拦截get方式提交的方法,怎么配置? 可以在@RequestMapping注解里面加上method=RequestMethod.GET。 怎样在方法里面得到Request,或者Session? 直接在方法的形参中声明request,SpringMVC就自动把request对象传入。 如果想在拦截的方法里面得到从前台传入的参数,怎么得到? 直接在形参里面声明这个参数就可以,但必须名字和传过来的参数一样。 如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象? 直接在方法中声明这个对象,SpringMVC就自动会把属性赋值到这个对象里面。 SpringMVC中函数的返回值是什么? 返回值可以有很多类型,有String, ModelAndView。ModelAndView类把视图和数据都合并的一起的。 SpringMVC用什么对象从后台向前台传递数据的? 通过ModelMap对象,可以在这个对象里面调用put方法,把对象加到里面,前台就可以拿到数据。 怎么样把ModelMap里面的数据放入Session里面? 可以在类上面加上@SessionAttributes注解,里面包含的字符串就是要放入session里面的key。 SpringMvc里面拦截器是怎么写的: 有两种写法,一种是实现HandlerInterceptor接口,另外一种是继承适配器类,接着在接口方法当中,实现处理逻辑;然后在SpringMvc的配置文件中配置拦截器即可: <!-- 配置SpringMvc的拦截器 --> <mvc:interceptors> <!-- 配置一个拦截器的Bean就可以了 默认是对所有请求都拦截 --> <bean id="myInterceptor" class="com.zwp.action.MyHandlerInterceptor"></bean> <!-- 只针对部分请求拦截 --> <mvc:interceptor> <mvc:mapping path="/modelMap.do" /> <bean class="com.zwp.action.MyHandlerInterceptorAdapter" /> </mvc:interceptor> </mvc:interceptors> 注解原理: 注解本质是一个继承了Annotation的特殊接口,其具体实现类是Java运行时生成的动态代理类。我们通过反射获取注解时,返回的是Java运行时生成的动态代理对象。通过代理对象调用自定义注解的方法,会最终调用AnnotationInvocationHandler的invoke方法。该方法会从memberValues这个Map中索引出对应的值。而memberValues的来源是Java常量池 三、Mybatis篇 什么是MyBatis? MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。 讲下MyBatis的缓存 MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有, 二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口, 可在它的映射文件中配置<cache/> Mybatis是如何进行分页的?分页插件的原理是什么? 1)Mybatis使用RowBounds对象进行分页,也可以直接编写sql实现分页,也可以使用Mybatis的分页插件。 2)分页插件的原理:实现Mybatis提供的接口,实现自定义插件,在插件的拦截方法内拦截待执行的sql,然后重写sql。 举例:select * from student,拦截sql后重写为:select t.* from (select * from student)t limit 0,10 简述Mybatis的插件运行原理,以及如何编写一个插件? 1)Mybatis仅可以编写针对ParameterHandler、ResultSetHandler、StatementHandler、 Executor这4种接口的插件,Mybatis通过动态代理, 为需要拦截的接口生成代理对象以实现接口方法拦截功能, 每当执行这4种接口对象的方法时,就会进入拦截方法, 具体就是InvocationHandler的invoke方法,当然, 只会拦截那些你指定需要拦截的方法。 2)实现Mybatis的Interceptor接口并复写intercept方法, 然后在给插件编写注解,指定要拦截哪一个接口的哪些方法即可, 记住,别忘了在配置文件中配置你编写的插件。 Mybatis动态sql是做什么的?都有哪些动态sql?能简述一下动态sql的执行原理不? 1)Mybatis动态sql可以让我们在Xml映射文件内, 以标签的形式编写动态sql,完成逻辑判断和动态拼接sql的功能。 2)Mybatis提供了9种动态sql标签:trim|where|set|foreach|if|choose|when|otherwise|bind。 3)其执行原理为,使用OGNL从sql参数对象中计算表达式的值, 根据表达式的值动态拼接sql,以此来完成动态sql的功能。 #{}和${}的区别是什么? 1)#{}是预编译处理,${}是字符串替换。 2)Mybatis在处理#{}时,会将sql中的#{}替换为?号,调用PreparedStatement的set方法来赋值(有效的防止SQL注入); 3)Mybatis在处理${}时,就是把${}替换成变量的值。 为什么说Mybatis是半自动ORM映射工具?它与全自动的区别在哪里? Hibernate属于全自动ORM映射工具, 使用Hibernate查询关联对象或者关联集合对象时, 可以根据对象关系模型直接获取,所以它是全自动的。 而Mybatis在查询关联对象或关联集合对象时, 需要手动编写sql来完成,所以,称之为半自动ORM映射工具。 Mybatis是否支持延迟加载?如果支持,它的实现原理是什么? 1)Mybatis仅支持association关联对象和collection关联集合对象的延迟加载, association指的就是一对一,collection指的就是一对多查询。 在Mybatis配置文件中, 可以配置是否启用延迟加载lazyLoadingEnabled=true|false。 2)它的原理是,使用CGLIB创建目标对象的代理对象, 当调用目标方法时,进入拦截器方法, 比如调用a.getB.getName, 拦截器invoke方法发现a.getB是null值, 那么就会单独发送事先保存好的查询关联B对象的sql, 把B查询上来,然后调用a.setB(b), 于是a的对象b属性就有值了, 接着完成a.getB.getName方法的调用。 这就是延迟加载的基本原理。 MyBatis与Hibernate有哪些不同? 1)Mybatis和hibernate不同,它不完全是一个ORM框架, 因为MyBatis需要程序员自己编写Sql语句, 不过mybatis可以通过XML或注解方式灵活配置要运行的sql语句, 并将java对象和sql语句映射生成最终执行的sql, 最后将sql执行的结果再映射生成java对象。 2)Mybatis学习门槛低,简单易学,程序员直接编写原生态sql, 可严格控制sql执行性能,灵活度高,非常适合对关系数据模型要求不高的软件开发, 例如互联网软件、企业运营类软件等,因为这类软件需求变化频繁, 一但需求变化要求成果输出迅速。但是灵活的前提是mybatis无法做到数据库无关性, 如果需要实现支持多种数据库的软件则需要自定义多套sql映射文件,工作量大。 3)Hibernate对象/关系映射能力强,数据库无关性好, 对于关系模型要求高的软件(例如需求固定的定制化软件) 如果用hibernate开发可以节省很多代码,提高效率。 但是Hibernate的缺点是学习门槛高,要精通门槛更高, 而且怎么设计O/R映射,在性能和对象模型之间如何权衡, 以及怎样用好Hibernate需要具有很强的经验和能力才行。 总之,按照用户的需求在有限的资源环境下只要能做出维护性、 扩展性良好的软件架构都是好架构,所以框架只有适合才是最好。 MyBatis的好处是什么? 1)MyBatis把sql语句从Java源程序中独立出来,放在单独的XML文件中编写, 给程序的维护带来了很大便利。 2)MyBatis封装了底层JDBC API的调用细节,并能自动将结果集转换成Java Bean对象, 大大简化了Java数据库编程的重复工作。 3)因为MyBatis需要程序员自己去编写sql语句, 程序员可以结合数据库自身的特点灵活控制sql语句, 因此能够实现比Hibernate等全自动orm框架更高的查询效率,能够完成复杂查询。 简述Mybatis的Xml映射文件和Mybatis内部数据结构之间的映射关系? Mybatis将所有Xml配置信息都封装到All-In-One重量级对象Configuration内部。 在Xml映射文件中,<parameterMap>标签会被解析为ParameterMap对象, 其每个子元素会被解析为ParameterMapping对象。 <resultMap>标签会被解析为ResultMap对象, 其每个子元素会被解析为ResultMapping对象。 每一个<select>、<insert>、<update>、<delete> 标签均会被解析为MappedStatement对象, 标签内的sql会被解析为BoundSql对象。 什么是MyBatis的接口绑定,有什么好处? 接口映射就是在MyBatis中任意定义接口,然后把接口里面的方法和SQL语句绑定, 我们直接调用接口方法就可以,这样比起原来了SqlSession提供的方法我们可以有更加灵活的选择和设置. 接口绑定有几种实现方式,分别是怎么实现的? 接口绑定有两种实现方式,一种是通过注解绑定,就是在接口的方法上面加 上@Select@Update等注解里面包含Sql语句来绑定, 另外一种就是通过xml里面写SQL来绑定,在这种情况下, 要指定xml映射文件里面的namespace必须为接口的全路径名. 什么情况下用注解绑定,什么情况下用xml绑定? 当Sql语句比较简单时候,用注解绑定;当SQL语句比较复杂时候,用xml绑定,一般用xml绑定的比较多 MyBatis实现一对一有几种方式?具体怎么操作的? 有联合查询和嵌套查询,联合查询是几个表联合查询,只查询一次, 通过在resultMap里面配置association节点配置一对一的类就可以完成; 嵌套查询是先查一个表,根据这个表里面的结果的外键id, 去再另外一个表里面查询数据,也是通过association配置, 但另外一个表的查询通过select属性配置。 Mybatis能执行一对一、一对多的关联查询吗?都有哪些实现方式,以及它们之间的区别? 能,Mybatis不仅可以执行一对一、一对多的关联查询, 还可以执行多对一,多对多的关联查询,多对一查询, 其实就是一对一查询,只需要把selectOne修改为selectList即可; 多对多查询,其实就是一对多查询,只需要把selectOne修改为selectList即可。 关联对象查询,有两种实现方式,一种是单独发送一个sql去查询关联对象, 赋给主对象,然后返回主对象。另一种是使用嵌套查询,嵌套查询的含义为使用join查询, 一部分列是A对象的属性值,另外一部分列是关联对象B的属性值, 好处是只发一个sql查询,就可以把主对象和其关联对象查出来。 MyBatis里面的动态Sql是怎么设定的?用什么语法? MyBatis里面的动态Sql一般是通过if节点来实现,通过OGNL语法来实现, 但是如果要写的完整,必须配合where,trim节点,where节点是判断包含节点有 内容就插入where,否则不插入,trim节点是用来判断如果动态语句是以and 或or 开始,那么会自动把这个and或者or取掉。 Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式? 第一种是使用<resultMap>标签,逐一定义列名和对象属性名之间的映射关系。 第二种是使用sql列的别名功能,将列别名书写为对象属性名, 比如T_NAME AS NAME,对象属性名一般是name,小写, 但是列名不区分大小写,Mybatis会忽略列名大小写,
-
python 在线编译器的简单原理和简单实现代码
-
.NET高级面试指南 Topic XVIII [ 介绍外观模式(Appearance Pattern),该模式提供了一个隐藏系统复杂性的简化界面 ]。- 简化复杂系统:当系统具有复杂的子系统结构时,可以使用外观模式来简化界面。提供统一界面:当客户端需要访问多个子系统时,可以使用外观模式提供统一界面。 外观模式在现代软件开发中得到广泛应用,尤其是在复杂系统中。例如 图形用户界面库:许多图形用户界面库(如 Qt、GTK+ 等)都使用外观模式来隐藏底层的复杂性,并为开发人员提供简单的界面来创建用户界面。 操作系统接口:操作系统中的系统调用和应用程序接口通常也使用外观模式来隐藏底层硬件和系统的复杂性,为应用程序提供访问系统资源的简单接口。企业应用程序:在可能涉及多个子系统的大型企业应用程序中,外观模式可用于封装这些子系统,并为客户端提供统一的使用界面。 网络框架:许多网络框架(如 ASP.NET MVC、Spring MVC 等)也使用外观模式来隐藏底层的复杂性,并为开发人员提供简单的接口来处理 HTTP 请求和响应。 集成开发环境(IDE):集成开发环境通常包含代码编辑器、编译器、调试器等多种功能。外观模式可用于封装这些功能,并为开发人员提供开发软件的简单界面。 代码示例:
-
南邮OJ Web任务大揭秘:层层挑战剖析 1. 挑战一:迷宫般的目录探索 题目作者似乎穷举了所有可能的目录组合,最终在404.php中的