增强用户代码安全性的在线编译器(第二部分)
此文已由作者姚太行授权网易云社区发布。
欢迎访问网易云社区,了解更多网易技术产品运营经验。
前文连接
案例的介绍已在前文中给出,本文中对相关部分将不再叙述。为更好地阅读本文,需要简单了解背景,建议可以大致浏览下前文:
代码在线编译器(上)- 编辑及编译
安全检测
在线编译器中的安全检测,目的是确定用户代码是否能够安全的运行,且不对运行环境产生危害。仍以一般场景和特殊场景(前文有说明)举例区分:
一般场景:用户代码仅依赖原生库,运行环境选择沙箱情况下,沙箱间相互独立,用户代码导致的环境损害只会作用于单一沙箱,不会影响到其他沙箱及底层系统的正常使用。
特殊场景:用户代码依赖平台提供API,运行环境无法使用独立的沙箱,用户代码不良操作可能会引起整个运行环境的异常,从而导致其他用户代码运行失败或服务器崩溃等情况。
所以,在特殊场景下,如何对用户代码是否符合安全要求作出判定,是安全 检测的内容。
在搭建一个合理的安全检测流程时,不能直接进入对代码分析的阶段,在此之前搞清楚用户代码生命周期涉及的各个阶段是必要的,只有充分了解被检测对象和检测目标的基础上,才能给出一个合理的流程:
谁写的代码:代码编写的用户及用户形象
代码写成什么样:代码语言、结构、内容等内容分析
代码怎么用:代码运行、功能、效果等调用分析
如何检测:设计合理检测流程
用户形象 -“谁写的代码”
用户形象及背景的分析,往往是在纯技术实现过程中容易忽略的问题。
在一开始搭建网易贵金属量化平台的时候,大部分精力放置在基于用户代码本身的安全检测方案上,忽略了对用户角度的考虑,导致在没有对用户的形象及能力有一个正确评估的情形下构建的安全检测方案,总出现“出乎意料”、“覆盖不全”等情况,用户代码总超出预想范围。反思后,我们更换了切入点,先从用户形象和可能的行为入手,重新构思并设计了检测流程,使得检测的覆盖方面大大增加,实现起来也更为容易。
用户形象,主要是明确代码编写的用户主体,究竟是以何种状态和知识水平参与到代码编写过程中的,需要明确的用户形象相关的内容主要可以涵盖:
用户编程知识背景:用户是否具备相关编程语言的编程经验,以及编程语言的熟悉程度。最不利的假设,如果用户甚至没接触过对应的编程语言,直接在代码demo上做修改,一定会出现各种各样的错误。
用户业务知识背景:用户是否具备代码涉及业务的知识背景,以及业务知识的掌握程度。特殊场景下,用户代码编写一业务背景相对较明确的代码时,如果对业务知识背景掌握不是很好,写出来的代码可能未必符合合理的逻辑。
用户操作引导效果:用户是否会按照平台给出的引导进行操作。如果用户对帮助文档等引导未做到详细阅读以及完全理解,用户代码在结构和逻辑上可能都会出问题。
用户意图:用户使用平台的意图是不明确的,有一定可能会存在恶意用户以破坏平台为目的,利用在线编译器进行破坏。
对上述关注点,不能对用户的情况抱有幻想,所做的用户形象假设应考虑最不利的情况。简而言之:
用户代码永远是不可信的。
案例说明
网易贵金属量化平台(上一篇文章中已做介绍),提供Java在线编译器,用户代码内容为量化投资策略逻辑描述,用户形象中构想的一些不利情况下的假设:
用户背景不尽相同,有些用户之前可能未接触过Java,不能奢求代码语法合法性
用户技术水平是参差不齐的,代码写成什么样都有可能,不能奢求代码规范
即便是帮助文档写的再好,用户也未必会看的完全,不能奢求代码操作合理性
用户未必会按照你的要求规范,老老实实按照给出的Demo流程书写,不能奢求代码符合预定流程
用户未必清楚一个量化策略从何开始、到哪结束、需要包含什么内容,不能奢求代码逻辑合理性
可能出现一些恶意用户,目的就是来搞破坏的,不能奢求代码安全性
首先把用户代码可能触发安全问题的原因明确后,再根据不同的原因设计对应的解决方案,就会大大提升安全检测流程的有效性。
代码内容分析 -“代码写成什么样”
代码内容分析,主要是分析代码涉及的内容、结构等方面的情况,以方便在未获得用户代码之前,对用户代码可能涉及和存在的内容作出预判,从而构思应对思路,关注点涵盖:
代码结构:以Java为例,可以明确是否以类为主体,是否包含必要的方法,是否有明确的方法结构
业务逻辑:代码本身是否存在明确的业务逻辑结构
包含引用:代码是否必须引用其他类,或者类中的某个方法
数据交互:用户代码和平台间存在哪些涉及到数据交互的内容,输入输出的内容。
以上的关注点明确后,配合平台在用户代码构建阶段对代码结构的固定,基本可以在用户代码获得前,明确用户代码的大致过程。
案例说明
网易贵金属量化平台,代码结构固定,必须实现策略类模板接口(上一篇文章有介绍),业务逻辑上非常明确,策略代码的行为抽象主要包含:
通过对策略代码的行为抽象,即可明确代码所包含的所有业务、业务对应类引用以及会产生数据交互的内容。上图中将行为抽象为树结构,对行为点以范畴进行区分,并明确标记输入(I)、输出(O)等产生数据交互的关注点,以便之后根据此构建代码检测流程。
代码使用分析 -“代码怎么用”
用户代码最终需要加载至运行环境进行调用的,在平台调用用户代码的过程中,调用细节也会影响到安全检测的规划及构思细节。关于使用分析的关注点,可以从以下方面考虑:
编译过程:编译过程细节
语言是否需要编译
编译是否伴随诊断,而诊断过程中包含的诊断内容
编译结果存储形式(文件、数据库或内存)
调用过程:平台调用细节
调用用户代码中的何类
调用用户代码中的何方法
调用方式(一次性调用、循环触发、定时触发、事件触发等)
调用期间数据交互(内容分析基础上,分析数据最初来源及最终流向,文件、数据库、内存等)
运行结束:结束用户代码留存情况
调用后是否会被平台用作其他功用
调用后代码编译类是否会被类加载器剔除
调用后用户代码是否还会留存在系统内
通过使用分析,可以规划出在整个生命周期内,用户代码跟平台产生交互的部分,这些不同层次的交互中可能会对系统安全产生威胁,故在安全检测流程设计时,应结合不同的交互层次给出不同检测策略。
案例说明
网易贵金属量化平台(前文对案例有所介绍),在使用分析的流程上大概可简述为:
编译过程:Java语言,需要进行编译,编译过程伴随诊断,最终编译结果以类字节码的形式存在,无需落地
调用过程:
用户代码为策略类的实现,调用时,该类被加载至服务器的类加载器。
调用策略类中的init方法以完成该策略类对象初始化、循环调用handle方法以在行情的每一个调度周期内完成相应动作、最终调用onExit方法来完成策略调用过程。
数据交互上,用户策略类在使用过程中,会读取内存中的行情信息,并根据策略逻辑内容产生交易信息(开仓信息、平仓信息)。
运行结束:用户代码在调用后,用户策略类将不会做其他使用,类加载器中将把该类从加载器中剔除,策略类的实例对象将会被GC回收。
安全检测流程 -“如何检测”
上述流程后,用户代码的生命周期及使用场景基本描绘完全,可根据具体场景构建安全检测流程。
布局
不要奢求安全检测能够一次性完成,即便是一次性能够实现安全检测的目的,代价上也是得不偿失的。
安全检测应分布于代码生命周期的各个阶段。
能够一次性检测的方法,理论上一定会部署在整个代码生命周期内足够靠后的位置,一旦用户代码被检测出安全问题不在被平台运行时,之前的所有操作都是白费的;如果采用将安全检测分布于生命周期的各个阶段的方案,不同阶段解决不同的安全检测问题,能够尽早发现代码的安全问题,从而尽早打断,减少不必要的操作以及资源消耗。
检测内容及目的
简而言之,检测的目的就是:保证用户代码仅在允许范围内可用。
以此为根本目的,检测内容的关注点可包含:
用户代码是否使用了规定范围外的类
用户代码是否使用了规定范围外的方法
用户代码是否存在了规定范围外的行为
用户代码是否存在了不易检测的不良行为(大内存使用、长时间线程占用)
以上内容相对较为抽象,后文将结合具体案例,对使用到的相关技术及具体细节作出介绍。
案例说明
网易贵金属量化平台,随着对Java在线编译器认知的不断加深,安全检测流程也在不断的健全。
最简单的版本
用户可以自主导入JDK相关包,平台补充API相关包。源代码生成后,利用JavaComplier中的诊断信息,即能完全判定某策略类是否在当前的项目环境中可运行的。
面临的问题:
未对import导入的包做限制,用户可使用JDK所有类
即便对import做限制后,默认导入的java.lang以及当前类所在包是默认导入的,其中的类无法限制导入
导致的问题:
用户可以使用System等系统相关类,影响系统状态
用户可以向外部发送网络请求
用户可以自己创建线程
...
更新后的检测流程
通过对用户代码的内容分析、运行分析后,得出这样一个结论:如果只希望用户使用平台提供的服务与行为,就必须限制其余行为,但行为的执行实质就是“方法”,但方法的执行主体是“类及对象”,所以“限制行为的实质就是限制类使用”。
以此认识为核心,并按照将检测流程分布在代码生命周期的各个阶段的思想,量化平台规划出的检测流程如下:
检测流程被分布在了编译前、编译时、编译后的各个流程内,具体内容包括:
编译前-编译预检:
指定所有编译后的类所在包路径
检测文件是否为空
检测文件是否单独进行包导入
检测文件是否包含策略模板接口实现类
检测类是否唯一以及是否存在内部类
代码简单词法分析:
代码存放位置限定:
编译时-编译诊断:
获得类源代码编译过程中的诊断信息,判定是否存在诊断
编译后-结果检查:
对编译后的.class字节码进行解析,找到其中涉及到的所有类,进行安全类列表的白名单检查
类列表安全检查:
对于编译前及编译时涉及到的检测内容,在前文《代码在线编译器(上)- 编辑及编译》中均有过详细的介绍,这里主要介绍下类列表安全检查的相关内容。
类列表安全检查
目的就是,找到用户策略中所有涉及到的类,与类白名单进行比对,验证这些类是否均在白名单内,如果出现了名单外的类,认为用户代码不安全,可拒绝运行,并给用户作出反馈。
类白名单
类白名单中的类来自两部分:
平台提供的API所涉及的类
必须使用的JDK中的类(java.lang中的类也要单独指明,java.lang中不是所有类都可用)
三方工具包中的类
获得涉及类
在获得用户代码所有涉及类的过程中,思路有两种:
从源代码进行分析:利用编译原理中的抽象语法树(Abstract Syntax Tree)
从字节码进行分析:利用Java字节码框架,直接分析字节码构成。
class类字节码作为代码编译后最终体现,可以反馈实际用到的所有类,实际实现过程中,也是选用此方案进行实施的。
使用的字节码框架为ASM。
ASM使用
简介
ASM 是一个 Java 字节码操控框架。它能被用来动态生成类或者增强既有类的功能。ASM 可以直接产生二进制 class 文件,也可以在类被加载入 Java 虚拟机之前动态改变类行为。Java class 被存储在严格格式定义的 .class 文件里,这些类文件拥有足够的元数据来解析类中的所有元素:类名称、方法、属性以及 Java 字节码(指令)。ASM 从类文件中读入信息后,能够改变类行为,分析类信息,甚至能够根据要求生成新类。ASM最常用的使用场景就是静态AOP的实现(例如CGLIB)。
本文使用ASM,分析类信息,从而提炼出类字节码中使用涉及到的所有类。
class文件结构
在分析class文件之前,先对class结构作出简要介绍:
文件各部分含义如下:
Magic:该项存放了一个 Java 类文件的魔数(magic number)和版本信息。一个 Java 类文件的前 4 个字节被称为它的魔数。每个正确的 Java 类文件都是以 0xCAFEBABE 开头的,这样保证了 Java 虚拟机能很轻松的分辨出 Java 文件和非 Java 文件。
Version:该项存放了 Java 类文件的版本信息。
Constant Pool:该项存放了类中各种文字字符串、类名、方法名和接口名称、final变量以及对外部类的引用信息等常量。虚拟机必须为每一个被装载的类维护一个常量池,常量池中存储了相应类型所用到的所有类型、字段和方法的符号引用。
Access_flag:该项指明了该文件中定义的是类还是接口(一个class文件中只能有一个类或接口),同时还指名了类或接口的访问标志,如 public,private, abstract 等信息。
This Class:指向表示该类全限定名称的字符串常量的指针。
Super Class:指向表示父类全限定名称的字符串常量的指针。
Interfaces:一个指针数组,存放了该类或父类实现的所有接口名称的字符串常量的指针。
Fields:该项对类或接口中声明的字段进行了细致的描述,仅列出了本类或接口中的字段,并不包括从超类和父接口继承而来的字段。
Methods:该项对类或接口中声明的方法进行了细致的描述。例如方法的名称、参数和返回值类型等。需要注意的是,methods 列表里仅存放了本类或本接口中的方法,并不包括从超类和父接口继承而来的方法。
Class attributes:该项存放了在该文件中类或接口所定义的属性的基本信息。
在这些内容中涉及到类名的部分为Fileds和Methods,需使用ASM对这一部分内容进行浏览。
class文件内容获取
以一段简单的包含Fields和Methods的代码为例,说明一下类在字节码中的体现形式。
源码
public class IniBean {private static Logger logger = LoggerFactory.getLogger("inibean");private static AtomicBoolean initFlag = new AtomicBoolean(true);@PostConstructpublic void init() { logger.info("[IniBean] init method invoke.");if (initFlag.getAndSet(false)) { refreshIniInfo(); } } ...
编译后字节码
public void init(); Code: 0: getstatic #2 // Field logger:Lorg/slf4j/Logger; 3: ldc #3 // String [IniBean] init method invoke. 5: invokeinterface #4, 2 // InterfaceMethod org/slf4j/Logger.info:(Ljava/lang/String;)V 10: getstatic #5 // Field initFlag:Ljava/util/concurrent/atomic/AtomicBoolean; 13: iconst_0 14: invokevirtual #6 // Method java/util/concurrent/atomic/AtomicBoolean.getAndSet:(Z)Z 17: ifeq 24 20: aload_0 21: invokevirtual #7 // Method refreshIniInfo:()V 24: return
编译后的字节码中,类名以文件结构(注意此处不是“.”而是以“/”分割的路径,通过class.getClassName()获得的是以“.”分割的类包路径,比对前需要注意转换)进行体现,利用ASM浏览类文件字节码即可获得涉及的类列表。
ASM过程
关键类说明
简要说明几个用到的关键类:
-
org.objectweb.asm.ClassVisitor
/** * A visitor to visit a Java class. The methods of this class must be called in * the following order: <tt>visit</tt> [ <tt>visitSource</tt> ] [ * <tt>visitOuterClass</tt> ] ( <tt>visitAnnotation</tt> | * <tt>visitTypeAnnotation</tt> | <tt>visitAttribute</tt> )* ( * <tt>visitInnerClass</tt> | <tt>visitField</tt> | <tt>visitMethod</tt> )* * <tt>visitEnd</tt>. *
类访问器,用于访问类节点。
-
org.objectweb.asm.ClassReader
/** * A Java class parser to make a {@link ClassVisitor} visit an existing class. * This class parses a byte array conforming to the Java class file format and * calls the appropriate visit methods of a given class visitor for each field, * method and bytecode instruction encountered. * ...
用于读入类字节码相关内容,并提供内部元素访问方法。
-
org.objectweb.asm.tree.ClassNode
/** * A node that represents a class. *
表示一个类,与class文件结构对应,继承于org.objectweb.asm.ClassVisitor。
-
org.objectweb.asm.ClassWriter
/** * A {@link ClassVisitor} that generates classes in bytecode form. More * precisely this visitor generates a byte array conforming to the Java class * file format. It can be used alone, to generate a Java class "from scratch", * or with one or more {@link ClassReader ClassReader} and adapter class visitor * to generate a modified class from one or more existing Java classes. *
类写入器,并提供了类逐行扫描的过程。
流程简述
-
读入类字节码内容内容
ClassReader cr = new ClassReader(classByte);
-
生成类节点对象ClassNode、类编写器ClassWriter(用于使用AbstractInsnNode)
this.classNode = new ClassNode();// 初始化classNode-进行类结构粗扫描classReader.accept(classNode, ClassReader.SKIP_DEBUG);// 初始化ASMClassAdapter-进行方法内逐行扫描ClassWriter cw = new ClassWriter(ClassWriter.COMPUTE_MAXS); classAdapter = new ASMClassAdapter(cw); classReader.accept(classAdapter, ClassReader.SKIP_DEBUG);
3.遍历Fields
private Set<String> getClassInFields() { Set<String> result = new HashSet<>();// 0.0 获得所有属性List<FieldNode> fieldList = this.classNode.fields;for (FieldNode fieldNode : fieldList) {// 1.0 获得类名String classNameStr = Type.getType(fieldNode.desc).getClassName();// 2.0 将真实类名填写到类列表内result.add(ASMConstant.pickClassName(classNameStr)); }return result; }
4.遍历所有Methods
private Set<String> getClassInMethods() { Set<String> result = new HashSet<>();// 0.0 获得所有方法List<MethodNode> methodList = this.classNode.methods;for (MethodNode methodNode : methodList) { // 1.1 如果是构造方法,则捕获当前类类型 if(ASMConstant.METHOD_TYPE_INIT.equals(methodNode.name)){ result.add(ASMConstant.pickClassName(this.classNode.name.replaceAll("\\/", "\\."))); } // 1.2 提取参数 for(Type argumentType : Type.getArgumentTypes(methodNode.desc)){ result.add(ASMConstant.pickClassName(argumentType.getClassName())); } // 1.3 提取局部变量 List<LocalVariableNode> lvNodeList = methodNode.localVariables; for (LocalVariableNode lvn : lvNodeList) { result.add(ASMConstant.pickClassName(Type.getType(lvn.desc).getClassName())); } }return result; }
5.Methods内逐行遍历(前一步只对Methods声明作出遍历)
public void visitInsn(int opcode) { Iterator<AbstractInsnNode> itr = this.instructions.iterator(0);while (itr.hasNext()) { AbstractInsnNode insn = itr.next();switch (insn.getType()) {case AbstractInsnNode.FIELD_INSN:// 1.0 方法内局部变量String fieldInsnDesc = ((FieldInsnNode) insn).desc;// 1.1 获得类名String classNameStr = ASMConstant.pickClassName(Type.getType(fieldInsnDesc).getClassName());// 1.2 将真实类名填写到类列表内this.classSet.add(classNameStr);break;case AbstractInsnNode.METHOD_INSN:// 2.0 方法内调用的方法String methodInsnOwner = ((MethodInsnNode) insn).owner;// 2.1 名称转换 this.classSet.add(ASMConstant.pickClassName(methodInsnOwner.replaceAll("\\/", "\\.")));break; case AbstractInsnNode.TYPE_INSN:// 3.0方法内调用的类型String typeInsnDesc = ((TypeInsnNode) insn).desc;this.classSet.add(ASMConstant.pickClassName(typeInsnDesc.replaceAll("\\/", "\\.")));break; ...
经历以上过程汇总后,即可获得某类字节码中涉及的所有类列表,再与明确构建的白名单列表作出比对,即可验证类使用范畴的安全性。
心得
工程实践积累经验,不但需要在过程中提高熟练度,更需要从实践中抽象模型、整理思路、总结理论,追求技术中由“技”到“术”获得的沉淀。
免费体验云安全(易盾)内容安全、验证码等服务
更多网易技术、产品、运营经验分享请点击。
相关文章:
【推荐】 [翻译]pytest测试框架(一)
【推荐】 Flask写web时cookie的处理
【推荐】 Wireshark对HTTPS数据的解密
下一篇: 哪个平台可以提供高效的表单制作工具?
推荐阅读
-
增强用户代码安全性的在线编译器(第二部分)
-
SSM三大框架基础面试题-一、Spring篇 什么是Spring框架? Spring是一种轻量级框架,提高开发人员的开发效率以及系统的可维护性。 我们一般说的Spring框架就是Spring Framework,它是很多模块的集合,使用这些模块可以很方便地协助我们进行开发。这些模块是核心容器、数据访问/集成、Web、AOP(面向切面编程)、工具、消息和测试模块。比如Core Container中的Core组件是Spring所有组件的核心,Beans组件和Context组件是实现IOC和DI的基础,AOP组件用来实现面向切面编程。 Spring的6个特征: 核心技术:依赖注入(DI),AOP,事件(Events),资源,i18n,验证,数据绑定,类型转换,SpEL。 测试:模拟对象,TestContext框架,Spring MVC测试,WebTestClient。 数据访问:事务,DAO支持,JDBC,ORM,编组XML。 Web支持:Spring MVC和Spring WebFlux Web框架。 集成:远程处理,JMS,JCA,JMX,电子邮件,任务,调度,缓存。 语言:Kotlin,Groovy,动态语言。 列举一些重要的Spring模块? Spring Core:核心,可以说Spring其他所有的功能都依赖于该类库。主要提供IOC和DI功能。 Spring Aspects:该模块为与AspectJ的集成提供支持。 Spring AOP:提供面向切面的编程实现。 Spring JDBC:Java数据库连接。 Spring JMS:Java消息服务。 Spring ORM:用于支持Hibernate等ORM工具。 Spring Web:为创建Web应用程序提供支持。 Spring Test:提供了对JUnit和TestNG测试的支持。 谈谈自己对于Spring IOC和AOP的理解 IOC(Inversion Of Controll,控制反转)是一种设计思想: 在程序中手动创建对象的控制权,交由给Spring框架来管理。IOC在其他语言中也有应用,并非Spring特有。IOC容器实际上就是一个Map(key, value),Map中存放的是各种对象。 将对象之间的相互依赖关系交给IOC容器来管理,并由IOC容器完成对象的注入。这样可以很大程度上简化应用的开发,把应用从复杂的依赖关系中解放出来。IOC容器就像是一个工厂一样,当我们需要创建一个对象的时候,只需要配置好配置文件/注解即可,完全不用考虑对象是如何被创建出来的。在实际项目中一个Service类可能由几百甚至上千个类作为它的底层,假如我们需要实例化这个Service,可能要每次都搞清楚这个Service所有底层类的构造函数,这可能会把人逼疯。如果利用IOC的话,你只需要配置好,然后在需要的地方引用就行了,大大增加了项目的可维护性且降低了开发难度。 Spring中的bean的作用域有哪些? 1.singleton:该bean实例为单例 2.prototype:每次请求都会创建一个新的bean实例(多例)。 3.request:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP request内有效。 4.session:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP session内有效。 5.global-session:全局session作用域,仅仅在基于Portlet的Web应用中才有意义,Spring5中已经没有了。Portlet是能够生成语义代码(例如HTML)片段的小型Java Web插件。它们基于Portlet容器,可以像Servlet一样处理HTTP请求。但是与Servlet不同,每个Portlet都有不同的会话。 Spring中的单例bean的线程安全问题了解吗? 概念用于理解:大部分时候我们并没有在系统中使用多线程,所以很少有人会关注这个问题。单例bean存在线程问题,主要是因为当多个线程操作同一个对象的时候,对这个对象的非静态成员变量的写操作会存在线程安全问题。 有两种常见的解决方案(用于回答的点): 1.在bean对象中尽量避免定义可变的成员变量(不太现实)。 2.在类中定义一个ThreadLocal成员变量,将需要的可变成员变量保存在ThreadLocal(线程本地化对象)中(推荐的一种方式)。 ThreadLocal解决多线程变量共享问题(参考博客):https://segmentfault.com/a/1190000009236777 Spring中Bean的生命周期: 1.Bean容器找到配置文件中Spring Bean的定义。 2.Bean容器利用Java Reflection API创建一个Bean的实例。 3.如果涉及到一些属性值,利用set方法设置一些属性值。 4.如果Bean实现了BeanNameAware接口,调用setBeanName方法,传入Bean的名字。 5.如果Bean实现了BeanClassLoaderAware接口,调用setBeanClassLoader方法,传入ClassLoader对象的实例。 6.如果Bean实现了BeanFactoryAware接口,调用setBeanClassFacotory方法,传入ClassLoader对象的实例。 7.与上面的类似,如果实现了其他*Aware接口,就调用相应的方法。 8.如果有和加载这个Bean的Spring容器相关的BeanPostProcessor对象,执postProcessBeforeInitialization方法。 9.如果Bean实现了InitializingBean接口,执行afeterPropertiesSet方法。 10.如果Bean在配置文件中的定义包含init-method属性,执行指定的方法。 11.如果有和加载这个Bean的Spring容器相关的BeanPostProcess对象,执行postProcessAfterInitialization方法。 12.当要销毁Bean的时候,如果Bean实现了DisposableBean接口,执行destroy方法。 13.当要销毁Bean的时候,如果Bean在配置文件中的定义包含destroy-method属性,执行指定的方法。 Spring框架中用到了哪些设计模式? 1.工厂设计模式:Spring使用工厂模式通过BeanFactory和ApplicationContext创建bean对象。 2.代理设计模式:Spring AOP功能的实现。 3.单例设计模式:Spring中的bean默认都是单例的。 4.模板方法模式:Spring中的jdbcTemplate、hibernateTemplate等以Template结尾的对数据库操作的类,它们就使用到了模板模式。 5.包装器设计模式:我们的项目需要连接多个数据库,而且不同的客户在每次访问中根据需要会去访问不同的数据库。这种模式让我们可以根据客户的需求能够动态切换不同的数据源。 6.观察者模式:Spring事件驱动模型就是观察者模式很经典的一个应用。 7.适配器模式:Spring AOP的增强或通知(Advice)使用到了适配器模式、Spring MVC中也是用到了适配器模式适配Controller。 还有很多。。。。。。。 @Component和@Bean的区别是什么 1.作用对象不同。@Component注解作用于类,而@Bean注解作用于方法。 2.@Component注解通常是通过类路径扫描来自动侦测以及自动装配到Spring容器中(我们可以使用@ComponentScan注解定义要扫描的路径)。@Bean注解通常是在标有该注解的方法中定义产生这个bean,告诉Spring这是某个类的实例,当我需要用它的时候还给我。 3.@Bean注解比@Component注解的自定义性更强,而且很多地方只能通过@Bean注解来注册bean。比如当引用第三方库的类需要装配到Spring容器的时候,就只能通过@Bean注解来实现。 @Configuration public class AppConfig { @Bean public TransferService transferService { return new TransferServiceImpl; } } <beans> <bean id="transferService" class="com.kk.TransferServiceImpl"/> </beans> @Bean public OneService getService(status) { case (status) { when 1: return new serviceImpl1; when 2: return new serviceImpl2; when 3: return new serviceImpl3; } } 将一个类声明为Spring的bean的注解有哪些? 声明bean的注解: @Component 组件,没有明确的角色 @Service 在业务逻辑层使用(service层) @Repository 在数据访问层使用(dao层) @Controller 在展现层使用,控制器的声明 注入bean的注解: @Autowired:由Spring提供 @Inject:由JSR-330提供 @Resource:由JSR-250提供 *扩:JSR 是 java 规范标准 Spring事务管理的方式有几种? 1.编程式事务:在代码中硬编码(不推荐使用)。 2.声明式事务:在配置文件中配置(推荐使用),分为基于XML的声明式事务和基于注解的声明式事务。 Spring事务中的隔离级别有哪几种? 在TransactionDefinition接口中定义了五个表示隔离级别的常量:ISOLATION_DEFAULT:使用后端数据库默认的隔离级别,Mysql默认采用的REPEATABLE_READ隔离级别;Oracle默认采用的READ_COMMITTED隔离级别。ISOLATION_READ_UNCOMMITTED:最低的隔离级别,允许读取尚未提交的数据变更,可能会导致脏读、幻读或不可重复读。ISOLATION_READ_COMMITTED:允许读取并发事务已经提交的数据,可以阻止脏读,但是幻读或不可重复读仍有可能发生ISOLATION_REPEATABLE_READ:对同一字段的多次读取结果都是一致的,除非数据是被本身事务自己所修改,可以阻止脏读和不可重复读,但幻读仍有可能发生。ISOLATION_SERIALIZABLE:最高的隔离级别,完全服从ACID的隔离级别。所有的事务依次逐个执行,这样事务之间就完全不可能产生干扰,也就是说,该级别可以防止脏读、不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。 Spring事务中有哪几种事务传播行为? 在TransactionDefinition接口中定义了八个表示事务传播行为的常量。 支持当前事务的情况:PROPAGATION_REQUIRED:如果当前存在事务,则加入该事务;如果当前没有事务,则创建一个新的事务。PROPAGATION_SUPPORTS: 如果当前存在事务,则加入该事务;如果当前没有事务,则以非事务的方式继续运行。PROPAGATION_MANDATORY: 如果当前存在事务,则加入该事务;如果当前没有事务,则抛出异常。(mandatory:强制性)。 不支持当前事务的情况:PROPAGATION_REQUIRES_NEW: 创建一个新的事务,如果当前存在事务,则把当前事务挂起。PROPAGATION_NOT_SUPPORTED: 以非事务方式运行,如果当前存在事务,则把当前事务挂起。PROPAGATION_NEVER: 以非事务方式运行,如果当前存在事务,则抛出异常。 其他情况:PROPAGATION_NESTED: 如果当前存在事务,则创建一个事务作为当前事务的嵌套事务来运行;如果当前没有事务,则该取值等价于PROPAGATION_REQUIRED。 二、SpringMVC篇 什么是Spring MVC ?简单介绍下你对springMVC的理解? Spring MVC是一个基于Java的实现了MVC设计模式的请求驱动类型的轻量级Web框架,通过把Model,View,Controller分离,将web层进行职责解耦,把复杂的web应用分成逻辑清晰的几部分,简化开发,减少出错,方便组内开发人员之间的配合。 Spring MVC的工作原理了解嘛? image.png Springmvc的优点: (1)可以支持各种视图技术,而不仅仅局限于JSP; (2)与Spring框架集成(如IoC容器、AOP等); (3)清晰的角色分配:前端控制器(dispatcherServlet) , 请求到处理器映射(handlerMapping), 处理器适配器(HandlerAdapter), 视图解析器(ViewResolver)。 (4) 支持各种请求资源的映射策略。 Spring MVC的主要组件? (1)前端控制器 DispatcherServlet(不需要程序员开发) 作用:接收请求、响应结果,相当于转发器,有了DispatcherServlet 就减少了其它组件之间的耦合度。 (2)处理器映射器HandlerMapping(不需要程序员开发) 作用:根据请求的URL来查找Handler (3)处理器适配器HandlerAdapter 注意:在编写Handler的时候要按照HandlerAdapter要求的规则去编写,这样适配器HandlerAdapter才可以正确的去执行Handler。 (4)处理器Handler(需要程序员开发) (5)视图解析器 ViewResolver(不需要程序员开发) 作用:进行视图的解析,根据视图逻辑名解析成真正的视图(view) (6)视图View(需要程序员开发jsp) View是一个接口, 它的实现类支持不同的视图类型(jsp,freemarker,pdf等等) springMVC和struts2的区别有哪些? (1)springmvc的入口是一个servlet即前端控制器(DispatchServlet),而struts2入口是一个filter过虑器(StrutsPrepareAndExecuteFilter)。 (2)springmvc是基于方法开发(一个url对应一个方法),请求参数传递到方法的形参,可以设计为单例或多例(建议单例),struts2是基于类开发,传递参数是通过类的属性,只能设计为多例。 (3)Struts采用值栈存储请求和响应的数据,通过OGNL存取数据,springmvc通过参数解析器是将request请求内容解析,并给方法形参赋值,将数据和视图封装成ModelAndView对象,最后又将ModelAndView中的模型数据通过reques域传输到页面。Jsp视图解析器默认使用jstl。 SpringMVC怎么样设定重定向和转发的? (1)转发:在返回值前面加"forward:",譬如"forward:user.do?name=method4" (2)重定向:在返回值前面加"redirect:",譬如"redirect:http://www.baidu.com" SpringMvc怎么和AJAX相互调用的? 通过Jackson框架就可以把Java里面的对象直接转化成Js可以识别的Json对象。具体步骤如下 : (1)加入Jackson.jar (2)在配置文件中配置json的映射 (3)在接受Ajax方法里面可以直接返回Object,List等,但方法前面要加上@ResponseBody注解。 如何解决POST请求中文乱码问题,GET的又如何处理呢? (1)解决post请求乱码问题: 在web.xml中配置一个CharacterEncodingFilter过滤器,设置成utf-8; <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>utf-8</param-value> </init-param> </filter> <filter-mapping> <filter-name>CharacterEncodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> (2)get请求中文参数出现乱码解决方法有两个: ①修改tomcat配置文件添加编码与工程编码一致,如下: <ConnectorURIEncoding="utf-8" connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/> ②另外一种方法对参数进行重新编码: String userName = new String(request.getParamter("userName").getBytes("ISO8859-1"),"utf-8") ISO8859-1是tomcat默认编码,需要将tomcat编码后的内容按utf-8编码。 Spring MVC的异常处理 ? 统一异常处理: Spring MVC处理异常有3种方式: (1)使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver; (2)实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器; (3)使用@ExceptionHandler注解实现异常处理; 统一异常处理的博客:https://blog.csdn.net/ctwy291314/article/details/81983103 SpringMVC的控制器是不是单例模式,如果是,有什么问题,怎么解决? 是单例模式,所以在多线程访问的时候有线程安全问题,不要用同步,会影响性能的,解决方案是在控制器里面不能写成员变量。(此题目类似于上面Spring 中 第5题 有两种解决方案) SpringMVC常用的注解有哪些? @RequestMapping:用于处理请求 url 映射的注解,可用于类或方法上。用于类上,则表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestBody:注解实现接收http请求的json数据,将json转换为java对象。 @ResponseBody:注解实现将conreoller方法返回对象转化为json对象响应给客户。 SpingMvc中的控制器的注解一般用那个,有没有别的注解可以替代? 一般用@Controller注解,也可以使用@RestController,@RestController注解相当于@ResponseBody + @Controller,表示是表现层,除此之外,一般不用别的注解代替。 如果在拦截请求中,我想拦截get方式提交的方法,怎么配置? 可以在@RequestMapping注解里面加上method=RequestMethod.GET。 怎样在方法里面得到Request,或者Session? 直接在方法的形参中声明request,SpringMVC就自动把request对象传入。 如果想在拦截的方法里面得到从前台传入的参数,怎么得到? 直接在形参里面声明这个参数就可以,但必须名字和传过来的参数一样。 如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象? 直接在方法中声明这个对象,SpringMVC就自动会把属性赋值到这个对象里面。 SpringMVC中函数的返回值是什么? 返回值可以有很多类型,有String, ModelAndView。ModelAndView类把视图和数据都合并的一起的。 SpringMVC用什么对象从后台向前台传递数据的? 通过ModelMap对象,可以在这个对象里面调用put方法,把对象加到里面,前台就可以拿到数据。 怎么样把ModelMap里面的数据放入Session里面? 可以在类上面加上@SessionAttributes注解,里面包含的字符串就是要放入session里面的key。 SpringMvc里面拦截器是怎么写的: 有两种写法,一种是实现HandlerInterceptor接口,另外一种是继承适配器类,接着在接口方法当中,实现处理逻辑;然后在SpringMvc的配置文件中配置拦截器即可: <!-- 配置SpringMvc的拦截器 --> <mvc:interceptors> <!-- 配置一个拦截器的Bean就可以了 默认是对所有请求都拦截 --> <bean id="myInterceptor" class="com.zwp.action.MyHandlerInterceptor"></bean> <!-- 只针对部分请求拦截 --> <mvc:interceptor> <mvc:mapping path="/modelMap.do" /> <bean class="com.zwp.action.MyHandlerInterceptorAdapter" /> </mvc:interceptor> </mvc:interceptors> 注解原理: 注解本质是一个继承了Annotation的特殊接口,其具体实现类是Java运行时生成的动态代理类。我们通过反射获取注解时,返回的是Java运行时生成的动态代理对象。通过代理对象调用自定义注解的方法,会最终调用AnnotationInvocationHandler的invoke方法。该方法会从memberValues这个Map中索引出对应的值。而memberValues的来源是Java常量池 三、Mybatis篇 什么是MyBatis? MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。 讲下MyBatis的缓存 MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有, 二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口, 可在它的映射文件中配置<cache/> Mybatis是如何进行分页的?分页插件的原理是什么? 1)Mybatis使用RowBounds对象进行分页,也可以直接编写sql实现分页,也可以使用Mybatis的分页插件。 2)分页插件的原理:实现Mybatis提供的接口,实现自定义插件,在插件的拦截方法内拦截待执行的sql,然后重写sql。 举例:select * from student,拦截sql后重写为:select t.* from (select * from student)t limit 0,10 简述Mybatis的插件运行原理,以及如何编写一个插件? 1)Mybatis仅可以编写针对ParameterHandler、ResultSetHandler、StatementHandler、 Executor这4种接口的插件,Mybatis通过动态代理, 为需要拦截的接口生成代理对象以实现接口方法拦截功能, 每当执行这4种接口对象的方法时,就会进入拦截方法, 具体就是InvocationHandler的invoke方法,当然, 只会拦截那些你指定需要拦截的方法。 2)实现Mybatis的Interceptor接口并复写intercept方法, 然后在给插件编写注解,指定要拦截哪一个接口的哪些方法即可, 记住,别忘了在配置文件中配置你编写的插件。 Mybatis动态sql是做什么的?都有哪些动态sql?能简述一下动态sql的执行原理不? 1)Mybatis动态sql可以让我们在Xml映射文件内, 以标签的形式编写动态sql,完成逻辑判断和动态拼接sql的功能。 2)Mybatis提供了9种动态sql标签:trim|where|set|foreach|if|choose|when|otherwise|bind。 3)其执行原理为,使用OGNL从sql参数对象中计算表达式的值, 根据表达式的值动态拼接sql,以此来完成动态sql的功能。 #{}和${}的区别是什么? 1)#{}是预编译处理,${}是字符串替换。 2)Mybatis在处理#{}时,会将sql中的#{}替换为?号,调用PreparedStatement的set方法来赋值(有效的防止SQL注入); 3)Mybatis在处理${}时,就是把${}替换成变量的值。 为什么说Mybatis是半自动ORM映射工具?它与全自动的区别在哪里? Hibernate属于全自动ORM映射工具, 使用Hibernate查询关联对象或者关联集合对象时, 可以根据对象关系模型直接获取,所以它是全自动的。 而Mybatis在查询关联对象或关联集合对象时, 需要手动编写sql来完成,所以,称之为半自动ORM映射工具。 Mybatis是否支持延迟加载?如果支持,它的实现原理是什么? 1)Mybatis仅支持association关联对象和collection关联集合对象的延迟加载, association指的就是一对一,collection指的就是一对多查询。 在Mybatis配置文件中, 可以配置是否启用延迟加载lazyLoadingEnabled=true|false。 2)它的原理是,使用CGLIB创建目标对象的代理对象, 当调用目标方法时,进入拦截器方法, 比如调用a.getB.getName, 拦截器invoke方法发现a.getB是null值, 那么就会单独发送事先保存好的查询关联B对象的sql, 把B查询上来,然后调用a.setB(b), 于是a的对象b属性就有值了, 接着完成a.getB.getName方法的调用。 这就是延迟加载的基本原理。 MyBatis与Hibernate有哪些不同? 1)Mybatis和hibernate不同,它不完全是一个ORM框架, 因为MyBatis需要程序员自己编写Sql语句, 不过mybatis可以通过XML或注解方式灵活配置要运行的sql语句, 并将java对象和sql语句映射生成最终执行的sql, 最后将sql执行的结果再映射生成java对象。 2)Mybatis学习门槛低,简单易学,程序员直接编写原生态sql, 可严格控制sql执行性能,灵活度高,非常适合对关系数据模型要求不高的软件开发, 例如互联网软件、企业运营类软件等,因为这类软件需求变化频繁, 一但需求变化要求成果输出迅速。但是灵活的前提是mybatis无法做到数据库无关性, 如果需要实现支持多种数据库的软件则需要自定义多套sql映射文件,工作量大。 3)Hibernate对象/关系映射能力强,数据库无关性好, 对于关系模型要求高的软件(例如需求固定的定制化软件) 如果用hibernate开发可以节省很多代码,提高效率。 但是Hibernate的缺点是学习门槛高,要精通门槛更高, 而且怎么设计O/R映射,在性能和对象模型之间如何权衡, 以及怎样用好Hibernate需要具有很强的经验和能力才行。 总之,按照用户的需求在有限的资源环境下只要能做出维护性、 扩展性良好的软件架构都是好架构,所以框架只有适合才是最好。 MyBatis的好处是什么? 1)MyBatis把sql语句从Java源程序中独立出来,放在单独的XML文件中编写, 给程序的维护带来了很大便利。 2)MyBatis封装了底层JDBC API的调用细节,并能自动将结果集转换成Java Bean对象, 大大简化了Java数据库编程的重复工作。 3)因为MyBatis需要程序员自己去编写sql语句, 程序员可以结合数据库自身的特点灵活控制sql语句, 因此能够实现比Hibernate等全自动orm框架更高的查询效率,能够完成复杂查询。 简述Mybatis的Xml映射文件和Mybatis内部数据结构之间的映射关系? Mybatis将所有Xml配置信息都封装到All-In-One重量级对象Configuration内部。 在Xml映射文件中,<parameterMap>标签会被解析为ParameterMap对象, 其每个子元素会被解析为ParameterMapping对象。 <resultMap>标签会被解析为ResultMap对象, 其每个子元素会被解析为ResultMapping对象。 每一个<select>、<insert>、<update>、<delete> 标签均会被解析为MappedStatement对象, 标签内的sql会被解析为BoundSql对象。 什么是MyBatis的接口绑定,有什么好处? 接口映射就是在MyBatis中任意定义接口,然后把接口里面的方法和SQL语句绑定, 我们直接调用接口方法就可以,这样比起原来了SqlSession提供的方法我们可以有更加灵活的选择和设置. 接口绑定有几种实现方式,分别是怎么实现的? 接口绑定有两种实现方式,一种是通过注解绑定,就是在接口的方法上面加 上@Select@Update等注解里面包含Sql语句来绑定, 另外一种就是通过xml里面写SQL来绑定,在这种情况下, 要指定xml映射文件里面的namespace必须为接口的全路径名. 什么情况下用注解绑定,什么情况下用xml绑定? 当Sql语句比较简单时候,用注解绑定;当SQL语句比较复杂时候,用xml绑定,一般用xml绑定的比较多 MyBatis实现一对一有几种方式?具体怎么操作的? 有联合查询和嵌套查询,联合查询是几个表联合查询,只查询一次, 通过在resultMap里面配置association节点配置一对一的类就可以完成; 嵌套查询是先查一个表,根据这个表里面的结果的外键id, 去再另外一个表里面查询数据,也是通过association配置, 但另外一个表的查询通过select属性配置。 Mybatis能执行一对一、一对多的关联查询吗?都有哪些实现方式,以及它们之间的区别? 能,Mybatis不仅可以执行一对一、一对多的关联查询, 还可以执行多对一,多对多的关联查询,多对一查询, 其实就是一对一查询,只需要把selectOne修改为selectList即可; 多对多查询,其实就是一对多查询,只需要把selectOne修改为selectList即可。 关联对象查询,有两种实现方式,一种是单独发送一个sql去查询关联对象, 赋给主对象,然后返回主对象。另一种是使用嵌套查询,嵌套查询的含义为使用join查询, 一部分列是A对象的属性值,另外一部分列是关联对象B的属性值, 好处是只发一个sql查询,就可以把主对象和其关联对象查出来。 MyBatis里面的动态Sql是怎么设定的?用什么语法? MyBatis里面的动态Sql一般是通过if节点来实现,通过OGNL语法来实现, 但是如果要写的完整,必须配合where,trim节点,where节点是判断包含节点有 内容就插入where,否则不插入,trim节点是用来判断如果动态语句是以and 或or 开始,那么会自动把这个and或者or取掉。 Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式? 第一种是使用<resultMap>标签,逐一定义列名和对象属性名之间的映射关系。 第二种是使用sql列的别名功能,将列别名书写为对象属性名, 比如T_NAME AS NAME,对象属性名一般是name,小写, 但是列名不区分大小写,Mybatis会忽略列名大小写,
-
隐藏 IP 地址的重要性是什么?-在当今的数字时代,保护我们的在线身份至关重要。从保护个人信息到保护隐私,互联网用户越来越多地寻求增强在线安全性的方法。保持匿名和保护敏感数据的一个关键方面是隐藏您的 IP 地址。在这篇博文中,我们将深入探讨隐藏 IP 地址的重要性,并探索实现这一基本安全措施的有效方法。
-
使用Java技术构建的微信小程序在线投稿系统(含源代码)第二部分:技术架构剖析
-
南邮OJ Web任务大揭秘:层层挑战剖析 1. 挑战一:迷宫般的目录探索 题目作者似乎穷举了所有可能的目录组合,最终在404.php中的