如何使用 Pandas 库处理大型数据集？
最编程
2024-10-14 15:05:18
...
如何使用Pandas库处理大型数据集？
处理大型数据集是数据分析中的一个挑战，尤其是在资源有限的情况下。Pandas是Python中非常流行的数据处理库，但它在处理非常大的数据集时可能会遇到内存限制的问题。因此，我们需要一些策略来提高Pandas处理大型数据集的效率。以下是使用Pandas处理大型数据集的一些方法和示例。
1. 使用chunksize按块加载数据
对于非常大的数据集，可以分块加载数据。Pandas的read_csv()函数提供了chunksize参数，允许逐块读取大文件。
示例：按块读取CSV文件
import pandas as pd
# 按块读取数据，块大小为10000行
chunksize = 10000
chunk_list 推荐阅读
-
如何使用 Pandas 库处理大型数据集？
-
如何轻松使用JMeter进行HTTP接口测试 - 一步步教你设置线程组、 cookie、默认值与Sampler，加上响应断言和监听器，打造基础测试案例。针对复杂情况，将子系统和流程测试分类组织，确保数据一致性。同时，别忘了感谢阅读，给新手提供实战学习资源与全套测试指南，助你轻松踏上自动化测试之路！ - 在"测试计划"点击右键，添加"线程组"并设定初始"线程数"和"循环次数" - 配置"HTTP Cookie管理器"与"Http请求默认值"，输入目标系统信息，如域名、端口、协议等，让所有相关Sampler共享这些默认设置 - 在线程组内增加"HTTP Request"的Sampler，并填入接口详情，比如路径、请求方法及参数 - 添加"响应断言"检查接口返回结果，通过正则表达式验证预期结果 - 安装监听器，实时查看测试执行状况 - 如需处理流程性接口，请依次添加多个相关Sampler，关联前后请求间的上下文数据 特别提示：为了帮助大家避免学习中的曲折，我们准备了详尽的视频和文档资料库，无论你是软件测试的新手还是老司机，都能从中找到所需的全方位支持。只需点击下方链接加入我们的学习交流社群，就能立刻获取这份珍贵的学习宝藏！再次感谢您的耐心阅读，愿它成为您前行路上的一大助力！
-
SSM三大框架基础面试题-一、Spring篇 什么是Spring框架？ Spring是一种轻量级框架，提高开发人员的开发效率以及系统的可维护性。 我们一般说的Spring框架就是Spring Framework，它是很多模块的集合，使用这些模块可以很方便地协助我们进行开发。这些模块是核心容器、数据访问/集成、Web、AOP（面向切面编程）、工具、消息和测试模块。比如Core Container中的Core组件是Spring所有组件的核心，Beans组件和Context组件是实现IOC和DI的基础，AOP组件用来实现面向切面编程。 Spring的6个特征： 核心技术：依赖注入（DI），AOP，事件（Events），资源，i18n，验证，数据绑定，类型转换，SpEL。 测试：模拟对象，TestContext框架，Spring MVC测试，WebTestClient。 数据访问：事务，DAO支持，JDBC，ORM，编组XML。 Web支持：Spring MVC和Spring WebFlux Web框架。 集成：远程处理，JMS，JCA，JMX，电子邮件，任务，调度，缓存。 语言：Kotlin，Groovy，动态语言。 列举一些重要的Spring模块？ Spring Core：核心，可以说Spring其他所有的功能都依赖于该类库。主要提供IOC和DI功能。 Spring Aspects：该模块为与AspectJ的集成提供支持。 Spring AOP：提供面向切面的编程实现。 Spring JDBC：Java数据库连接。 Spring JMS：Java消息服务。 Spring ORM：用于支持Hibernate等ORM工具。 Spring Web：为创建Web应用程序提供支持。 Spring Test：提供了对JUnit和TestNG测试的支持。 谈谈自己对于Spring IOC和AOP的理解 IOC（Inversion Of Controll，控制反转）是一种设计思想： 在程序中手动创建对象的控制权，交由给Spring框架来管理。IOC在其他语言中也有应用，并非Spring特有。IOC容器实际上就是一个Map(key, value)，Map中存放的是各种对象。 将对象之间的相互依赖关系交给IOC容器来管理，并由IOC容器完成对象的注入。这样可以很大程度上简化应用的开发，把应用从复杂的依赖关系中解放出来。IOC容器就像是一个工厂一样，当我们需要创建一个对象的时候，只需要配置好配置文件/注解即可，完全不用考虑对象是如何被创建出来的。在实际项目中一个Service类可能由几百甚至上千个类作为它的底层，假如我们需要实例化这个Service，可能要每次都搞清楚这个Service所有底层类的构造函数，这可能会把人逼疯。如果利用IOC的话，你只需要配置好，然后在需要的地方引用就行了，大大增加了项目的可维护性且降低了开发难度。 Spring中的bean的作用域有哪些？ 1.singleton：该bean实例为单例 2.prototype：每次请求都会创建一个新的bean实例（多例）。 3.request：每一次HTTP请求都会产生一个新的bean，该bean仅在当前HTTP request内有效。 4.session：每一次HTTP请求都会产生一个新的bean，该bean仅在当前HTTP session内有效。 5.global-session：全局session作用域，仅仅在基于Portlet的Web应用中才有意义，Spring5中已经没有了。Portlet是能够生成语义代码（例如HTML）片段的小型Java Web插件。它们基于Portlet容器，可以像Servlet一样处理HTTP请求。但是与Servlet不同，每个Portlet都有不同的会话。 Spring中的单例bean的线程安全问题了解吗？ 概念用于理解：大部分时候我们并没有在系统中使用多线程，所以很少有人会关注这个问题。单例bean存在线程问题，主要是因为当多个线程操作同一个对象的时候，对这个对象的非静态成员变量的写操作会存在线程安全问题。 有两种常见的解决方案（用于回答的点）： 1.在bean对象中尽量避免定义可变的成员变量（不太现实）。 2.在类中定义一个ThreadLocal成员变量，将需要的可变成员变量保存在ThreadLocal(线程本地化对象)中（推荐的一种方式）。 ThreadLocal解决多线程变量共享问题（参考博客）：https://segmentfault.com/a/1190000009236777 Spring中Bean的生命周期： 1.Bean容器找到配置文件中Spring Bean的定义。 2.Bean容器利用Java Reflection API创建一个Bean的实例。 3.如果涉及到一些属性值，利用set方法设置一些属性值。 4.如果Bean实现了BeanNameAware接口，调用setBeanName方法，传入Bean的名字。 5.如果Bean实现了BeanClassLoaderAware接口，调用setBeanClassLoader方法，传入ClassLoader对象的实例。 6.如果Bean实现了BeanFactoryAware接口，调用setBeanClassFacotory方法，传入ClassLoader对象的实例。 7.与上面的类似，如果实现了其他*Aware接口，就调用相应的方法。 8.如果有和加载这个Bean的Spring容器相关的BeanPostProcessor对象，执postProcessBeforeInitialization方法。 9.如果Bean实现了InitializingBean接口，执行afeterPropertiesSet方法。 10.如果Bean在配置文件中的定义包含init-method属性，执行指定的方法。 11.如果有和加载这个Bean的Spring容器相关的BeanPostProcess对象，执行postProcessAfterInitialization方法。 12.当要销毁Bean的时候，如果Bean实现了DisposableBean接口，执行destroy方法。 13.当要销毁Bean的时候，如果Bean在配置文件中的定义包含destroy-method属性，执行指定的方法。 Spring框架中用到了哪些设计模式？ 1.工厂设计模式：Spring使用工厂模式通过BeanFactory和ApplicationContext创建bean对象。 2.代理设计模式：Spring AOP功能的实现。 3.单例设计模式：Spring中的bean默认都是单例的。 4.模板方法模式：Spring中的jdbcTemplate、hibernateTemplate等以Template结尾的对数据库操作的类，它们就使用到了模板模式。 5.包装器设计模式：我们的项目需要连接多个数据库，而且不同的客户在每次访问中根据需要会去访问不同的数据库。这种模式让我们可以根据客户的需求能够动态切换不同的数据源。 6.观察者模式：Spring事件驱动模型就是观察者模式很经典的一个应用。 7.适配器模式：Spring AOP的增强或通知（Advice）使用到了适配器模式、Spring MVC中也是用到了适配器模式适配Controller。 还有很多。。。。。。。 @Component和@Bean的区别是什么 1.作用对象不同。@Component注解作用于类，而@Bean注解作用于方法。 2.@Component注解通常是通过类路径扫描来自动侦测以及自动装配到Spring容器中（我们可以使用@ComponentScan注解定义要扫描的路径）。@Bean注解通常是在标有该注解的方法中定义产生这个bean，告诉Spring这是某个类的实例，当我需要用它的时候还给我。 3.@Bean注解比@Component注解的自定义性更强，而且很多地方只能通过@Bean注解来注册bean。比如当引用第三方库的类需要装配到Spring容器的时候，就只能通过@Bean注解来实现。 @Configuration public class AppConfig { @Bean public TransferService transferService { return new TransferServiceImpl; } } <beans> <bean id="transferService" class="com.kk.TransferServiceImpl"/> </beans> @Bean public OneService getService(status) { case (status) { when 1: return new serviceImpl1; when 2: return new serviceImpl2; when 3: return new serviceImpl3; } } 将一个类声明为Spring的bean的注解有哪些？ 声明bean的注解： @Component 组件，没有明确的角色 @Service 在业务逻辑层使用（service层） @Repository 在数据访问层使用（dao层） @Controller 在展现层使用，控制器的声明 注入bean的注解： @Autowired：由Spring提供 @Inject：由JSR-330提供 @Resource：由JSR-250提供 *扩：JSR 是 java 规范标准 Spring事务管理的方式有几种？ 1.编程式事务：在代码中硬编码（不推荐使用）。 2.声明式事务：在配置文件中配置（推荐使用），分为基于XML的声明式事务和基于注解的声明式事务。 Spring事务中的隔离级别有哪几种？ 在TransactionDefinition接口中定义了五个表示隔离级别的常量：ISOLATION_DEFAULT：使用后端数据库默认的隔离级别，Mysql默认采用的REPEATABLE_READ隔离级别；Oracle默认采用的READ_COMMITTED隔离级别。ISOLATION_READ_UNCOMMITTED：最低的隔离级别，允许读取尚未提交的数据变更，可能会导致脏读、幻读或不可重复读。ISOLATION_READ_COMMITTED：允许读取并发事务已经提交的数据，可以阻止脏读，但是幻读或不可重复读仍有可能发生ISOLATION_REPEATABLE_READ：对同一字段的多次读取结果都是一致的，除非数据是被本身事务自己所修改，可以阻止脏读和不可重复读，但幻读仍有可能发生。ISOLATION_SERIALIZABLE：最高的隔离级别，完全服从ACID的隔离级别。所有的事务依次逐个执行，这样事务之间就完全不可能产生干扰，也就是说，该级别可以防止脏读、不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。 Spring事务中有哪几种事务传播行为？ 在TransactionDefinition接口中定义了八个表示事务传播行为的常量。 支持当前事务的情况：PROPAGATION_REQUIRED：如果当前存在事务，则加入该事务；如果当前没有事务，则创建一个新的事务。PROPAGATION_SUPPORTS： 如果当前存在事务，则加入该事务；如果当前没有事务，则以非事务的方式继续运行。PROPAGATION_MANDATORY： 如果当前存在事务，则加入该事务；如果当前没有事务，则抛出异常。（mandatory：强制性）。 不支持当前事务的情况：PROPAGATION_REQUIRES_NEW： 创建一个新的事务，如果当前存在事务，则把当前事务挂起。PROPAGATION_NOT_SUPPORTED： 以非事务方式运行，如果当前存在事务，则把当前事务挂起。PROPAGATION_NEVER： 以非事务方式运行，如果当前存在事务，则抛出异常。 其他情况：PROPAGATION_NESTED： 如果当前存在事务，则创建一个事务作为当前事务的嵌套事务来运行；如果当前没有事务，则该取值等价于PROPAGATION_REQUIRED。 二、SpringMVC篇 什么是Spring MVC ？简单介绍下你对springMVC的理解? Spring MVC是一个基于Java的实现了MVC设计模式的请求驱动类型的轻量级Web框架，通过把Model，View，Controller分离，将web层进行职责解耦，把复杂的web应用分成逻辑清晰的几部分，简化开发，减少出错，方便组内开发人员之间的配合。 Spring MVC的工作原理了解嘛？ image.png Springmvc的优点: （1）可以支持各种视图技术,而不仅仅局限于JSP； （2）与Spring框架集成（如IoC容器、AOP等）； （3）清晰的角色分配：前端控制器(dispatcherServlet) , 请求到处理器映射（handlerMapping), 处理器适配器（HandlerAdapter), 视图解析器（ViewResolver）。 （4） 支持各种请求资源的映射策略。 Spring MVC的主要组件？ （1）前端控制器 DispatcherServlet（不需要程序员开发） 作用：接收请求、响应结果，相当于转发器，有了DispatcherServlet 就减少了其它组件之间的耦合度。 （2）处理器映射器HandlerMapping（不需要程序员开发） 作用：根据请求的URL来查找Handler （3）处理器适配器HandlerAdapter 注意：在编写Handler的时候要按照HandlerAdapter要求的规则去编写，这样适配器HandlerAdapter才可以正确的去执行Handler。 （4）处理器Handler（需要程序员开发） （5）视图解析器 ViewResolver（不需要程序员开发） 作用：进行视图的解析，根据视图逻辑名解析成真正的视图（view） （6）视图View（需要程序员开发jsp） View是一个接口， 它的实现类支持不同的视图类型（jsp，freemarker，pdf等等） springMVC和struts2的区别有哪些? （1）springmvc的入口是一个servlet即前端控制器（DispatchServlet），而struts2入口是一个filter过虑器（StrutsPrepareAndExecuteFilter）。 （2）springmvc是基于方法开发(一个url对应一个方法)，请求参数传递到方法的形参，可以设计为单例或多例(建议单例)，struts2是基于类开发，传递参数是通过类的属性，只能设计为多例。 （3）Struts采用值栈存储请求和响应的数据，通过OGNL存取数据，springmvc通过参数解析器是将request请求内容解析，并给方法形参赋值，将数据和视图封装成ModelAndView对象，最后又将ModelAndView中的模型数据通过reques域传输到页面。Jsp视图解析器默认使用jstl。 SpringMVC怎么样设定重定向和转发的？ （1）转发：在返回值前面加"forward:"，譬如"forward:user.do?name=method4" （2）重定向：在返回值前面加"redirect:"，譬如"redirect:http://www.baidu.com" SpringMvc怎么和AJAX相互调用的？ 通过Jackson框架就可以把Java里面的对象直接转化成Js可以识别的Json对象。具体步骤如下 ： （1）加入Jackson.jar （2）在配置文件中配置json的映射 （3）在接受Ajax方法里面可以直接返回Object,List等,但方法前面要加上@ResponseBody注解。 如何解决POST请求中文乱码问题，GET的又如何处理呢？ （1）解决post请求乱码问题： 在web.xml中配置一个CharacterEncodingFilter过滤器，设置成utf-8； <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>utf-8</param-value> </init-param> </filter> <filter-mapping> <filter-name>CharacterEncodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> （2）get请求中文参数出现乱码解决方法有两个： ①修改tomcat配置文件添加编码与工程编码一致，如下： <ConnectorURIEncoding="utf-8" connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/> ②另外一种方法对参数进行重新编码： String userName = new String(request.getParamter("userName").getBytes("ISO8859-1"),"utf-8") ISO8859-1是tomcat默认编码，需要将tomcat编码后的内容按utf-8编码。 Spring MVC的异常处理 ？ 统一异常处理： Spring MVC处理异常有3种方式： （1）使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver； （2）实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器； （3）使用@ExceptionHandler注解实现异常处理； 统一异常处理的博客：https://blog.csdn.net/ctwy291314/article/details/81983103 SpringMVC的控制器是不是单例模式,如果是,有什么问题,怎么解决？ 是单例模式,所以在多线程访问的时候有线程安全问题,不要用同步,会影响性能的,解决方案是在控制器里面不能写成员变量。（此题目类似于上面Spring 中 第5题 有两种解决方案） SpringMVC常用的注解有哪些？ @RequestMapping：用于处理请求 url 映射的注解，可用于类或方法上。用于类上，则表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestBody：注解实现接收http请求的json数据，将json转换为java对象。 @ResponseBody：注解实现将conreoller方法返回对象转化为json对象响应给客户。 SpingMvc中的控制器的注解一般用那个,有没有别的注解可以替代？ 一般用@Controller注解,也可以使用@RestController,@RestController注解相当于@ResponseBody ＋ @Controller,表示是表现层,除此之外，一般不用别的注解代替。 如果在拦截请求中，我想拦截get方式提交的方法,怎么配置？ 可以在@RequestMapping注解里面加上method=RequestMethod.GET。 怎样在方法里面得到Request,或者Session？ 直接在方法的形参中声明request,SpringMVC就自动把request对象传入。 如果想在拦截的方法里面得到从前台传入的参数,怎么得到？ 直接在形参里面声明这个参数就可以,但必须名字和传过来的参数一样。 如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象？ 直接在方法中声明这个对象,SpringMVC就自动会把属性赋值到这个对象里面。 SpringMVC中函数的返回值是什么？ 返回值可以有很多类型,有String, ModelAndView。ModelAndView类把视图和数据都合并的一起的。 SpringMVC用什么对象从后台向前台传递数据的？ 通过ModelMap对象,可以在这个对象里面调用put方法,把对象加到里面,前台就可以拿到数据。 怎么样把ModelMap里面的数据放入Session里面？ 可以在类上面加上@SessionAttributes注解,里面包含的字符串就是要放入session里面的key。 SpringMvc里面拦截器是怎么写的： 有两种写法,一种是实现HandlerInterceptor接口，另外一种是继承适配器类，接着在接口方法当中，实现处理逻辑；然后在SpringMvc的配置文件中配置拦截器即可： <!-- 配置SpringMvc的拦截器 --> <mvc:interceptors> <!-- 配置一个拦截器的Bean就可以了 默认是对所有请求都拦截 --> <bean id="myInterceptor" class="com.zwp.action.MyHandlerInterceptor"></bean> <!-- 只针对部分请求拦截 --> <mvc:interceptor> <mvc:mapping path="/modelMap.do" /> <bean class="com.zwp.action.MyHandlerInterceptorAdapter" /> </mvc:interceptor> </mvc:interceptors> 注解原理： 注解本质是一个继承了Annotation的特殊接口，其具体实现类是Java运行时生成的动态代理类。我们通过反射获取注解时，返回的是Java运行时生成的动态代理对象。通过代理对象调用自定义注解的方法，会最终调用AnnotationInvocationHandler的invoke方法。该方法会从memberValues这个Map中索引出对应的值。而memberValues的来源是Java常量池 三、Mybatis篇 什么是MyBatis？ MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。 讲下MyBatis的缓存 MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有, 二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口, 可在它的映射文件中配置<cache/> Mybatis是如何进行分页的？分页插件的原理是什么？ 1）Mybatis使用RowBounds对象进行分页，也可以直接编写sql实现分页，也可以使用Mybatis的分页插件。 2）分页插件的原理：实现Mybatis提供的接口，实现自定义插件，在插件的拦截方法内拦截待执行的sql，然后重写sql。 举例：select * from student，拦截sql后重写为：select t.* from （select * from student）t limit 0，10 简述Mybatis的插件运行原理，以及如何编写一个插件？ 1）Mybatis仅可以编写针对ParameterHandler、ResultSetHandler、StatementHandler、 Executor这4种接口的插件，Mybatis通过动态代理， 为需要拦截的接口生成代理对象以实现接口方法拦截功能， 每当执行这4种接口对象的方法时，就会进入拦截方法， 具体就是InvocationHandler的invoke方法，当然， 只会拦截那些你指定需要拦截的方法。 2）实现Mybatis的Interceptor接口并复写intercept方法， 然后在给插件编写注解，指定要拦截哪一个接口的哪些方法即可， 记住，别忘了在配置文件中配置你编写的插件。 Mybatis动态sql是做什么的？都有哪些动态sql？能简述一下动态sql的执行原理不？ 1）Mybatis动态sql可以让我们在Xml映射文件内， 以标签的形式编写动态sql，完成逻辑判断和动态拼接sql的功能。 2）Mybatis提供了9种动态sql标签：trim|where|set|foreach|if|choose|when|otherwise|bind。 3）其执行原理为，使用OGNL从sql参数对象中计算表达式的值， 根据表达式的值动态拼接sql，以此来完成动态sql的功能。 #{}和${}的区别是什么？ 1）#{}是预编译处理，${}是字符串替换。 2）Mybatis在处理#{}时，会将sql中的#{}替换为?号，调用PreparedStatement的set方法来赋值(有效的防止SQL注入)； 3）Mybatis在处理${}时，就是把${}替换成变量的值。 为什么说Mybatis是半自动ORM映射工具？它与全自动的区别在哪里？ Hibernate属于全自动ORM映射工具， 使用Hibernate查询关联对象或者关联集合对象时， 可以根据对象关系模型直接获取，所以它是全自动的。 而Mybatis在查询关联对象或关联集合对象时， 需要手动编写sql来完成，所以，称之为半自动ORM映射工具。 Mybatis是否支持延迟加载？如果支持，它的实现原理是什么？ 1）Mybatis仅支持association关联对象和collection关联集合对象的延迟加载， association指的就是一对一，collection指的就是一对多查询。 在Mybatis配置文件中， 可以配置是否启用延迟加载lazyLoadingEnabled=true|false。 2）它的原理是，使用CGLIB创建目标对象的代理对象， 当调用目标方法时，进入拦截器方法， 比如调用a.getB.getName， 拦截器invoke方法发现a.getB是null值， 那么就会单独发送事先保存好的查询关联B对象的sql， 把B查询上来，然后调用a.setB(b)， 于是a的对象b属性就有值了， 接着完成a.getB.getName方法的调用。 这就是延迟加载的基本原理。 MyBatis与Hibernate有哪些不同？ 1）Mybatis和hibernate不同，它不完全是一个ORM框架， 因为MyBatis需要程序员自己编写Sql语句， 不过mybatis可以通过XML或注解方式灵活配置要运行的sql语句， 并将java对象和sql语句映射生成最终执行的sql， 最后将sql执行的结果再映射生成java对象。 2）Mybatis学习门槛低，简单易学，程序员直接编写原生态sql， 可严格控制sql执行性能，灵活度高，非常适合对关系数据模型要求不高的软件开发， 例如互联网软件、企业运营类软件等，因为这类软件需求变化频繁， 一但需求变化要求成果输出迅速。但是灵活的前提是mybatis无法做到数据库无关性， 如果需要实现支持多种数据库的软件则需要自定义多套sql映射文件，工作量大。 3）Hibernate对象/关系映射能力强，数据库无关性好， 对于关系模型要求高的软件（例如需求固定的定制化软件） 如果用hibernate开发可以节省很多代码，提高效率。 但是Hibernate的缺点是学习门槛高，要精通门槛更高， 而且怎么设计O/R映射，在性能和对象模型之间如何权衡， 以及怎样用好Hibernate需要具有很强的经验和能力才行。 总之，按照用户的需求在有限的资源环境下只要能做出维护性、 扩展性良好的软件架构都是好架构，所以框架只有适合才是最好。 MyBatis的好处是什么？ 1）MyBatis把sql语句从Java源程序中独立出来，放在单独的XML文件中编写， 给程序的维护带来了很大便利。 2）MyBatis封装了底层JDBC API的调用细节，并能自动将结果集转换成Java Bean对象， 大大简化了Java数据库编程的重复工作。 3）因为MyBatis需要程序员自己去编写sql语句， 程序员可以结合数据库自身的特点灵活控制sql语句， 因此能够实现比Hibernate等全自动orm框架更高的查询效率，能够完成复杂查询。 简述Mybatis的Xml映射文件和Mybatis内部数据结构之间的映射关系？ Mybatis将所有Xml配置信息都封装到All-In-One重量级对象Configuration内部。 在Xml映射文件中，<parameterMap>标签会被解析为ParameterMap对象， 其每个子元素会被解析为ParameterMapping对象。 <resultMap>标签会被解析为ResultMap对象， 其每个子元素会被解析为ResultMapping对象。 每一个<select>、<insert>、<update>、<delete> 标签均会被解析为MappedStatement对象， 标签内的sql会被解析为BoundSql对象。 什么是MyBatis的接口绑定,有什么好处？ 接口映射就是在MyBatis中任意定义接口,然后把接口里面的方法和SQL语句绑定, 我们直接调用接口方法就可以,这样比起原来了SqlSession提供的方法我们可以有更加灵活的选择和设置. 接口绑定有几种实现方式,分别是怎么实现的? 接口绑定有两种实现方式,一种是通过注解绑定,就是在接口的方法上面加 上@Select@Update等注解里面包含Sql语句来绑定, 另外一种就是通过xml里面写SQL来绑定,在这种情况下, 要指定xml映射文件里面的namespace必须为接口的全路径名. 什么情况下用注解绑定,什么情况下用xml绑定？ 当Sql语句比较简单时候,用注解绑定；当SQL语句比较复杂时候,用xml绑定,一般用xml绑定的比较多 MyBatis实现一对一有几种方式?具体怎么操作的？ 有联合查询和嵌套查询,联合查询是几个表联合查询,只查询一次, 通过在resultMap里面配置association节点配置一对一的类就可以完成; 嵌套查询是先查一个表,根据这个表里面的结果的外键id, 去再另外一个表里面查询数据,也是通过association配置, 但另外一个表的查询通过select属性配置。 Mybatis能执行一对一、一对多的关联查询吗？都有哪些实现方式，以及它们之间的区别？ 能，Mybatis不仅可以执行一对一、一对多的关联查询， 还可以执行多对一，多对多的关联查询，多对一查询， 其实就是一对一查询，只需要把selectOne修改为selectList即可； 多对多查询，其实就是一对多查询，只需要把selectOne修改为selectList即可。 关联对象查询，有两种实现方式，一种是单独发送一个sql去查询关联对象， 赋给主对象，然后返回主对象。另一种是使用嵌套查询，嵌套查询的含义为使用join查询， 一部分列是A对象的属性值，另外一部分列是关联对象B的属性值， 好处是只发一个sql查询，就可以把主对象和其关联对象查出来。 MyBatis里面的动态Sql是怎么设定的?用什么语法? MyBatis里面的动态Sql一般是通过if节点来实现,通过OGNL语法来实现, 但是如果要写的完整,必须配合where,trim节点,where节点是判断包含节点有 内容就插入where,否则不插入,trim节点是用来判断如果动态语句是以and 或or 开始,那么会自动把这个and或者or取掉。 Mybatis是如何将sql执行结果封装为目标对象并返回的？都有哪些映射形式？ 第一种是使用<resultMap>标签，逐一定义列名和对象属性名之间的映射关系。 第二种是使用sql列的别名功能，将列别名书写为对象属性名， 比如T_NAME AS NAME，对象属性名一般是name，小写， 但是列名不区分大小写，Mybatis会忽略列名大小写，
-
异步编程RxJava-介绍-前言 前段时间写了一篇对协程的一些理解，里面提到了不管是协程还是callback，本质上其实提供的是一种异步无阻塞的编程模式；并且介绍了java中对异步无阻赛这种编程模式的支持，主要提到了Future和CompletableFuture；之后有同学在下面留言提到了RxJava，刚好最近在看微服务设计这本书，里面提到了响应式扩展(Reactive extensions,Rx)，而RxJava是Rx在JVM上的实现，所有打算对RxJava进一步了解。 RxJava简介 RxJava的官网地址：https://github.com/ReactiveX/RxJava， 其中对RxJava进行了一句话描述：RxJava – Reactive Extensions for the JVM – a library for composing asynchronous and event-based programs using observable sequences for the Java VM. 大意就是：一个在Java VM上使用可观测的序列来组成异步的、基于事件的程序的库。 更详细的说明在Netflix技术博客的一篇文章中描述了RxJava的主要特点： 1.易于并发从而更好的利用服务器的能力。 2.易于有条件的异步执行。 3.一种更好的方式来避免回调地狱。 4.一种响应式方法。 与CompletableFuture对比 之前提到CompletableFuture真正的实现了异步的编程模式，一个比较常见的使用场景： CompletableFuture<Integer> future = CompletableFuture.supplyAsync(耗时函数); Future<Integer> f = future.whenComplete((v, e) -> { System.out.println(v); System.out.println(e); }); System.out.println("other..."); 下面用一个简单的例子来看一下RxJava是如何实现异步的编程模式： Observable<Long> observable = Observable.just(1, 2) .subscribeOn(Schedulers.io).map(new Func1<Integer, Long> { @Override public Long call(Integer t) { try { Thread.sleep(1000); //耗时的操作 } catch (InterruptedException e) { e.printStackTrace; } return (long) (t * 2); } }); observable.subscribe(new Subscriber<Long> { @Override public void onCompleted { System.out.println("onCompleted"); } @Override public void onError(Throwable e) { System.out.println("error" + e); } @Override public void onNext(Long result) { System.out.println("result = " + result); } }); System.out.println("other..."); Func1中以异步的方式执行了一个耗时的操作，Subscriber(观察者)被订阅到Observable(被观察者)中，当耗时操作执行完会回调Subscriber中的onNext方法。 其中的异步方式是在subscribeOn(Schedulers.io)中指定的，Schedulers.io可以理解为每次执行耗时操作都启动一个新的线程。 结构上其实和CompletableFuture很像，都是异步的执行一个耗时的操作，然后在有结果的时候主动告诉我结果。那我们还需要RxJava干嘛，不知道你有没有注意，上面的例子中其实提供2条数据流[1,2]，并且处理完任何一个都会主动告诉我，当然这只是它其中的一项功能，RxJava还有很多好用的功能，在下面的内容会进行介绍。 异步观察者模式 上面这段代码有没有发现特别像设计模式中的：观察者模式；首先提供一个被观察者Observable，然后把观察者Subscriber添加到了被观察者列表中； RxJava中一共提供了四种角色：Observable、Observer、Subscriber、Subjects Observables和Subjects是两个被观察者，Observers和Subscribers是观察者； 当然我们也可以查看一下源码，看一下jdk中的Observer和RxJava的Observer jdk中的Observer： public interface Observer { void update(Observable o, Object arg); } RxJava的Observer: public interface Observer<T> { void onCompleted; void onError(Throwable e); void onNext(T t); } 同时可以发现Subscriber是implements Observer的： public abstract class Subscriber<T> implements Observer<T>, Subscription 可以发现RxJava中在Observer中引入了2个新的方法：onCompleted和onError onCompleted：即通知观察者Observable没有更多的数据，事件队列完结 onError:在事件处理过程中出异常时，onError会被触发,同时队列自动终止，不允许再有事件发出。 正是因为RxJava提供了同步和异步两种方式进行事件的处理，个人觉得异步的方式更能体现RxJava的价值，所以这里给他命名为异步观察者模式。 好了，下面正式介绍RxJava的那些灵活的操作符，这里仅仅是简单的介绍和简单的实例，具体用在什么场景下，会在以后的文章中介绍 Maven引入
-
Microsoft 365 新功能 Flash：离线时使用 OneDrive Web 应用程序-作为管理员，您可以使用概述的组策略控制离线模式的各个方面。 为组织中的用户启用此功能后，当用户访问 OneDrive for Web 时，将首次设置离线模式。OneDrive for Web 的用户文件元数据副本会安全地本地存储在用户的设备上。用户设备上的这些数据只能由该用户使用和访问。如果其他人在您的设备上登录，他们将无法使用设备上的本地数据。 用户设备上的安全本地网络服务器将处理用户在 OneDrive for Web 中对其文件执行的操作，如查看、排序、重命名、移动和复制，这些操作传统上需要由 OneDrive 云服务处理。通过消除网络在加载和使用 OneDrive for Web 时的瓶颈，可以快速、流畅地与用户文件进行交互，如加载文件和文件夹、排序、重命名、移动和重命名。即使用户离线、失去互联网连接或服务中断，所有这些操作也将继续运行。 - OneDrive 离线模式允许您在离线状态下通过浏览器、OneDrive PWA（渐进式 Web 应用程序）和 Microsoft Teams 在 OneDrive 上工作，从而提高在各种网络上的性能，并帮助减轻与处理大型文件集相关的限制。 - 目前，安装了 OneDrive Sync 应用程序的 Windows 设备（Windows 10 或更高版本）和 macOS 设备（macOS 12 Monterey 或更高版本）以及基于 Chromium 的浏览器（Microsoft Edge、Google Chrome）都支持 OneDrive 离线模式。 - 默认情况下，OneDrive 将为网络上的用户提供离线模式，用户和管理员都可以选择禁用 OneDrive 的离线模式。 - 脱机模式是针对每台设备的设置（为用户在网络*问 OneDrive 所使用的每台设备单独配置）。 - 数据会安全地存储在用户配置文件目录下的本地数据库中，并通过安全的本地主机 HTTP 服务器处理请求。离线模式由一个单独的后台进程（Microsoft.SharePoint.exe）支持。 - 开启离线模式后，用户将在网络上的 OneDrive 顶部导航栏看到一个新图标。 这将如何影响您的组织
-
包婷婷 （201550484）作业一 统计软件简介与数据操作-SPSS(Statistical Product and Service Solutions)，"统计产品与服务解决方案"软件。最初软件全称为"(SolutionsStatistical Package for the Social Sciences)，但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为"统计产品与服务解决方案"，标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS，有Windows和Mac OS X等版本。 1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，极大地扩充了它的应用范围，并使其能很快地应用于自然科学、技术科学、社会科学的各个领域。世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价。 R统计软件介绍 R是一套完整的数据处理、计算和制图软件系统。其功能包括:数据存储和处理系统;数组运算工具(其向量、矩阵运算方面功能尤其强大);完整连贯的统计分析工具;优秀的统计制图功能;简便而强大的编程语言:可操纵数据的输入和输出，可实现分支、循环，用户可自定义功能。 与其说R是一种统计软件，还不如说R是一种数学计算的环境，因为R并不是仅仅提供若干统计程序、使用者只需指定数据库和若干参数便可进行一个统计分析。R的思想是:它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动的进行数据分析，甚至创造出符合需要的新的统计计算方法。 该语言的语法表面上类似 C，但在语义上是函数设计语言(functional programming language)的变种并且和Lisp 以及 APL有很强的兼容性。特别的是，它允许在"语言上计算"(computing on the language)。这使得它可以把表达式作为函数的输入参数，而这种做法对统计模拟和绘图非常有用。 R是一个免费的*软件，它有UNIX、LINUX、MacOS和WINDOWS版本，都是可以免费下载和使用的。在R主页那儿可以下载到R的安装程序、各种外挂程序和文档。在R的安装程序中只包含了8个基础模块，其他外在模块可以通过CRAN获得。 二、R语言 R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个*、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。 R作为一种统计分析软件，是集统计分析与图形显示于一体的。它可以运行于UNIX,Windows和Macintosh的操作系统上，而且嵌入了一个非常方便实用的帮助系统，相比于其他统计分析软件，R还有以下特点： 1.R是*软件。这意味着它是完全免费,开放源代码的。可以在它的网站及其镜像中下载任何有关的安装程序、源代码、程序包及其源代码、文档资料。标准的安装文件身自身就带有许多模块和内嵌统计函数,安装好后可以直接实现许多常用的统计功能。[2] 2.R是一种可编程的语言。作为一个开放的统计编程环境,语法通俗易懂,很容易学会和掌握语言的语法。而且学会之后,我们可以编制自己的函数来扩展现有的语言。这也就是为什么它的更新速度比一般统计软件,如,SPSS,SAS等快得多。大多数最新的统计方法和技术都可以在R中直接得到。[2] 3. 所有R的函数和数据集是保存在程序包里面的。只有当一个包被载入时,它的内容才可以被访问。一些常用、基本的程序包已经被收入了标准安装文件中,随着新的统计分析方法的出现,标准安装文件中所包含的程序包也随着版本的更新而不断变化。在另外版安装文件中,已经包含的程序包有：base一R的基础模块、mle一极大似然估计模块、ts一时间序列分析模块、mva一多元统计分析模块、survival一生存分析模块等等.[2] 4.R具有很强的互动性。除了图形输出是在另外的窗口处，它的输入输出窗口都是在同一个窗口进行的，输入语法中如果出现错误会马上在窗口口中得到提示,对以前输入过的命令有记忆功能,可以随时再现、编辑修改以满足用户的需要。输出的图形可以直接保存为JPG,BMP,PNG等图片格式,还可以直接保存为PDF文件。另外,和其他编程语言和数据库之间有很好的接口。[2] 5.如果加入R的帮助邮件列表一,每天都可能会收到几十份关于R的邮件资讯。可以和全球一流的统计计算方面的专家讨论各种问题,可以说是全世界最大、最前沿的统计学家思维的聚集地.[2] R是基于S语言的一个GNU项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改的在R环境下运行。 R的语法是来自Scheme。R的使用与S-PLUS有很多类似之处，这两种语言有一定的兼容性。S-PLUS的使用手册，只要稍加修改就可作为R的使用手册。所以有人说：R，是S-PLUS的一个“克隆”。 但是请不要忘了：R是免费的(R is free)。R语言源代码托管在github，具体地址可以看参考资料。[3] 。 R语言的下载可以通过CRAN的镜像来查找。 R语言有域名为.cn的下载地址，有六个，其中两个由Datagurn，由 中国科学技术大学提供的。R语言Windows版，其中由两个下载地点是Datagurn和 USTC提供的。 三、stata Stata 是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能，包含线性混合模型、均衡重复反复及多项式普罗比模式。用Stata绘制的统计图形相当精美。 新版本的STATA采用最具亲和力的窗口接口，使用者自行建立程序时，软件能提供具有直接命令式的语法。Stata提供完整的使用手册，包含统计样本建立、解释、模型与语法、文献等超过一万余页的出版品。 除此之外，Stata软件可以透过网络实时更新每天的最新功能，更可以得知世界各地的使用者对于STATA公司提出的问题与解决之道。使用者也可以透过Stata. Journal获得许许多多的相关讯息以及书籍介绍等。另外一个获取庞大资源的管道就是Statalist，它是一个独立的listserver，每月交替提供使用者超过1000个讯息以及50个程序。 四、PYTHON
-
如何在 python 中使用 libpcap 库进行数据包捕获和数据处理。
-
在 .NET WinForms 中使用 ScottPlot 库快速实现大型数据集的交互式显示
-
如何使用 SQL Server 中的查询设计器传递大型数据库的最终查询问题。
-
阿里味 "的《Redis核心实践全彩手册》给你，还学不会转行--Redis基本是必考点。在 "阿里味 "的《Redis核心实战全彩手册》里，你还是学不会转行--Redis基本是必考点： - Redis 常见的性能问题有哪些？Redis 最常见的性能问题有哪些，如何解决？--性能相关 - Redis 缓存的雪崩、击落和穿透到底意味着什么？如何处理？--缓存相关 - Redis 主从集群有哪些常见问题？如何解决？--可用性 - 现有的 Redis 实例有 6GB 的存储空间，预计将来会扩展到 32GB，你能提供解决方案并分析其优势和潜在问题吗？--可扩展性相关 毕竟，10 家公司中至少有 8 家的架构系统中都有 Redis，基本上可以说是 IT 基础架构的必备系统。 因此，Redis 的开发和运维是很多大厂的重要工作，也是我们必须掌握的技术栈。 不过，Redis 毕竟是一个复杂的键值数据库，在实际使用中，有非常多的技术点需要注意，比如：各种数据结构、数据持久化机制、分片集群、主从集群等等。 一不小心，性能就会每况愈下，失去 "快 "的最大特点！