Redis 基础 III(redis 的高级配置)
Redis进阶配置
一、Redis持久化操作
持久化就是把内存的数据写到磁盘中去,防止服务宕机了内存数据丢失。(Redis 数据都放在内存中。如果机器挂掉,内存的数据就不存在。所以需要做持久化,将内存中的数据保存在磁盘,下一次启动的时候就可以恢复数据到内存中。)
Redis 提供了两种持久化方式: RDB(默认,rbd 就是之前说的快照Redis DataBase) 和 AOF(Append Of File)。
1.1 RDB持久化(快照)
Redis 可以通过创建快照来 获得存储在内存里面的数据在某个时间点上的副本。Redis 创建快照之后,可以对快照进行备份,可以将快照复制到其他服务器从而创建具有相同数据的服务器副本,还可以将快照留在 本地以便重启服务器的时候使用。
1.1.1 RDB持久化流程
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。 整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
1.1.2 RDB 持久化触发策略
RDB持久化提供了两种触发策略:一种是手动触发,另一种是自动触发。
-
手动触发策略:
手动触发是通过
SAVE
命令或者BGSAVE
命令将内存数据保存到磁盘文件中。如下所示: save:会阻塞当前Redis服务器,直到持久化完成,线上应该禁止使用。
bgsave:该触发方式会fork一个子进程,由子进程负责持久化过程,因此阻塞只会发生在fork子进程的时候。
127.0.0.1:6379> SAVE
OK
127.0.0.1:6379> BGSAVE
Background saving started
127.0.0.1:6379> LASTSAVE
(integer) 1611298430
-
自动触发策略:
自动触发策略,是指 Redis 在指定的时间内,数据发生了多少次变化时,会自动执行
BGSAVE
命令。自动触发的条件包含在了 Redis 的配置文件中( redis.conf 配置文件),如下所示:上图所示, save m n 的含义是在时间 m 秒内,如果 Redis 数据至少发生了 n 次变化,那么就自动执行
BGSAVE
命令。配置策略说明如下:- save 900 1 表示在 900 秒内,至少更新了 1 条数据,Redis 自动触发 BGSAVE 命令,将数据保存到硬盘。
- save 300 10 表示在 300 秒内,至少更新了 10 条数据,Redis 自动触 BGSAVE 命令,将数据保存到硬盘。
- save 60 10000 表示 60 秒内,至少更新了 10000 条数据,Redis 自动触发 BGSAVE 命令,将数据保存到硬盘。
只要上述三个条件任意满足一个,服务器就会自动执行
BGSAVE
命令。当然您可以根据实际情况自己调整触发策略。
1.1.3 dump.rdb 文件
-
在 **redis.conf ** 中配置文件名称,默认为 dump.rdb.
-
RDB 文件的保存路径,也可以修改。 默认为Redis启动时命令行所在的目录下,我们可以自定义目录位置。
-
stop-writes-on-bgsave-error
当 Redis 无法写入磁盘的话,直接关掉Redis的写操作。推荐Yes
1.2 AOF 持久化(只追加文件)
以日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写指令记录下来(读操作不记录), 只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
注意:AOF默认不开启(可以通过 appendonly 参数开启:appendonly yes)。可以在redis.conf中配置文件名称,默认为 appendonly.aof。AOF文件的保存路径,同RDB的路径一致。
AOF和RDB同时开启,系统默认取AOF的数据(数据不会存在丢失)。
开启 AOF 持久化后每执行一条会更改 Redis 中的数据的命令,Redis 就会将该命令写入硬盘中的 AOF
文件。AOF 文件的保存位置和 RDB 文件的位置相同,都是通过 dir 参数设置的,默认的文件名是
appendonly.aof。
1.2.1 AOF 持久化策略
-
appendfsync always
始终同步,每次Redis的写入都会立刻记入日志;性能较差但数据完整性比较好。这样会严重降低 Redis的速度。
-
appendfsync everysec
每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失。
-
appendfsync no
redis不主动进行同步,把同步时机交给操作系统。
为了兼顾数据和写入性能,用户可以考虑 appendfsync everysec 选项 ,让 Redis 每秒同步一次 AOF
文件,Redis 性能几乎没受到任何影响。而且这样即使出现系统崩溃,用户最多只会丢失一秒之内产生的数
据。
1.2.2 ReWrite重写机制
AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof
-
如何重写?
AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename),redis4.0版本后的重写,是指上就是把rdb 的快照,以二级制的形式附在新的aof头部,作为已有的历史数据,替换掉原来的流水账操作。
-
no-appendfsync-on-rewrite:
如果 no-appendfsync-on-rewrite=yes ,不写入aof文件只写入缓存,用户请求不会阻塞,但是在这段时间如果宕机会丢失这段时间的缓存数据。(降低数据安全性,提高性能)
如果 no-appendfsync-on-rewrite=no, 还是会把数据往磁盘里刷,但是遇到重写操作,可能会发生阻塞。(数据安全,但是性能降低)
-
触发机制,何时重写?
Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
重写虽然可以节约大量磁盘空间,减少恢复时间。但是每次重写还是有一定的负担的,因此设定Redis要满足一定条件才会进行重写。
auto-aof-rewrite-percentage:设置重写的基准值,文件达到100%时开始重写(文件是原来重写后文件的2倍时触发)
auto-aof-rewrite-min-size:设置重写的基准值,最小文件64MB。达到这个值开始重写。
例如:文件达到70MB开始重写,降到50MB,下次什么时候开始重写?100MB
系统载入时或者上次重写完毕时,Redis会记录此时AOF大小,设为base_size,
如果Redis的AOF当前大小>= base_size +base_size*100% (默认)且当前大小>=64mb(默认)的情况下,Redis会对AOF进行重写。
1.2.3 使用AOF持久化流程
- bgrewriteaof触发重写,判断是否当前有bgsave或bgrewriteaof在运行,如果有,则等待该命令结束后再继续执行。
- 主进程fork出子进程执行重写操作,保证主进程不会阻塞。
- 子进程遍历redis内存中数据到临时文件,客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失。
-
- 子进程写完新的AOF文件后,向主进程发信号,父进程更新统计信息。
- 主进程把aof_rewrite_buf中的数据写入到新的AOF文件。
- 使用新的AOF文件覆盖旧的AOF文件,完成AOF重写。
-
优势
- 备份机制更稳健,丢失数据概率更低。
- 可读的日志文本,通过操作AOF稳健,可以处理误操作。
-
劣势
-
比起RDB占用更多的磁盘空间。
-
恢复备份速度要慢。
-
每次读写都同步的话,有一定的性能压力。
同时开启两种持久化方式:在这种情况下,当 redis 重启的时候会优先载入 AOF 文件来恢复原始的数据, 因为在通常情况下 AOF 文件保存的数据集要比 RDB 文件保存的数据集要完整. RDB 的数据不实时,同时使用两者时服务器重启也只会找 AOF 文件。那要不要只使用 AOF 呢? 不推荐,因为 RDB 更适合用于备份数据库(AOF 在不断变化不好备份), 快速重启,而且不会有 AOF 可能潜在的 bug,留着作为一个万一的手段。
-
二、redis主从读写分离架构设计
之前我们仅仅是在一台 Redis 服务中操作数据, 但是如果是高并发访问的情况下,一台 redis 服务可能扛不住,为了解决这样的问题可以配置多台 Redis 实现数据的同步,这些 Redis服务之间是主(master)从(slave)关系。
主机数据更新后根据配置和策略, 自动同步到备机的机制。主机就是master,备机就是slave。主从复制的机制能干嘛:
- 读写分离,性能扩展。从而提高了访问的性能。
- 容灾快速恢复,可以很好的实现数据的备份。
2.1 搭建一主多从
现在需要准备三台 redis 服务,所以需要三个 redis 配置文件,同时要使用到三个端口,分别是 6379,6380,6381。
另一种方案是准备三台虚拟机 (暂不使用该方案)。
详细操作:创建堕胎机器:
- 拷贝多个 redis.conf 文件
- 开启 daemonize yes
- pid 文件名称 (pidfile)
- 指定端口 port
- Log 文件名称 (可以不配置)
- dump.rdb 名称 (dbfilename)
- appendonly 关掉
搭建步骤:
- 新建一个目录,存放redis的配置文件:
#新建目录
mkdir myredis
cd myredis/
# 拷贝原有Redis的配置文件 redis.conf 到新创建的文件夹中(注意自己的原始 redis.conf 存放位置)
cp /usr/local/bin/redis.conf redis.conf
- 在自定义创建的文件下 在创建三个配置文件
新建redis6379.conf、redis6380、redis6381 三个配置文件,并在配置文件中定义以下内容
#redis6379.conf 配置文件内容
port 6379
bind 0.0.0.0
daemonize yes
save 900 1
dbfilename dump6379.rdb
dir /usr/local/redis/data
pidfile /usr/local/redis/run/redis-6379.pid
logfile /usr/local/redis/logs/redis-6379.log
#=====================================
#redis6380.conf 配置文件内容
port 6380
bind 0.0.0.0
daemonize yes
save 900 1
dbfilename dump6380.rdb
dir /usr/local/redis/data
pidfile /usr/local/redis/run/redis-6380.pid
logfile /usr/local/redis/logs/redis-6380.log
slaveof 127.0.0.1 6379
masterauth hellosun
#=====================================
#redis6381.conf 配置文件内容
port 6381
bind 0.0.0.0
daemonize yes
save 900 1
dbfilename dump6381.rdb
dir /usr/local/redis/data
pidfile /usr/local/redis/run/redis-6381.pid
logfile /usr/local/redis/logs/redis-6381.log
slaveof 127.0.0.1 6379
masterauth hellosu
- **bind 0.0.0.0 :**在服务器的环境中,指的就是当前服务器上所有的 ip 地址,如果机器上有 2 个 ip 192.168.30.10 和 10.0.2.15,redis 在配置中,如果配置监听在 0.0.0.0 这个地址上,那么,通过这 2 个 ip 地址都是能够到达这个 redis 服务的。同时呢,访问本地的 127.0.0.1 也是能够访问到 redis 服务的。
- save 900 1: 表示 15 分钟持久化一次数据(将内存中的数据同步保存到磁盘中)
- bfilename dump6381.rdb:持久化的文件
- **slaveof 127.0.0.1 6379:**表示当前 redis 服务的主主机(master)
- **masterauth hellosun:**表示 master 机的密码
-
启动三台 redis-server
注意:这里需要调用 redis-server命令。需要配置好该命令,如果找不着该命令,就去对应的bin目录下执行redis-server /www/server/redisMyssss/redis3679.conf 命令。
[root@java2201 redisMyss]# redis-server redis6379.conf [root@java2201 redisMyss]# redis-server redis6380.conf [root@java2201 redisMyss]# redis-server redis6381.conf [root@java2201 redisMyss]# ps -ef | grep redis root 3012 1 0 14:45 ? 00:00:00 redis-server 127.0.0.1:6379 root 3018 1 0 14:46 ? 00:00:00 redis-server 127.0.0.1:6380 root 3024 1 0 14:46 ? 00:00:00 redis-server 127.0.0.1:6381 root 3030 2541 0 14:46 pts/0 00:00:00 grep --color=auto redis
-
配置从机(上面配置文件中已经设置)
在6380 、6381 两个redis服务上配置从机角色。6379 是主机,不需要做任何配置。
首先我们关掉redis三台服务器:
[root@java2201 redisMyss]# redis-cli -p 6379 shutdown [root@java2201 redisMyss]# redis-cli -p 6380 shutdown [root@java2201 redisMyss]# redis-cli -p 6381 shutdown
在 redis6380.conf 、redis6381.conf 配置文件中配置从机,在配置文件中添加: slaveof 127.0.0.1 6379
-
重启三台redis服务器,查询相关的服务器运行信息。
首先使用 redis-cli -p 命令使用客户端连接服务器( 注意:如果设置密码的从机,需要登录密码 ),然后使用命令info replication 查看redis服务器运行情况。
#===========查看 master(主机 redis6379) 的运行情况========= [root@java2201 redisMyss]# redis-cli -p 6379 127.0.0.1:6379> info replication # Replication role:master # 主机 connected_slaves:2 # 从机的数量 slave0:ip=127.0.0.1,port=6380,state=online,offset=42,lag=0 # 从机的具体状态 slave1:ip=127.0.0.1,port=6381,state=online,offset=28,lag=1 # 从机的具体状态 master_failover_state:no-failover master_replid:df8e8d5239e9e60712e03aef99e38dc2954ef428 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:42 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:42 ===========查看 slave(从机 redis6380、redis6381) 的运行情况========= [root@java2201 redisMyss]# redis-cli -p 6380 127.0.0.1:6380> info replication Replication role:slave # 角色 从机 master_host:127.0.0.1 master_port:6379 master_link_status:up master_last_io_seconds_ago:8 master_sync_in_progress:0 slave_repl_offset:56 slave_priority:100 slave_read_only:1 connected_slaves:0 master_failover_state:no-failover master_replid:df8e8d5239e9e60712e03aef99e38dc2954ef428 master_replid2:0000000000000000000000000000000000000000 master_repl_offset:56 second_repl_offset:-1 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:56
- 测试reids主从复制是否成功
在主机上添加数据,在从机上查看:
#======在redis6379机器上设置数据======
127.0.0.1:6379> set username eric
OK
#======在从机redis6380 redis6381上查看数据======
127.0.0.1:6380> get username
"eric"
127.0.0.1:6381> get username
"eric"
在从机上写数据,看是否可以写成功。
127.0.0.1:6380> set k1 v1
(error) READONLY You can't write against a read only replica.
# 不能写数据,因为从机只能读数据
127.0.0.1:6381> set k2 v2
(error) READONLY You can't write against a read only replica.
# 不能写数据,因为从机只能读数据
2.2 主从复制原理
首先测试一个几个问题会发生的情况:
2.2.1 从机挂掉后的情况
- 这里先停掉redis6381这台机器。
- 然后在主机6379上新增一个数据( 此时redis6381从机已经关闭 )
- 登录到6380这台从机上去获取新增的数据,查看效果
- 重启redis6381 这台从机,查询挂掉期间主机上新增的数据,看是否能够获取到
#===== 1.停掉redis6381 ======
127.0.0.1:6381> shutdown
not connected> exit
[root@java2201 redisMyss]# ps -ef | grep redis
root 3956 1 0 15:49 ? 00:00:00 redis-server 127.0.0.1:6379
root 3962 1 0 15:49 ? 00:00:00 redis-server 127.0.0.1:6380
root 3975 3807 0 15:49 pts/0 00:00:00 redis-cli -p 6379
root 3987 3864 0 15:49 pts/1 00:00:00 redis-cli -p 6380
root 4002 3905 0 15:50 pts/2 00:00:00 grep --color=auto redis
#===== 2.主机上新增数据 ======
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> keys *
1) "username"
2) "k1"
#===== 3.登录到从机6380 查看情况 ======
127.0.0.1:6380> keys *
1) "k1"
2) "username"
#===== 4.重启之前关闭的从机redis6381 ======
[root@java2201 myredis]# redis-server redis6381.conf
[root@java2201 myredis]# redis-cli -p 6381
127.0.0.1:6381> info replication
# Replication
role:slave # 重启之后 角色没有发生变化,依然是从机
master_host:127.0.0.1
master_port:6379
#===== 4.重启后的从机6381中,查询主机增加的数据 ======
127.0.0.1:6381> keys *
1) "k1" # 依然能够同步到主机上最新的数据
2) "username"
2.2.2 主机挂掉后的情况
这里将主机进行挂掉操作,然后在从机中查看从机的状态是否发生变化。
#===== 1.将主机redis6379 关闭 ======
127.0.0.1:6379> shutdown
not connected> exit
[root@java2201 myredis]# ps -ef | grep redis
root 3962 1 0 15:49 ? 00:00:00 redis-server 127.0.0.1:6380
root 3987 3864 0 15:49 pts/1 00:00:00 redis-cli -p 6380
root 4022 1 0 15:52 ? 00:00:00 redis-server 127.0.0.1:6381
root 4036 3905 0 15:53 pts/2 00:00:00 redis-cli -p 6381
root 4054 3807 0 15:55 pts/0 00:00:00 grep --color=auto redis
#===== 2.查看两个从机的状态变化 ======
127.0.0.1:6380> info replication # 从机6380机器上的状态
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:down
127.0.0.1:6381> info replication # 从机6381机器上的状态
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:down
可以看出,不管主机的状态是什么样,从机的角色永远不会发生变化。
2.2.3 主从复制的原理
- Slave启动成功连接到master后会发送一个sync命令。
- Master接到命令启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令, 在后台进程执行完毕之后,master将传送整个数据文件到slave,以完成一次完全同步。
- 全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。
- 增量复制:Master继续将新的所有收集到的修改命令依次传给slave,完成同步。
- 但是只要是重新连接master,一次完全同步(全量复制)将被自动执行。
2.3 其它配置方式
2.3.1 薪火相传
上一个Slave可以是下一个slave的Master,Slave同样可以接收其他 slaves的连接和同步请求,那么该slave作为了链条中下一个的master, 可以有效减轻master的写压力,去中心化降低风险。
风险是一旦某个slave宕机,后面的slave都没法备份。
现在我们实现薪火相传的效果:
搭建redis6382,注意,redis6382是redis6381的从机。
[root@java2201 myredis]# vim redis6382.conf
#====== 配置文件内容 ======
include /myredis/redis.conf
pidfile /var/run/redis_6382.pid
port 6382
dbfilename dump6382.rdb
slaveof 127.0.0.1 6381 # 不是6379
#启动 redis6382 客户端,在查询他的状态
[root@java2201 myredis]# redis-cli -p 6382
127.0.0.1:6382> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6381 # 我们发现6381是6382的主机
在查询 redis6381的状态:
我们发现redis6380既是从机还是6382的主机。
注意:6381还是只能提供读的服务,不能写数据,它的作用是分担了6379机器数据同步的压力。
2.3.2 反客为主
在默认情况下,如果主机挂了,从机的角色不会发生变化,永远都是从机的角色。如果我们想主机挂了之后,从机的角色发生转换,转换成主机,这就叫反客为主。
-
关闭主机redis6379
127.0.0.1:6379> shutdown not connected> exit
-
把从机redis6380设置成主机
127.0.0.1:6380> slaveof no one OK 127.0.0.1:6380> info replication # Replication role:master 127.0.0.1:6380> set k2 v2 # 可以存数据了 OK
-
在从机上取数据
127.0.0.1:6381> slaveof 127.0.0.1 6380 # 重新指定其主机是6380 OK 127.0.0.1:6381> keys * 1) "k1" 2) "username" 3) "k2" 127.0.0.1:6381> get k2 "v2"
2.4 哨兵模式
反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从节点切换成主节点。
在之前配置的 Redis 主从服务中,可以实现数据的备份,也实现了读写分离(master 负责写入和更新数据,slave 负责读取数据),但是还是存在一定的问题,一旦 master 死掉(比如网络出问题)之后就无法写入数据了,所以其实上之前的架构设计还很脆弱,容灾能力不强。
如果 master 宕机了,整个系统无法写入数据,很可能让系统瘫痪给企业带来损失(最直观的是影响了口碑等影响)。
最好的做法是当 master 死掉之后会在 slave 中通过一定算法(不用你实现)选举出一台新的 master。要实现这个操作需要配置哨兵对整个集群环境进行监控,一旦有两个或者两个以上的哨兵(数量是可以配置)认为当前的master 出问题了,最终就从 slave 中选举出一台新的 master,从而解决问题。
关于哨兵机制的配置我们不需要额外下载任何安装包之类的东西,在我们安装 redis 的时候就已经自带了,所以我们只需要拷贝相关的启动文件和配置文件进行配置即可。
2.4.1 搭建哨兵模式步骤
-
如果要进行哨兵进程的启动,那么一定需要有一个哨兵程序启动文件 redis-sentinel (在reids的安装目录中),该文件自动会保存在编译后的 Redis 目录中,将该启动文件拷贝到 redis 的bin 目录中。
cp /usr/local/src/redis/src/redis-sentinel /usr/local/redis/bin/
-
将 sentinel.conf 拷贝到 我们
将官方自带的哨兵配置文件 sentinel.conf (此文件在 redis 的源码目录下,即解压路径下)复制到存放主从机配置文件中(根据自己的存放位置进行拷贝)
cp /usr/local/src/redis/sentinel.conf /usr/local/redis/conf/
-
哨兵机制中各配置项的含义
其中mymaster为监控对象起的服务器名称
NO 配置项 作用模式 1 protected-mode no(在 redis.conf 的配置文件中) 关闭 redis 的保护模式,如果不关闭 redis 的保护模式则哨兵无法实现主从切换,无法自动修改配置文件选举出新的 maste 2 port 26379 配置哨兵服务的端口 3 sentinel monitor mymaster 127.0.0.16379 2 设置哨兵监控的名称,192.168.139.134 63792 :表 示 master 的 ip 地址,端口号, 2 指明当有两个 sentinel 认为 master 失效时,master 才算真正失效 4 sentinel auth-pass mymaster hellosu 配置 master 的密码(如没设置密码,可以省略) 5 sentinel down-after-milliseconds mymaster 5000 master 宕机之后指定时间才会被 sentinel 主观地认为是不可用的,单位是毫秒,默认为 30 秒。 6 sentinel failover-timeout mymaster 18000 配置选举新的 master 超时时间(切换时间,单位是毫秒),如果超过了该时间认为切换失败(整个服务就完了) 7 pidfile/usr/data/redis/run/redis-sentinel.pid 哨兵进程文件的保存目录,与 Redis 进程目录相同 8 #logfile “/usr/data/redis/logs/sentinel-26379.log” 设置哨兵日志文件所在的路径,如果此时希望信息前台显示输出,则暂时不进行此内容的设置 9 dir /usr/local/redis/data 【但是你要在系统中创建该目录】 指定一些临时数据的保存目录 10 daemonize no 是否为后台运行,如果设置为 yes 表示后台运行(实际开发中要设置为 yes) -
将如下的配置复制到三台 slave 机中的 sentinel.conf 文件
port 26379 daemonize no pidfile /usr/data/redis/run/redis-sentinel.pid # logfile "/usr/data/redis/logs/sentinel-26379.log" dir /usr/local/redis/data sentinel monitor mymaster 192.168.139.134 6379 2 sentinel auth-pass mymaster hellosun sentinel down-after-milliseconds mymaster 5000 sentinel failover-timeout mymaster 18000
2.4.2 启动哨兵
[root@java2201 conf]# redis-sentinel sentinel.conf
我们可以看到哨兵监控的具体信息:
-
将主机redis6379停掉:
[root@java2201 myredis]# redis-cli -p 6379 shutdown
我们再看sentinel控制台的输出(此时需要等待一定的时间),我们可以看到切换主机的一些日志信息:
-
查看redis6381的服务器运行信息
[root@java2201 ~]# redis-cli -p 6381 127.0.0.1:6381> info replication # Replication role:master # 变成了主机 connected_slaves:1 slave0:ip=127.0.0.1,port=6380,state=online,offset=36593,lag=0 master_failover_state:no-failover master_replid:b6ff983efa23cafad22380a6d9d270eadcb69e99 master_replid2:8b338cbee4b296b50621911fd89d26d68c110b14 master_repl_offset:36593 second_repl_offset:14976 repl_backlog_active:1 repl_backlog_size:1048576 repl_backlog_first_byte_offset:1 repl_backlog_histlen:36593
-
接下来我们重新启动redis6379服务器
[root@java2201 myredis]# redis-cli -p 6379 shutdown [root@java2201 myredis]# redis-server redis6379.conf [root@java2201 myredis]# redis-cli -p 6379 127.0.0.1:6379> info replication # Replication role:slave # 6379变成了从服务器了 master_host:127.0.0.1 master_port:6381
2.4.3 哨兵的选举策略
通过上面的操作,我们指定当从节点挂掉之后,哨兵会选出新的主节点,他们选举策略如下:
(1) 选择优先级靠前的。
优先级在redis.conf中默认:replica-priority 100,值越小优先级越高
(2) 选择偏移量最大的。
偏移量是指获得原主机数据最全的。
(3) 选择runid最小的服务。
每个redis实例启动后都会随机生成一个40位的runid。
2.5 Spring整合哨兵机制
实现了哨兵机制的集群架构配置,此时如果原先的 master 服务宕机了,要求也不影响程序的访问,程序也能找到新的 master 机进行数据操作,要实现这个需求需要在项目中进行一些整合配置,我们就以 SpringDataRedis
作为案例进行整合配置。
三、redis集群
如果redis容量不够了,数据写不进去了,redis如何扩容?
如果redis的并发操作大,redis如何分摊并发压力?
另外,主从模式,薪火相传模式,主机宕机,导致ip地址发生变化,应用程序中配置需要修改对应的主机地址、端口等信息。之前通过代理主机来解决,但是redis3.0中提供了解决方案。就是无中心化集群配置。
3.1 搭建redis集群
redis集群有什么特点:Redis 集群实现了对Redis的水平扩容,即启动N个redis节点,将整个数据库分布存储在这N个节点中,每个节点存储总数据的1/N。
Redis 集群通过分区(partition)来提供一定程度的可用性(availability): 即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。
接下来我们开始redis集群的具体搭建:
- 创建新的目录
创建目录redis-cluster,将之前搭建主从复制的redis.conf拷贝到当前目录。
注意:redis.conf配置文件一定要设置成远程登录,否则搭建集群不成功。
[root@java2201 /]# mkdir redis-cluster
[root@java2201 /]# cd redis-cluster
[root@java2201 redis-cluster]# cp /myredis/redis.conf redis.conf
- 我们搭建3主3从,所以我们创建6个redis实例。
6个redis实例的端口号分别是6379,6380,6381,6389,6390,6391。
创建redis配置文件redis6379.conf,配置文件里面定义如下:
include /redis-cluster/redis.conf
pidfile /var/run/redis_6379.pid
port 6379
dbfilename dump6379.rdb
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
注意:
cluster-enabled yes 打开集群模式
cluster-config-file nodes-6379.conf 设定节点配置文件名
cluster-node-timeout 15000 设定节点失联时间,超过该时间(毫秒),集群自动进行主从切换。
- 复制其他节点的配置文件
[root@java2201 redis-cluster]# cp redis6379.conf redis6380.conf
[root@java2201 redis-cluster]# cp redis6379.conf redis6381.conf
[root@java2201 redis-cluster]# cp redis6379.conf redis6389.conf
[root@java2201 redis-cluster]# cp redis6379.conf redis6390.conf
[root@java2201 redis-cluster]# cp redis6379.conf redis6391.conf
[root@java2201 redis-cluster]# ll
总用量 24
-rw-r--r--. 1 root root 177 10月 6 19:57 redis6379.conf
-rw-r--r--. 1 root root 177 10月 6 20:01 redis6380.conf
-rw-r--r--. 1 root root 177 10月 6 20:01 redis6381.conf
-rw-r--r--. 1 root root 177 10月 6 20:01 redis6389.conf
-rw-r--r--. 1 root root 177 10月 6 20:01 redis6390.conf
-rw-r--r--. 1 root root 177 10月 6 20:01 redis6391.conf
- 将配置文件里面的内容进行修改
可以使用查找并替换的命令来实现:
:%s/6379/6380
- 启动6个redis服务
[root@java2201 redis-cluster]# redis-server redis6379.conf
[root@java2201 redis-cluster]# redis-server redis6380.conf
[root@java2201 redis-cluster]# redis-server redis6381.conf
[root@java2201 redis-cluster]# redis-server redis6389.conf
[root@java2201 redis-cluster]# redis-server redis6390.conf
[root@java2201 redis-cluster]# redis-server redis6391.conf
查看redis服务启动状态:
[root@java2201 redis-cluster]# ps -ef | grep redis
root 8673 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6379 [cluster]
root 8679 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6380 [cluster]
root 8685 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6381 [cluster]
root 8691 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6389 [cluster]
root 8697 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6390 [cluster]
root 8703 1 0 22:56 ? 00:00:00 redis-server 127.0.0.1:6391 [cluster]
root 8483 6637 0 22:45 pts/0 00:00:00 grep --color=auto redis
注意:如果搭建成功,当前目录下面必须存在以nodes-开头的文件
- 将6个节点合并成一个集群
合并集群之前,请确保所有redis实例启动后,nodes-xxxx.conf文件都生成正常。
先进入到最先安装redis的src目录:
[root@java2201 /]# cd /opt/redis-6.2.1/src
[root@java2201 src]# ls
[root@java2201 src]# redis-cli --cluster create --cluster-replicas 1 192.168.10.130:6379 192.168.10.130:6380 192.168.10.130:6381 192.168.10.130:6389 192.168.10.130:6390 192.168.10.130:6391
注意:此处不要用127.0.0.1, 请用真实IP地址。
–replicas 1 采用最简单的方式配置集群,一台主机,一台从机,正好三组。
执行命令,之后,效果如下:
我们输入yes,表示接受以上配置:
如果出现以上信息说明集群搭建成功。
- 连接集群
使用连接集群的命令: redis-cli -c -p 6379
-c:指的使用集群的方式连接redis。
-p:指定参数,这里任意参数都可以。
[root@java2201 src]# redis-cli -c -p 6379
[root@java2201 src]# cluster nodes # 查看集群的具体情况
3.2 redis集群细节
一个集群至少要有三个主节点。
选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
分配原则尽量保证每个主数据库运行在不同的IP地址,每个从库和主库不在一个IP地址上。
一个 Redis 集群包含 16384 个插槽(hash slot), 数据库中的每个键都属于这 16384 个插槽的其中一个。
集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。
集群中的每个节点负责处理一部分插槽。 举个例子, 如果一个集群可以有主节点, 其中:
节点 A 负责处理 0 号至 5460 号插槽。
节点 B 负责处理 5461 号至 10922 号插槽。
节点 C 负责处理 10923 号至 16383 号插槽。
- 在集群模式写写入数据
接下来我们在集群中插入数据:
127.0.0.1:6379> set k1 v1
-> Redirected to slot [12706] located at 192.168.10.140:6381
OK
192.168.10.140:6381> set k2 v2
-> Redirected to slot [449] located at 192.168.10.140:6379
OK
192.168.10.140:6379>
注意:不在一个slot下的键值,是不能使用mget,mset等多键操作。
192.168.10.140:6379> mset username eric age 20
(error) CROSSSLOT Keys in request don't hash to the same slot # 此时报错
我们可以通过{}来定义组的概念,从而使key中{}内相同内容的键值对放到一个slot中去。
192.168.10.140:6379> mset username{group1} eric age{group1} 20
-> Redirected to slot [7859] located at 192.168.10.140:6380
OK
192.168.10.140:6380>
- 查询集群中的值
192.168.10.1
推荐阅读
-
Redis 基础 III(redis 的高级配置)
-
Redis:排序集基础算法的简单分析
-
使用docker-compose进行redis服务的配置和部署
-
详细解读Redis与Redis Sentinel的配置操作指南
-
【2022新手指南】Java编程进阶之路 - 六、技术架构篇 ### MySQL索引底层解析与优化实战 - 你会讲解MySQL索引的数据结构吗?性能调优技巧知多少? - Redis深度揭秘:你知道多少?从基础到哨兵、主从复制全梳理 - Redis持久化及哨兵模式详解,还有集群搭建和Leader选举黑箱打开 - Zookeeper是个啥?特性和应用场景大公开 - ZooKeeper集群搭建攻略及 Leader选举、读写一致性、共享锁实现细节 - 探究ZooKeeper中的Leader选举机制及其在分布式环境中的作用 - Zab协议深入剖析:原理、功能与在Zookeeper中的核心地位 - RabbitMQ全方位解读:工作模式、消费限流、可靠投递与配置策略 - 设计者视角:RabbitMQ过期时间、死信队列与延时队列实践指南 - RocketMQ特性和应用场景揭示:理解其精髓与差异化优势 - Kafka详细介绍:特性及广泛应用于实时数据处理的场景解析 - ElasticSearch实力揭秘:特性概述与作为搜索引擎的广泛应用 - MongoDB认知升级:非关系型数据库的优势阐述,安装与使用实战教学 - BIO/NIO/AIO网络模型对比:掌握它们的区别与在网络编程中的实际应用 - Netty带你飞:理解其超快速度背后的秘密,包括线程模型分析 - 网络通信黑科技:Netty编解码原理与常用编解码器的应用,Protostuff实战演示 - 解密Netty粘包与拆包现象,怎样有效应对这一常见问题 - 自定义Netty心跳检测机制,轻松调整检测间隔时间的艺术 - Dubbo轻骑兵介绍:核心特性概览,服务降级实战与其实现益处 - Dubbo三大神器解读:本地存根与本地伪装的实战运用与优势呈现 ----------------------- 七、结语与回顾
-
Redis基础教程——详解Redis的超时(过期)机制
-
SSM三大框架基础面试题-一、Spring篇 什么是Spring框架? Spring是一种轻量级框架,提高开发人员的开发效率以及系统的可维护性。 我们一般说的Spring框架就是Spring Framework,它是很多模块的集合,使用这些模块可以很方便地协助我们进行开发。这些模块是核心容器、数据访问/集成、Web、AOP(面向切面编程)、工具、消息和测试模块。比如Core Container中的Core组件是Spring所有组件的核心,Beans组件和Context组件是实现IOC和DI的基础,AOP组件用来实现面向切面编程。 Spring的6个特征: 核心技术:依赖注入(DI),AOP,事件(Events),资源,i18n,验证,数据绑定,类型转换,SpEL。 测试:模拟对象,TestContext框架,Spring MVC测试,WebTestClient。 数据访问:事务,DAO支持,JDBC,ORM,编组XML。 Web支持:Spring MVC和Spring WebFlux Web框架。 集成:远程处理,JMS,JCA,JMX,电子邮件,任务,调度,缓存。 语言:Kotlin,Groovy,动态语言。 列举一些重要的Spring模块? Spring Core:核心,可以说Spring其他所有的功能都依赖于该类库。主要提供IOC和DI功能。 Spring Aspects:该模块为与AspectJ的集成提供支持。 Spring AOP:提供面向切面的编程实现。 Spring JDBC:Java数据库连接。 Spring JMS:Java消息服务。 Spring ORM:用于支持Hibernate等ORM工具。 Spring Web:为创建Web应用程序提供支持。 Spring Test:提供了对JUnit和TestNG测试的支持。 谈谈自己对于Spring IOC和AOP的理解 IOC(Inversion Of Controll,控制反转)是一种设计思想: 在程序中手动创建对象的控制权,交由给Spring框架来管理。IOC在其他语言中也有应用,并非Spring特有。IOC容器实际上就是一个Map(key, value),Map中存放的是各种对象。 将对象之间的相互依赖关系交给IOC容器来管理,并由IOC容器完成对象的注入。这样可以很大程度上简化应用的开发,把应用从复杂的依赖关系中解放出来。IOC容器就像是一个工厂一样,当我们需要创建一个对象的时候,只需要配置好配置文件/注解即可,完全不用考虑对象是如何被创建出来的。在实际项目中一个Service类可能由几百甚至上千个类作为它的底层,假如我们需要实例化这个Service,可能要每次都搞清楚这个Service所有底层类的构造函数,这可能会把人逼疯。如果利用IOC的话,你只需要配置好,然后在需要的地方引用就行了,大大增加了项目的可维护性且降低了开发难度。 Spring中的bean的作用域有哪些? 1.singleton:该bean实例为单例 2.prototype:每次请求都会创建一个新的bean实例(多例)。 3.request:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP request内有效。 4.session:每一次HTTP请求都会产生一个新的bean,该bean仅在当前HTTP session内有效。 5.global-session:全局session作用域,仅仅在基于Portlet的Web应用中才有意义,Spring5中已经没有了。Portlet是能够生成语义代码(例如HTML)片段的小型Java Web插件。它们基于Portlet容器,可以像Servlet一样处理HTTP请求。但是与Servlet不同,每个Portlet都有不同的会话。 Spring中的单例bean的线程安全问题了解吗? 概念用于理解:大部分时候我们并没有在系统中使用多线程,所以很少有人会关注这个问题。单例bean存在线程问题,主要是因为当多个线程操作同一个对象的时候,对这个对象的非静态成员变量的写操作会存在线程安全问题。 有两种常见的解决方案(用于回答的点): 1.在bean对象中尽量避免定义可变的成员变量(不太现实)。 2.在类中定义一个ThreadLocal成员变量,将需要的可变成员变量保存在ThreadLocal(线程本地化对象)中(推荐的一种方式)。 ThreadLocal解决多线程变量共享问题(参考博客):https://segmentfault.com/a/1190000009236777 Spring中Bean的生命周期: 1.Bean容器找到配置文件中Spring Bean的定义。 2.Bean容器利用Java Reflection API创建一个Bean的实例。 3.如果涉及到一些属性值,利用set方法设置一些属性值。 4.如果Bean实现了BeanNameAware接口,调用setBeanName方法,传入Bean的名字。 5.如果Bean实现了BeanClassLoaderAware接口,调用setBeanClassLoader方法,传入ClassLoader对象的实例。 6.如果Bean实现了BeanFactoryAware接口,调用setBeanClassFacotory方法,传入ClassLoader对象的实例。 7.与上面的类似,如果实现了其他*Aware接口,就调用相应的方法。 8.如果有和加载这个Bean的Spring容器相关的BeanPostProcessor对象,执postProcessBeforeInitialization方法。 9.如果Bean实现了InitializingBean接口,执行afeterPropertiesSet方法。 10.如果Bean在配置文件中的定义包含init-method属性,执行指定的方法。 11.如果有和加载这个Bean的Spring容器相关的BeanPostProcess对象,执行postProcessAfterInitialization方法。 12.当要销毁Bean的时候,如果Bean实现了DisposableBean接口,执行destroy方法。 13.当要销毁Bean的时候,如果Bean在配置文件中的定义包含destroy-method属性,执行指定的方法。 Spring框架中用到了哪些设计模式? 1.工厂设计模式:Spring使用工厂模式通过BeanFactory和ApplicationContext创建bean对象。 2.代理设计模式:Spring AOP功能的实现。 3.单例设计模式:Spring中的bean默认都是单例的。 4.模板方法模式:Spring中的jdbcTemplate、hibernateTemplate等以Template结尾的对数据库操作的类,它们就使用到了模板模式。 5.包装器设计模式:我们的项目需要连接多个数据库,而且不同的客户在每次访问中根据需要会去访问不同的数据库。这种模式让我们可以根据客户的需求能够动态切换不同的数据源。 6.观察者模式:Spring事件驱动模型就是观察者模式很经典的一个应用。 7.适配器模式:Spring AOP的增强或通知(Advice)使用到了适配器模式、Spring MVC中也是用到了适配器模式适配Controller。 还有很多。。。。。。。 @Component和@Bean的区别是什么 1.作用对象不同。@Component注解作用于类,而@Bean注解作用于方法。 2.@Component注解通常是通过类路径扫描来自动侦测以及自动装配到Spring容器中(我们可以使用@ComponentScan注解定义要扫描的路径)。@Bean注解通常是在标有该注解的方法中定义产生这个bean,告诉Spring这是某个类的实例,当我需要用它的时候还给我。 3.@Bean注解比@Component注解的自定义性更强,而且很多地方只能通过@Bean注解来注册bean。比如当引用第三方库的类需要装配到Spring容器的时候,就只能通过@Bean注解来实现。 @Configuration public class AppConfig { @Bean public TransferService transferService { return new TransferServiceImpl; } } <beans> <bean id="transferService" class="com.kk.TransferServiceImpl"/> </beans> @Bean public OneService getService(status) { case (status) { when 1: return new serviceImpl1; when 2: return new serviceImpl2; when 3: return new serviceImpl3; } } 将一个类声明为Spring的bean的注解有哪些? 声明bean的注解: @Component 组件,没有明确的角色 @Service 在业务逻辑层使用(service层) @Repository 在数据访问层使用(dao层) @Controller 在展现层使用,控制器的声明 注入bean的注解: @Autowired:由Spring提供 @Inject:由JSR-330提供 @Resource:由JSR-250提供 *扩:JSR 是 java 规范标准 Spring事务管理的方式有几种? 1.编程式事务:在代码中硬编码(不推荐使用)。 2.声明式事务:在配置文件中配置(推荐使用),分为基于XML的声明式事务和基于注解的声明式事务。 Spring事务中的隔离级别有哪几种? 在TransactionDefinition接口中定义了五个表示隔离级别的常量:ISOLATION_DEFAULT:使用后端数据库默认的隔离级别,Mysql默认采用的REPEATABLE_READ隔离级别;Oracle默认采用的READ_COMMITTED隔离级别。ISOLATION_READ_UNCOMMITTED:最低的隔离级别,允许读取尚未提交的数据变更,可能会导致脏读、幻读或不可重复读。ISOLATION_READ_COMMITTED:允许读取并发事务已经提交的数据,可以阻止脏读,但是幻读或不可重复读仍有可能发生ISOLATION_REPEATABLE_READ:对同一字段的多次读取结果都是一致的,除非数据是被本身事务自己所修改,可以阻止脏读和不可重复读,但幻读仍有可能发生。ISOLATION_SERIALIZABLE:最高的隔离级别,完全服从ACID的隔离级别。所有的事务依次逐个执行,这样事务之间就完全不可能产生干扰,也就是说,该级别可以防止脏读、不可重复读以及幻读。但是这将严重影响程序的性能。通常情况下也不会用到该级别。 Spring事务中有哪几种事务传播行为? 在TransactionDefinition接口中定义了八个表示事务传播行为的常量。 支持当前事务的情况:PROPAGATION_REQUIRED:如果当前存在事务,则加入该事务;如果当前没有事务,则创建一个新的事务。PROPAGATION_SUPPORTS: 如果当前存在事务,则加入该事务;如果当前没有事务,则以非事务的方式继续运行。PROPAGATION_MANDATORY: 如果当前存在事务,则加入该事务;如果当前没有事务,则抛出异常。(mandatory:强制性)。 不支持当前事务的情况:PROPAGATION_REQUIRES_NEW: 创建一个新的事务,如果当前存在事务,则把当前事务挂起。PROPAGATION_NOT_SUPPORTED: 以非事务方式运行,如果当前存在事务,则把当前事务挂起。PROPAGATION_NEVER: 以非事务方式运行,如果当前存在事务,则抛出异常。 其他情况:PROPAGATION_NESTED: 如果当前存在事务,则创建一个事务作为当前事务的嵌套事务来运行;如果当前没有事务,则该取值等价于PROPAGATION_REQUIRED。 二、SpringMVC篇 什么是Spring MVC ?简单介绍下你对springMVC的理解? Spring MVC是一个基于Java的实现了MVC设计模式的请求驱动类型的轻量级Web框架,通过把Model,View,Controller分离,将web层进行职责解耦,把复杂的web应用分成逻辑清晰的几部分,简化开发,减少出错,方便组内开发人员之间的配合。 Spring MVC的工作原理了解嘛? image.png Springmvc的优点: (1)可以支持各种视图技术,而不仅仅局限于JSP; (2)与Spring框架集成(如IoC容器、AOP等); (3)清晰的角色分配:前端控制器(dispatcherServlet) , 请求到处理器映射(handlerMapping), 处理器适配器(HandlerAdapter), 视图解析器(ViewResolver)。 (4) 支持各种请求资源的映射策略。 Spring MVC的主要组件? (1)前端控制器 DispatcherServlet(不需要程序员开发) 作用:接收请求、响应结果,相当于转发器,有了DispatcherServlet 就减少了其它组件之间的耦合度。 (2)处理器映射器HandlerMapping(不需要程序员开发) 作用:根据请求的URL来查找Handler (3)处理器适配器HandlerAdapter 注意:在编写Handler的时候要按照HandlerAdapter要求的规则去编写,这样适配器HandlerAdapter才可以正确的去执行Handler。 (4)处理器Handler(需要程序员开发) (5)视图解析器 ViewResolver(不需要程序员开发) 作用:进行视图的解析,根据视图逻辑名解析成真正的视图(view) (6)视图View(需要程序员开发jsp) View是一个接口, 它的实现类支持不同的视图类型(jsp,freemarker,pdf等等) springMVC和struts2的区别有哪些? (1)springmvc的入口是一个servlet即前端控制器(DispatchServlet),而struts2入口是一个filter过虑器(StrutsPrepareAndExecuteFilter)。 (2)springmvc是基于方法开发(一个url对应一个方法),请求参数传递到方法的形参,可以设计为单例或多例(建议单例),struts2是基于类开发,传递参数是通过类的属性,只能设计为多例。 (3)Struts采用值栈存储请求和响应的数据,通过OGNL存取数据,springmvc通过参数解析器是将request请求内容解析,并给方法形参赋值,将数据和视图封装成ModelAndView对象,最后又将ModelAndView中的模型数据通过reques域传输到页面。Jsp视图解析器默认使用jstl。 SpringMVC怎么样设定重定向和转发的? (1)转发:在返回值前面加"forward:",譬如"forward:user.do?name=method4" (2)重定向:在返回值前面加"redirect:",譬如"redirect:http://www.baidu.com" SpringMvc怎么和AJAX相互调用的? 通过Jackson框架就可以把Java里面的对象直接转化成Js可以识别的Json对象。具体步骤如下 : (1)加入Jackson.jar (2)在配置文件中配置json的映射 (3)在接受Ajax方法里面可以直接返回Object,List等,但方法前面要加上@ResponseBody注解。 如何解决POST请求中文乱码问题,GET的又如何处理呢? (1)解决post请求乱码问题: 在web.xml中配置一个CharacterEncodingFilter过滤器,设置成utf-8; <filter> <filter-name>CharacterEncodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class> <init-param> <param-name>encoding</param-name> <param-value>utf-8</param-value> </init-param> </filter> <filter-mapping> <filter-name>CharacterEncodingFilter</filter-name> <url-pattern>/*</url-pattern> </filter-mapping> (2)get请求中文参数出现乱码解决方法有两个: ①修改tomcat配置文件添加编码与工程编码一致,如下: <ConnectorURIEncoding="utf-8" connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"/> ②另外一种方法对参数进行重新编码: String userName = new String(request.getParamter("userName").getBytes("ISO8859-1"),"utf-8") ISO8859-1是tomcat默认编码,需要将tomcat编码后的内容按utf-8编码。 Spring MVC的异常处理 ? 统一异常处理: Spring MVC处理异常有3种方式: (1)使用Spring MVC提供的简单异常处理器SimpleMappingExceptionResolver; (2)实现Spring的异常处理接口HandlerExceptionResolver 自定义自己的异常处理器; (3)使用@ExceptionHandler注解实现异常处理; 统一异常处理的博客:https://blog.csdn.net/ctwy291314/article/details/81983103 SpringMVC的控制器是不是单例模式,如果是,有什么问题,怎么解决? 是单例模式,所以在多线程访问的时候有线程安全问题,不要用同步,会影响性能的,解决方案是在控制器里面不能写成员变量。(此题目类似于上面Spring 中 第5题 有两种解决方案) SpringMVC常用的注解有哪些? @RequestMapping:用于处理请求 url 映射的注解,可用于类或方法上。用于类上,则表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestBody:注解实现接收http请求的json数据,将json转换为java对象。 @ResponseBody:注解实现将conreoller方法返回对象转化为json对象响应给客户。 SpingMvc中的控制器的注解一般用那个,有没有别的注解可以替代? 一般用@Controller注解,也可以使用@RestController,@RestController注解相当于@ResponseBody + @Controller,表示是表现层,除此之外,一般不用别的注解代替。 如果在拦截请求中,我想拦截get方式提交的方法,怎么配置? 可以在@RequestMapping注解里面加上method=RequestMethod.GET。 怎样在方法里面得到Request,或者Session? 直接在方法的形参中声明request,SpringMVC就自动把request对象传入。 如果想在拦截的方法里面得到从前台传入的参数,怎么得到? 直接在形参里面声明这个参数就可以,但必须名字和传过来的参数一样。 如果前台有很多个参数传入,并且这些参数都是一个对象的,那么怎么样快速得到这个对象? 直接在方法中声明这个对象,SpringMVC就自动会把属性赋值到这个对象里面。 SpringMVC中函数的返回值是什么? 返回值可以有很多类型,有String, ModelAndView。ModelAndView类把视图和数据都合并的一起的。 SpringMVC用什么对象从后台向前台传递数据的? 通过ModelMap对象,可以在这个对象里面调用put方法,把对象加到里面,前台就可以拿到数据。 怎么样把ModelMap里面的数据放入Session里面? 可以在类上面加上@SessionAttributes注解,里面包含的字符串就是要放入session里面的key。 SpringMvc里面拦截器是怎么写的: 有两种写法,一种是实现HandlerInterceptor接口,另外一种是继承适配器类,接着在接口方法当中,实现处理逻辑;然后在SpringMvc的配置文件中配置拦截器即可: <!-- 配置SpringMvc的拦截器 --> <mvc:interceptors> <!-- 配置一个拦截器的Bean就可以了 默认是对所有请求都拦截 --> <bean id="myInterceptor" class="com.zwp.action.MyHandlerInterceptor"></bean> <!-- 只针对部分请求拦截 --> <mvc:interceptor> <mvc:mapping path="/modelMap.do" /> <bean class="com.zwp.action.MyHandlerInterceptorAdapter" /> </mvc:interceptor> </mvc:interceptors> 注解原理: 注解本质是一个继承了Annotation的特殊接口,其具体实现类是Java运行时生成的动态代理类。我们通过反射获取注解时,返回的是Java运行时生成的动态代理对象。通过代理对象调用自定义注解的方法,会最终调用AnnotationInvocationHandler的invoke方法。该方法会从memberValues这个Map中索引出对应的值。而memberValues的来源是Java常量池 三、Mybatis篇 什么是MyBatis? MyBatis是一个可以自定义SQL、存储过程和高级映射的持久层框架。 讲下MyBatis的缓存 MyBatis的缓存分为一级缓存和二级缓存,一级缓存放在session里面,默认就有, 二级缓存放在它的命名空间里,默认是不打开的,使用二级缓存属性类需要实现Serializable序列化接口, 可在它的映射文件中配置<cache/> Mybatis是如何进行分页的?分页插件的原理是什么? 1)Mybatis使用RowBounds对象进行分页,也可以直接编写sql实现分页,也可以使用Mybatis的分页插件。 2)分页插件的原理:实现Mybatis提供的接口,实现自定义插件,在插件的拦截方法内拦截待执行的sql,然后重写sql。 举例:select * from student,拦截sql后重写为:select t.* from (select * from student)t limit 0,10 简述Mybatis的插件运行原理,以及如何编写一个插件? 1)Mybatis仅可以编写针对ParameterHandler、ResultSetHandler、StatementHandler、 Executor这4种接口的插件,Mybatis通过动态代理, 为需要拦截的接口生成代理对象以实现接口方法拦截功能, 每当执行这4种接口对象的方法时,就会进入拦截方法, 具体就是InvocationHandler的invoke方法,当然, 只会拦截那些你指定需要拦截的方法。 2)实现Mybatis的Interceptor接口并复写intercept方法, 然后在给插件编写注解,指定要拦截哪一个接口的哪些方法即可, 记住,别忘了在配置文件中配置你编写的插件。 Mybatis动态sql是做什么的?都有哪些动态sql?能简述一下动态sql的执行原理不? 1)Mybatis动态sql可以让我们在Xml映射文件内, 以标签的形式编写动态sql,完成逻辑判断和动态拼接sql的功能。 2)Mybatis提供了9种动态sql标签:trim|where|set|foreach|if|choose|when|otherwise|bind。 3)其执行原理为,使用OGNL从sql参数对象中计算表达式的值, 根据表达式的值动态拼接sql,以此来完成动态sql的功能。 #{}和${}的区别是什么? 1)#{}是预编译处理,${}是字符串替换。 2)Mybatis在处理#{}时,会将sql中的#{}替换为?号,调用PreparedStatement的set方法来赋值(有效的防止SQL注入); 3)Mybatis在处理${}时,就是把${}替换成变量的值。 为什么说Mybatis是半自动ORM映射工具?它与全自动的区别在哪里? Hibernate属于全自动ORM映射工具, 使用Hibernate查询关联对象或者关联集合对象时, 可以根据对象关系模型直接获取,所以它是全自动的。 而Mybatis在查询关联对象或关联集合对象时, 需要手动编写sql来完成,所以,称之为半自动ORM映射工具。 Mybatis是否支持延迟加载?如果支持,它的实现原理是什么? 1)Mybatis仅支持association关联对象和collection关联集合对象的延迟加载, association指的就是一对一,collection指的就是一对多查询。 在Mybatis配置文件中, 可以配置是否启用延迟加载lazyLoadingEnabled=true|false。 2)它的原理是,使用CGLIB创建目标对象的代理对象, 当调用目标方法时,进入拦截器方法, 比如调用a.getB.getName, 拦截器invoke方法发现a.getB是null值, 那么就会单独发送事先保存好的查询关联B对象的sql, 把B查询上来,然后调用a.setB(b), 于是a的对象b属性就有值了, 接着完成a.getB.getName方法的调用。 这就是延迟加载的基本原理。 MyBatis与Hibernate有哪些不同? 1)Mybatis和hibernate不同,它不完全是一个ORM框架, 因为MyBatis需要程序员自己编写Sql语句, 不过mybatis可以通过XML或注解方式灵活配置要运行的sql语句, 并将java对象和sql语句映射生成最终执行的sql, 最后将sql执行的结果再映射生成java对象。 2)Mybatis学习门槛低,简单易学,程序员直接编写原生态sql, 可严格控制sql执行性能,灵活度高,非常适合对关系数据模型要求不高的软件开发, 例如互联网软件、企业运营类软件等,因为这类软件需求变化频繁, 一但需求变化要求成果输出迅速。但是灵活的前提是mybatis无法做到数据库无关性, 如果需要实现支持多种数据库的软件则需要自定义多套sql映射文件,工作量大。 3)Hibernate对象/关系映射能力强,数据库无关性好, 对于关系模型要求高的软件(例如需求固定的定制化软件) 如果用hibernate开发可以节省很多代码,提高效率。 但是Hibernate的缺点是学习门槛高,要精通门槛更高, 而且怎么设计O/R映射,在性能和对象模型之间如何权衡, 以及怎样用好Hibernate需要具有很强的经验和能力才行。 总之,按照用户的需求在有限的资源环境下只要能做出维护性、 扩展性良好的软件架构都是好架构,所以框架只有适合才是最好。 MyBatis的好处是什么? 1)MyBatis把sql语句从Java源程序中独立出来,放在单独的XML文件中编写, 给程序的维护带来了很大便利。 2)MyBatis封装了底层JDBC API的调用细节,并能自动将结果集转换成Java Bean对象, 大大简化了Java数据库编程的重复工作。 3)因为MyBatis需要程序员自己去编写sql语句, 程序员可以结合数据库自身的特点灵活控制sql语句, 因此能够实现比Hibernate等全自动orm框架更高的查询效率,能够完成复杂查询。 简述Mybatis的Xml映射文件和Mybatis内部数据结构之间的映射关系? Mybatis将所有Xml配置信息都封装到All-In-One重量级对象Configuration内部。 在Xml映射文件中,<parameterMap>标签会被解析为ParameterMap对象, 其每个子元素会被解析为ParameterMapping对象。 <resultMap>标签会被解析为ResultMap对象, 其每个子元素会被解析为ResultMapping对象。 每一个<select>、<insert>、<update>、<delete> 标签均会被解析为MappedStatement对象, 标签内的sql会被解析为BoundSql对象。 什么是MyBatis的接口绑定,有什么好处? 接口映射就是在MyBatis中任意定义接口,然后把接口里面的方法和SQL语句绑定, 我们直接调用接口方法就可以,这样比起原来了SqlSession提供的方法我们可以有更加灵活的选择和设置. 接口绑定有几种实现方式,分别是怎么实现的? 接口绑定有两种实现方式,一种是通过注解绑定,就是在接口的方法上面加 上@Select@Update等注解里面包含Sql语句来绑定, 另外一种就是通过xml里面写SQL来绑定,在这种情况下, 要指定xml映射文件里面的namespace必须为接口的全路径名. 什么情况下用注解绑定,什么情况下用xml绑定? 当Sql语句比较简单时候,用注解绑定;当SQL语句比较复杂时候,用xml绑定,一般用xml绑定的比较多 MyBatis实现一对一有几种方式?具体怎么操作的? 有联合查询和嵌套查询,联合查询是几个表联合查询,只查询一次, 通过在resultMap里面配置association节点配置一对一的类就可以完成; 嵌套查询是先查一个表,根据这个表里面的结果的外键id, 去再另外一个表里面查询数据,也是通过association配置, 但另外一个表的查询通过select属性配置。 Mybatis能执行一对一、一对多的关联查询吗?都有哪些实现方式,以及它们之间的区别? 能,Mybatis不仅可以执行一对一、一对多的关联查询, 还可以执行多对一,多对多的关联查询,多对一查询, 其实就是一对一查询,只需要把selectOne修改为selectList即可; 多对多查询,其实就是一对多查询,只需要把selectOne修改为selectList即可。 关联对象查询,有两种实现方式,一种是单独发送一个sql去查询关联对象, 赋给主对象,然后返回主对象。另一种是使用嵌套查询,嵌套查询的含义为使用join查询, 一部分列是A对象的属性值,另外一部分列是关联对象B的属性值, 好处是只发一个sql查询,就可以把主对象和其关联对象查出来。 MyBatis里面的动态Sql是怎么设定的?用什么语法? MyBatis里面的动态Sql一般是通过if节点来实现,通过OGNL语法来实现, 但是如果要写的完整,必须配合where,trim节点,where节点是判断包含节点有 内容就插入where,否则不插入,trim节点是用来判断如果动态语句是以and 或or 开始,那么会自动把这个and或者or取掉。 Mybatis是如何将sql执行结果封装为目标对象并返回的?都有哪些映射形式? 第一种是使用<resultMap>标签,逐一定义列名和对象属性名之间的映射关系。 第二种是使用sql列的别名功能,将列别名书写为对象属性名, 比如T_NAME AS NAME,对象属性名一般是name,小写, 但是列名不区分大小写,Mybatis会忽略列名大小写,
-
思科基础 (III):HSRP 配置、HSRP 的第 3 层交换配置、STP 配置、STP 的第 3 层交换配置
-
Spring Boot实战:模板引擎--全包,包括Spring、Spring Boot/Cloud、Dubbo、JVM、集合、多线程、JPA、MyBatis、MySQL、大数据、Nginx、Git、Docker、GitHub、Servlet、JavaWeb、IDEA、Redis、算法、面试题等,几乎涵盖了Java基础和阿里巴巴等大厂的面试题等技术栈!
-
Redis 异地多激活 CRDT 的理论基础