做设计在哪个网站投递简历,wordpress的商城网站制作公司,jeecms可以做网站卖吗,网站做qq链接一、非关系型数据库
1. 主要针对的是键值、文档以及图形类型数据存储。 2. 特点#xff1a;
特点说明灵活的数据模型支持多种数据模型#xff08;文档、键值、列族、图#xff09;#xff0c;无需预定义固定的表结构#xff0c;能够处理各种类型的数据。高扩展性设计为水…
一、非关系型数据库
1. 主要针对的是键值、文档以及图形类型数据存储。 2. 特点
特点说明灵活的数据模型支持多种数据模型文档、键值、列族、图无需预定义固定的表结构能够处理各种类型的数据。高扩展性设计为水平扩展能够轻松地通过增加更多节点来处理大量的数据和高并发请求。高性能通过优化特定类型的查询和数据操作通常比关系型数据库在大规模数据处理时表现更好。分布式架构天生支持分布式存储和计算能够跨多个节点和数据中心实现数据的分布和冗余。弱一致性为了提高性能和可用性通常采用最终一致性模型而不是关系型数据库的强一致性模型。灵活的事务支持事务支持通常较为灵活有些NoSQL数据库提供有限的事务支持有些则支持ACID事务。易于使用简单的API接口和查询语言使开发者能够快速上手和使用。丰富的类型支持能够存储和处理多种数据类型包括JSON、XML、二进制数据等。高可用性通过数据复制和分区实现高可用性和数据冗余保证系统在部分节点失效时仍能正常运行。适应多种应用场景特别适合于大数据分析、实时应用、社交网络、物联网等需要处理大量非结构化数据的场景。
3. 代表HBase、Cassandra、MongoDB、Redis
二、Redis
Redis是一个基于 C 语言开发的开源 NoSQL 数据库使用key-value键值对存储数据且由于其数据存储在内存中速度很快在开发中使用广泛。
一数据类型
1. 五种基础数据类型 五种基础数据类型包括String字符串、List列表、Set集合、Hash散列、Zset有序集合
String是一种二进制安全的数据类型常用于缓存 Session、Token、图片地址、序列化后的对象,用户单位时间的请求数简单限流可以用到、页面单位时间的访问数List使用一个双向链表实现常用于实现最新文章、最新动态、消息队列Hash是一个 String 类型的 field-value键值对 的映射表内部实现数组 链表常用于存储对象Set是一种无序集合实现了求交集、并集、差集等操作常用于网站 UV 统计、文章点赞、动态点赞等场景共同好友(交集)、共同粉丝(交集)、共同关注(交集)、好友推荐差集、音乐推荐差集、订阅号推荐差集交集 等场景抽奖系统、随机点名等场景Sorted Set增加了一个权重参数 score底层使用跳表实现使得集合中的元素能够按 score 进行有序排列常用于各种排行榜优先级任务队列
2. 三种特殊数据类型 包括HyperLogLog基数统计、Bitmap 位图、Geospatial (地理位置)
Bitmap存储的是连续的二进制数字0 和 1常用于用户签到情况、活跃用户情况、用户行为统计比如是否点赞过某个视频。HyperLogLog是一种有名的基数计数概率算法常用于数据量巨大的统计场景热门网站每日/每周/每月访问 ip 数统计、热门帖子 uv 统计等Geospatial index地理空间索引简称 GEO基于 Sorted Set 实现主要用于存储地理位置信息。
3. 其他数据类型 包括 Bloom filter布隆过滤器、Bitfield位域
Bloom filter布隆过滤器由一个初始值为零的bit数组和多个哈希函数构成用来快速判断集合中是否存在某个元素常用于解决缓存穿透问题Bitfield位域是一种对Redis中的字符串类型进行扩展的数据类型用于对字符串中任意偏移进行修改等操作。
二应用 三常见面试问题
1. 为什么快
Redis 基于内存存储数据内存的访问速度比磁盘快很多Redis 基于 Reactor 模式设计开发了一套高效的事件处理模型使用IO多路复用事件派发来处理多个socketRedis是单线程的避免线程间的切换Redis6.0之后命令回复处理器、命令请求处理器使用了多线程命令执行还是使用的单线程Redis 内置了多种优化过后的数据类型/结构实现性能非常高Redis 通信协议实现简单且解析高效
2. 缓存读写策略 1Cache Aside Pattern旁路缓存模式
读数据从 cache 中读取数据读取到就直接返回否则从 db 中读取数据返回再把数据放到 cache 中写数据先更新db再删除缓存 2Read/Write Through Pattern读写穿透以cache服务器为主读数据从 cache 中读取数据读取到就直接返回 否则先从 db 加载写入到 cache 后返回响应写数据先查 cachecache 中不存在直接更新 dbcache 中存在则先更新 cache然后 cache 服务自己更新 db 3Write Behind Pattern异步缓存写入只同步更新缓存不直接更新 db而是改为异步批量的方式来更新 dbdb 的写性能非常高非常适合一些数据经常变化又对数据一致性要求没那么高的场景比如浏览量、点赞量
3. key过期删除策略
惰性删除使用时才检查删除内存消耗大定期删除周期性地随机从设置了过期时间的 key 中抽查一批然后逐个检查这些 key 是否过期过期就删除 key周期时间确定较难延迟队列把设置过期时间的 key 放到一个延迟队列里到期之后就删除 key需要额外的资源维护队列定时删除每个设置了过期时间的 key 都会在设置的时间到达时立即被删除每个key都要维护一个定时器资源消耗大 注Redis采用惰性定期删除的方式
4. Redis 的内存淘汰策略内存不足时触发
volatile-lruleast recently used从已设置过期时间的数据集中挑选最近最少使用的数据淘汰。volatile-ttl从已设置过期时间的数据集中挑选将要过期的数据淘汰volatile-random从已设置过期时间的数据集中任意选择数据淘汰。volatile-lfuleast frequently used从已设置过期时间的数据集中挑选最不经常使用的数据淘汰allkeys-lruleast recently used从数据集中移除最近最少使用的数据allkeys-random从数据集中任意选择数据淘汰。allkeys-lfuleast frequently used从数据集中移除最不经常使用的数据淘汰no-eviction默认内存淘汰策略不淘汰数据当内存不足以容纳新写入数据时新写入操作会报错
5. 生产问题缓存三兄弟 1缓存穿透
请求的 key 不存在于缓存中会导致大量查询请求直接到了数据库导致数据库崩溃解决方式 ① 缓存无效值内存不友好 ② 布隆过滤器使用一个较大的 bit 数组来保存所有可能请求的key的哈希值每次请求时计算key对应的哈希值如果哈希值对应的位置为true才去缓存中查找 2缓存击穿请求的key对应的是热点数据 但缓存中的那份数据已经过期导致大量请求落在数据库上解决方法 ① 设置热点数据永不过期或者过期时间比较长内存不友好 ② 提前预热推荐针对热点数据提前预热将其存入缓存中并设置合理的过期时间比如秒杀场景下的数据在秒杀结束之前不过期 ③ 加锁在缓存失效后通过设置互斥锁确保只有一个请求去查询数据库并更新缓存 3缓存雪崩缓存中的key在同一时间大量失效导致大量的请求都直接落到了数据库上对数据库造成了巨大的压力/Redis服务器宕机解决方式 ① key设置随机失效时间 ② 提前预热 ③ 多级缓存设置多级缓存例如本地缓存Redis 缓存的二级缓存组合 ④ Redis 集群采用 Redis 集群避免单机出现问题整个缓存服务都没办法使用
6. Redis集群 1主从复制
主节点写多个从节点读主从数据同步原理 ① 全量同步初始同步都采用全量同步 ② 增量同步一般是slave重启或者后期数据变化实现高并发 2哨兵模式使用哨兵检测集群中各个服务器的状态心跳机制并在主节点宕机后重新选择主节点哨兵选主规则优先级、与主节点断开时间小、offset值大、id(小)可能会出现脑裂问题网络问题导致解决方法是设置最少的从节点数量/缩短主从数据同步的延迟时间/达不到要求就拒绝请求实现高可用 3分片集群多个master、多个slave多个master之间通过ping检测彼此健康状态客户端请求可以访问任意节点最终会根据Redis中的路由转发到正确节点实现海量数据存储以及高并发写
7. 持久化机制 1快照RDB
通过创建快照来获得存储在内存里面的数据在某个时间点上的副本优点 ① RDB 文件存储的内容是经过压缩的二进制数据文件很小适合做数据的备份灾难恢复 ② 使用 RDB 文件恢复数据直接解析还原数据即可不需要一条一条地执行命令速度非常快实现原理bgsave命令开始时主进程会fork一个子进程子进程复制主进程的页表将对应的内存数据写入磁盘对数据丢失容忍度更高追求启动速度 2只追加文件AOF将每一条Redis执行命令写入到 AOF 缓冲区中然后再写入到 AOF 文件中最后根据持久化方式 fsync策略的将系统内核缓存区的数据同步到硬盘中优点 ① 实时性更好 ② AOF 以一种易于理解和解析的格式包含所有操作的日志可以直接进行操作和分析对数据的安全性、完整性要求更高持久化策略 ① appendfsync always主线程调用 write 执行写操作后后台线程 aof_fsync 线程立即会调用 fsync 函数同步 AOF 文件刷盘fsync 完成后线程返回 ② appendfsync everysec主线程调用 write 执行写操作后立即返回由后台线程 aof_fsync 线程每秒钟调用 fsync 函数系统调用同步一次 AOF 文件 ③ appendfsync no主线程调用 write 执行写操作后立即返回让操作系统决定何时进行同步刷盘AOF文件重写当文件较大时由一个子进程将数据库状态写入新的AOF文件中重写期间Redis 还会维护一个 AOF 重写缓冲区该缓冲区会在子进程创建新 AOF 文件期间记录服务器执行的所有写命令。当子进程完成创建新 AOF 文件的工作之后服务器会将重写缓冲区中的所有内容追加到新 AOF 文件的末尾。 注该操作不不需要对原有AOF文件进行任何的读取写入分析 3混合方式AOF 重写的时候就直接把 RDB 的内容写到 AOF 文件开头优点可以结合 RDB 和 AOF 的优点, 快速加载同时避免丢失过多的数据缺点AOF 里面的 RDB 部分是压缩格式不再是 AOF 格式可读性较差
8. Redis实现延时 1Redis 过期事件监听
原理在pub/sub 模式下监听 key 的过期事件 channel就可以拿到过期的 key 的消息进而实现了延时任务功能存在问题 ① 时效性差key过期后的删除是惰性删除定期删除结合而这个发布者是要在key删除时才发布消息到channel ② 丢消息当没有订阅者时消息会被直接丢弃在 Redis 中不会存储该消息 ③ 多服务实例下消息重复消费 2Redisson 内置的延时队列原理基于 Redis 的 SortedSet 来实现将需要延迟执行的任务插入到 SortedSet 中并给它们设置相应的过期时间作为分数Redisson 使用 zrangebyscore 命令扫描 SortedSet 中过期的元素然后将这些过期元素从 SortedSet 中移除并将它们加入到就绪消息列表中
9. Redis实现分布式锁 1SETNXSET if Not eXists命令实现分布式锁 2使用Redisson实现的分布式锁
基于lua脚本完成加锁、设置过期时间等操作使用watch-dog给锁续期不能实现主从一致性使用红锁可以但性能极差
