东至县住房和城乡建设网站太原 招聘 网站建设 技术经理

前言：作为一个过来人，我曾站在技术的门槛之外，连电脑运行内存和内存空间都傻傻分不清，完完全全的零基础。但如今，我已成长为一名资深的k8s云计算运维工程师。回顾这段历程，我深知踏上这条技术之路的艰辛与不易，也明白方向和方法的重要性。

想要在这个领域入行并拥有出类拔萃的技术，扎实的基础、对高级架构的理解，以及丰富的实战经验缺一不可。需要沿着基础、高级架构、实战进阶这三大板块所细分出的技术点，一步一个脚印地学习。初次看到这么多技术要点，心生畏惧是再正常不过的反应，我自己刚开始时也被唬住了。

好几年前，我独自一人奔赴北京，决心为梦想拼搏。为了专注学习技术，我戒掉了心爱的游戏。工作日里，我沉浸在技术的海洋中努力汲取知识；周末本应是休息放松的时光，我却选择泡在教室里，认真复习巩固一周所学，就这样日积月累，才打下了坚实的基础。

在接触这些技术之前，会觉得它们高不可攀，仿佛攀登陡峭的山峰，困难重重。但当你真正深入其中，随着知识和经验的积累，就会惊喜地发现，许多操作早已得心应手，无需刻意思索就能完成，这便是“知行合一”的境界。

这篇博客，是我为大家精心准备的入行技术线路图，希望能为你们指引方向。如果想更高效地掌握这些技术，我强烈建议像我当年一样，进行系统的学习。如今网络上的学习资料铺天盖地，看似丰富，实则零散。面对海量信息，你很难分辨哪些是重点，哪些内容需要深入钻研，这不仅会耗费大量时间，还可能因错误的引导而走弯路。

如果你渴望像我一样系统学习，少走弯路，欢迎随时联系我，或者也可以联系我的师姐，我们非常乐意帮助大家开启这段充满挑战与机遇的技术之旅。

基础课程

阶段一:系统管理基础篇

一、 行业介绍和计算机基础

• 中大规模互联网业务系统的典型组件与典型架构(硬件体系(数据中心:服务器、网络设备、存储设备)和软件体系(业务系统、中台系统和支撑系统)简介)
• IT部门岗位分类(研发、测试和运维)及职责介绍，以及泛运维领域岗位职责分类
• 一个互联网业务系统的运维能力发展典型阶段:人工运维、脚本和工具化运维、平台化运维、自运维系统
• 数据中心:网络和网络设备、服务器设备、存储设备、供配电系统
• 硬件系统:服务器和网络设备简介
• 软件系统:系统软件和应用软件，操作系统和Linux
  a.Ubuntu 2204–>Ubuntu 2404
  b.国产化Linux(选一):麒麟、统信UOS、深度、OpenEular
• 主机虚拟化程序和Linux系统安装
• 云主机的基本使用(可基于私有云桌面版Ubuntu系统镜像):创建、启动和接入到终端等

二、Linux系统基础及常用命令

• Linux用户账号基础;
• Linux系统访问接入:桌面和命令行简单介绍，以目录和文件管理为例对比演示说明:
  a.在桌面环境(GNome或KDE)演示如何创建、移动、删除文件和目录
  b.在命令行环境演示相关的功能，并对比演示命令执行结果
• 终端:
  a.终端类型及当前系统终端
  b.交互式接口及shell基础
  c.shell内部外部和外部命令
  d.命令别名
• 常见的系统命令，以及shell的常用特性:
• 命令的使用帮助:善用帮助信息、搜案引擎和ChatGPT:

三、文件管理命令和IO重定向

• Linux的文件系统层级结构标准(FHS)及路径遍历
• Linux系统上的文件类型及标识方式
• 文件时间戳atime、ctime、mtime
• glob通配符*、?及常用字符集合表示等特殊符号
• 目录管理类命令:mkdir、rmdir、tree
• 文件管理工具:cp，mv，rm及单源复制和多源复制
• 链接文件的创建In[-s]及符号链接与硬链接区别
• I/O重定向之输入重定向、输出重定向、错误输出重定向
• tr命令、tee命令及特殊文件文件/dev/null和/dev/zerO
• 多命令执行管道概念

四、用户管理、权限管理和文本处理工具基础

• Linux的用户、组、权限基础，进程安全上下文及用户和权限管理模型
• 用户和组的配置文件/etc/{passwd,shadow,group,gshadow} 文件字段说明
• 敏感文件操作命令 vipw、vigr、pwck、grpck和getent简介
• 用户和组管理命令:
  a.useradd,usermod、userdel、passwd，chage
  b.grouadd、groupmod、groupdel
  c.id、su
• 文件权限管理 rwx权限体系介绍，文件属主属组操作命令chown和chgrp，以及权限修改命令chmod
• umask 和默认权限
• suid、sgid、stid 特殊权限，chattr、lsattr特殊属性
• 访问控制列表ACL setfacl、getfacl命令
• vim编辑器基础应用、可视化模式、文件查找、多窗口模式
• 文件常用命令cat、more、less、head、tail等命令
• 文本查看及处理工具wc、cut、sort、uniq、diff和patch等命令

五、正则表达式、文件查找和压缩

• 基本正则表达式及扩展正则表达式
• 文本搜索工具:grep，egrep，fgrep
• 文件查找非实时查找locate命令简介
• 文件实时查找find命令
  a.查找条件:-name、-iname、-regex、-user、-group、-type、-size、-perm
  b.处理动作:-print、-ls、-delete、-fls、-ok、-exe
• xargs命令及find组合
• 文件压缩工具qzip、xz、zip、tar及各自的解压缩的使用
• 流编辑器sed工作原理:模式空间、保持空间讲解
• sed命令常用选项-n、-e、-f、-r、-i讲解与示例演示
• sed命令地址定界:空地址、单地址、地址范围、步进表示法
• sed命令常用的编辑命令d、p、a、i、c、w、r、=、!、s///讲解与示例分析

六、shell编程基础

• bash脚本规范及执行方式
• 本地变量、环境变量、局部变量、位置参数变量
• 逻辑组合与或非
• 配置文件profile类、bashrc类、以及logout类文件详解
• 算术运算let VAR=算术表达式、VAR=$[算术表达式]、VAR=$((算术表达式))、VAR=$(expr $ARG1 $OP $ARG2)
• 算术运算
• 状态返回值$?及参数传递$1、$2、$3…
• 用户交互及read命令等
• 条件判断三种方式:test EXPRESSION[EXPRESSION]
• 测试类型:数值测试、字符串测试、文件测试、命令返回状态，以及组合条件(与、或、非)
• 选择执行之if语句:单分支，多分支及示例
• 选择执行之case语句

七、软件管理

• Linux程序包管理器基础及程序包的组成
• rpm包管理器常用命令rpm命令的安装-i、升级-U、卸载-e、查询-q、校验-V等
• rpm管理的前端工具yum介绍
• 常见的yum仓库配置与使用
• yum/dnf命令的用法安装install、升级update、卸载remove、缓存构建makecache、包组管理groupin-stall、groupupdate grouplist、groupremove 、groupinfo
• 自建yum仓库，介绍createrepo工具的使用
• ubuntu的dpkg包管理器管理deb包
• deb包的管理工具apt/agt-get使用
• deb仓库配置及加速
• 程序包源码编译安装三步走:./configure、make、make install
• 源码安装后的配置;环境变量等

八、 磁盘存储和文件系统

• linux磁盘管理之硬盘结构及分区基础
• 磁盘分区管理命令fdisk，gdisk，parted的使用
• 文件系统组织原理和常见的虚拟文件系统ext系列、xfs、iso9660、nfs、vfat、swap
• 文件系统创建mkfs与管理工具fsck、blkid等
• 挂载mount及挂载选项和umount、fuser、lsof命令的使用
• swap分区的创建mkswap，启用swapon和禁用swapoff
• 开机挂载及/etc/fstab文件及du、df命令
• 常用级别:RAID-0,RAID-1，RAID-5,RAID-10,RAID-50,JBOD与相关概念详解
• LVM2工作原理及相关概念详解
• LVM2软件创建管理工具，以及卷的扩展与缩减

阶段二:系统管理进阶篇

一、网络协议和网络通信

• 计算机网络通信及OSl七层模型概述
• OSI七层模型:物理层、数据链路层、网络层、传输层、会话层、表示层和应用层
• 网络设备概念MAC、网桥，交换机工作原理的讲解
• 网络层:IP网络、子网、超网及报文路由
• 透辑地址IPV4和IPV6，网络地址、子网及其功能
• 路由设备及相关的路由协议简介
• 路由分类:网络路由、主机路由、默认路由详解
• VLAN及其工作机制简介
• TCP/IP协议栈介绍和分层
• 传输层:TCP协议进程通信原理及TCP的有限状态机及其特性
• 进程通信方式:IPC及Socket介绍
• IANA端口分配标准(特权端口:0-1023、注册端口:1024-49151动态端口:49152）
• 应用层协议简介，介绍常用的http/https等
• IP层、IP协议结构和分类
• 网络地址规划和网络划分

二、Linux网络属性配置及相关工具的应用

• Linux网络配置文件子网掩码、网关、等参数详解
• 网络管理相关命令ifconfiq、route、netstat命令讲解
• iproute家族ip link、ip address、ip route、ss命令
• nmtui及nmcli命令详解
• bondinq和team技术
• 网桥bridge实现
• 常见的网络客户端工具ping，mtr,traceroute，tcpdump等
• Ubuntu系统网络配置专用工具netplan用法介绍
• Ubuntu实现bonding和网桥功能

三、shell编程进阶

• 循环执行之for语句详解与示例
• 循环执行之until语句和while语句
• bash脚本编程之break、continue、跳出循环实例
• bash编程之while循环及for循环特殊用法示例
• function及函数的生命周期详解
• 函数的递归与返回return、传参
• 数组定义、声明及引用方式的讲解
• 非稀疏数组及关联数组相关概念及基础讲解
• 字符串切片${var;offset:number}:基于模式取子串、查找替换、详解
• 信号的相关基础列出trap -l、kill -l、man 7 signal
• (选讲)信号的捕捉及应用:HUP、INT

四、进程管理和计划任务

• Linux进程和线程:父进程fork自身产生子进程
• Linux内存和进程结构
• 同一主机进程通信方式和不同主机通信方式
• 进程的类型:守护进程和前台进程与状态:running、ready、sleeping、zombie、stopped及分类
• Linux进程管理工具ps、uptime、top、htop、vmstat、lsof等命令
• Linux作业控制jobs、fg、bg、kill及进程优先级nice值调整
• Linux任务计划at命令和周期性任务执行crontab命令详解

五、Linux启动流程、配置内核参数和AWK

• Linux操作系统的组成部件:
  a.静态Linux操作系统的组成部分:内核+根文件系统
  b.运行中的llnux系统环境介绍:内核空间+用户空间
• 内核的设计流派及linux内核的特点:模块化、支持动态装卸载
• Linux系统初始化基本流程，以及传统系统运行模型下的7种启动级别简介
• grub2启动引导程序配置及命令行接口、单用户模式及救援模式修复grub2
• 内核模块管理相关的命令lsmod、modprobe和insmode简要说明
• 常见的内核参数讲解
• 伪文件系统目录/proc和/syS
• Systemd及其功用、Unit常见类型、系统服务管理命令systemctl
• systemd运行级别管理:target unit格式、常用参数及编写要
• systemctl命令的常见用法:级别查看、切换、关机重启
• 文本格式化工具awk工作原理
• awk命令用法示例讲解
• awk内建变量F5、OFS、RS、ORS、NF、NR、FILENAME使用示例讲解
• awk处理动作打印print与格式化打印printf命令详解
• awk进阶之数组和函数示例及讲解

六、 域名解析和DNS服务

• 应用层协议DNS起源与发展
• DNS服务选代与递归查询原理
• DNS区域数据库文件资源记录A、AAAA、PTR、SOA、NS、CNAME和MX详解
• 主从DNS股务器工作机制
• bind程序的安装于使用
• DNS正向区域、反向区域与缓存dns的配置演示
• rndc、dig、host、nslookup工具使用
• bind的从DNS服务器的配置子域授权
• bind中的基础安全相关的配置
• CDN工作原理
• httpDNS简介
• 在公有云中配置DNS解析

七、通信安全和时间同步

• 网络通信中安全机制和各种攻击方式介绍
• 对称加密、非对称加密算法及单向哈希算法介绍
• PKI体系介绍，以及基于0penSSL等创建私有CA实现数字证书颁发
• https通信流程详解
• ssh协议介绍，0pensSH服务安装、配置和优化
• sudo体系及实现权限委派案例

八、NFS、Rsync服务和rsyslog日志

• NFS协议及工作机制
• NFS服务配置及应用
• 利用Rsync和Inotify同步数据
• 利用sersync实现实时数据同步
• rsyslog及服务器配置
• 日志转储
  

阶段三:HTTP与高性能Web应用

一、HTTP协议工作模型和httpd基础配置和应用

• 基于Web的服务架构介绍，以及常见的企业Web架构案例
• 常见的网络I/O模型及同步/异步消息通知机制讲解，以及多路I/0复用select、pol和epoll对比说明
• HTT协议基础、HTTP事务的处理流程，及超文本标记语言简介
• Web服务中动态资源和静态资源，URL统一资源定位符标识资源的方式及资源间的reference
• Request报文语法格式与Response报文语法格式
• Request报文之请求方法GET、HEAD、POST、PUT、DELETE、TRACE、OPTIONS
• Response状态响应吗1xx、2xx、3xx、4xx、5xx及常见得状态响应码
• HTTP协议中的Cookie和Session
• Apache httpd应用安装和配置说明
• 配置和使用虚拟主机
• 配置和使用https虚拟主机
• 通用网关CGI标准、php编程语言、Zend Engine解释器、加速器相关概念介绍
• 配置LAMP动态Web环境，并部署Wordpress示例
  

二、Nginx基础

• Nginx程序架构及工作机制
• Nginx安装、配置文件语法格式及基本应用，以及平滑升级和回滚
• Nginx全局配置段及关键配置参数
• http块配置、Location、虚拟主机配置及应用，以及https虚拟主机
• 基于域名的企业PC站点与移动站点
• rewrite模块功能、配置参数及配置案例
• Nginx防盗链及跨域资源调用(Cors)
• 压力测试工具ab、及curl、elink、htpasswd命令

三、Nginx反向代理(http和fastcgi)和优化

• Web反向代理及其工作机制
• 七层代理ngx_http_proxy_module模块、缓存服务及配置案例(Nginx–>httpd–>php module(word-press)–>MySOL)
• 负载均衡机制(四层和七层)及其应用场景介绍
• Nginx七层调度模块ngx_http_upstream module工作机制、调度算法及使用案例
• nginx模块应用之ngx_http_headers_module
• Nginx四层代理和调度模块ngx_stream_upstream工作机制及使用案例
• LNMP:FastCGl协议、ngx_http_fastcgi_module模块工作机制及使用案例(Nginx–>php_fpm(word-press)–>MySQL)
• Nginx的二开版OpenResty和Tengine简介

四、Java、JSP、Tomcat及应用运行案例

• lava编程语言及技术体系结构规范概述
• Java 2SE (JDK)及企业级类库jsp、servlet简介
• Web Container的开源实现Tomcat历史介绍
• Tomcat的顶级组件、服务组件、连接器组件、容器类、被嵌套类组件、集群类组件等核心组件介绍
• Tomcat的JDK环境安装及tomcat的安装部署:OpenJDK+Tomcat、OracleJDK+Tomcat
• JSP WebAPP组织结构及webapp归档
• manager及host-manager的配置及应用
• Tomcat的配置定制:连接器、虚拟主机、Context及访问日志等
• JSP Web应用程序的部署示例(JPress)及部署webapp的相关操作
• 基于Nginx进行负载调度及动静资源分离分发方式

五、Tomcat集群和JVM

• Maven工程工具简介、安装配置及示例应用构建，并推送制品到Nexus中
• 会话管理:session sticky、session cluster、session server
• Tomcat 会话复制集群的配置解析及部署验证
• Tomcat会话保持与会话服务器(msm)配置示例详解
• JVM运行时内存区域、堆内存分段机制、常用的垃圾收集算法及垃圾收集器
• 新生代及老代年的垃圾收集器搭配机制
• JVM常用的优化思路及配置参数和常用的监控工具用法介绍
• Tomcat自身常用的优化要点

阶段四:运维工具篇

一、Linux防火墙和iptables

• 防火墙功能及特性概述
• iptables和netfilter特性及工作逻辑介绍
• iptables四表(filter、mangle、nat、raw)五链(prerouting、input、forward、output 、postrouting)详解
• iptables命令链管理、规则管理、规则查看基本用法
• iptables基本匹配、扩展匹配、隐式扩展、显式扩展
• iptables扩展模块应用:多端口匹配、连接追踪、报文状态匹配等企业级应用
• iptables规则保存、重载、生效机制及安全体系工具
• iptables之forward转发
• iptables之SNAT、DNAT及端口地址转换
• 新一代防火墙技术nft简介

二、Ansible和应用编排

• 自动化运维技术框架系统安装、程序发布、应用布局宏观介绍
• Ansible工具特性及工作机制详解
• Ansible多方式安装及简单应用
• Ansible常用模块command、shell、copy、cron、fetch、file、service、user、setup等模块详解

三、Ansible应用进阶

• YAML语言介绍与语法
• Ansible Playbook(剧本)核心元素Hosts、Tasks、Variables、Templaters、Handlers、Roles详解
• Ansible Playbooks基础组件实际应用实例讲解
• Ansible 创建角色roles实现代码重用详解
• Role内各目录中可用的文件定义及角色调用实现
• 案例:编写Role，自动编排部署Nginx、Tomcat、MySOL和JPress

四、OpenVPN和Jumpserver

• VPN基础及常见的实现方式
• OpenVPN基础及远程服务器管理中的应用
• OpenVPN服务构建
• OpenVPN客户端
• JumpServer 关键功能与特性
• JumpServer安装、配置，以及资源管理、用户管理、账号管理和权限管理等快速入门
  

阶段五:关系型数据库

一、MySQL基础

• 数据库概念和类型:SQL和NoSOL
• 关系型数据库管理系统介绍
• 关系型数据库的关系运算和设计范式
• 关系型数据库表、索引、视图及三层模型讲解
• MySQL安装与安全配置
• MySQL的客户端程序mysql、mysqladmin工具介绍
• MySQL数据类型:字符型、数值型、日期时间型简介
• MySQL服务端和客户端命令使用
• SQL语句之DDL、DML语句用法详解
• 表的创建、修改、删除及表的状态信息查看
• 视图，函数，存储过程和事件管理
• 用户和权限管理
• MySQL的图形化的远程管理工具Navicat和SQLyog

二、MySQL性能优化和日志管理

• MySQL速辑架构
• MySQL存储引擎之InnoDB、MyISAM引整详解
• MySQL服务器全局变量，会话变量，及状态变量详解
• 常见的索引:聚集索引、主键索引、稀疏索引、B树索引的介绍
• 索引的管理:查看、创建、及删除
• MySQL基于读/写锁实现并发访问控制
• MySQL事务之ACID测试、及事务的隔离级别READ UNCOMMITTED、READ COMMITTED、REPEATABLE
  READ、SERIALIZABLE详解
• 事务日志相关命令及变量详解
• 慢查询日志相关变量及优化查询
• 错误日志分析

三、MySQL备份还原和主从复制

• 二进制日志相关的变量设定及查看
• mysqlbinlog命令的用法
• 常见的数据库备份类型:完全备份、增量备份、差异备份热备份、温备份、冷备份物理备份、逻辑备份
• 常用的备份策略及方案设计:完全+增量
• 常用的备份工具mysqldump、cp、tar等复制归档工具
• 备份的数据快速恢复及注意事项
• 冷备份，温备份及热备份实现
• 逻辑备份工具:mysqldump使用实例讲解

四、MySQL读写分离和高可用

• MySQL常见的扩展方式Scale Up、Scale Out
• MySQL复制特点及复制架构详解
• MySQL主从复制中主节点、从节点配置实例详解
• MySQL复制架构中的数据一致性及事务安全性保持
• MySQL主主复制配置原理及案例演示
• MySQL半同步复制原理及案例演示
• MySQL复制过滤器配置原理及实现指定数据库(表)的快速备份案例演示
• MySQL复制过程中的日志清理与监控备令详解
• MySQL主从复制中数据不一致的解决方案
• MySQL复制中数据损坏或丢失、混合使用存储引擎、serverid的不唯一、及复制延迟中出现的问题及解决方案
• MySQL数据库的切分:重直切分:分库、水平切分:分表
• MySQL读写分离及常见的解决方案MYCAT
• MySQL集群Cluster实现PXC

实战项目(1):Java单体应用JPress

实战案例–基于Tomcat的]ava应用

• JPress/Wordpress
  

目标

• 各组件尽量以面向生产环境的方式部署
• NFS、Nginx、Tomcat、MySQL和MyCAT
• Ansible进行部署和新版本发布
• 用上JumpServer，模拟进行远程管理接入
• Shell脚本和Xtrabackup/mysqldump:MySQL数据库备份和远程存储

验证

• Ansible进行版本发布过程中，服务不会中断
• MYCAT和MySQL实现的读写分离架构中，数据能够正常读写
• Memcached用作Session server，确保会话保持的功能
• 模拟数据丢失，确保数据库的备份文件能够用于进行恢复

阶段六:接入层及高可用

一、 LVS

• Linux集群及系统扩展的方式概述
• Linux集群类型及调度方法详解
• lvs工作原理及专用术语介绍
• lvs常见的四种集群lvs-nat、Ivs-dr、Ivs-tun、lvs-fullnat优点及使用场景
• LVS 调度方案RR、WRR、SH、DH、LC、WLC、SED、NQ、LBLC、LBLCR详解及应用场景
• 负裁均衡集群中会话保持方式:源地址hash、会话集群、会话服务器
• ipvsadm集群服务管理工具使用
• LV5-NAT的配置以及负裁应用
• LV5-DR的配置以及负载应用
• LVS-FW方式实现LVS的affinity应用
• LV5 FWM 持久性连接应用环境理论及实现

二、Keepalived

• HA Cluster高可用相关原理介绍
• vrrp协议与专业术语介绍
• keepalived相关工作原理介绍
• keepalived软件安装与配置
• keepalived主备、双主互备、多主多备vrrp实例配置及实现
• 实战案例:高可用ipvs调度器及对RealServer进行健康状态检测
• 自定义监控脚本
• vrrp script及其应用示例
• keepalived基于vrrp script高可用nginx及haproxy调度器

阶段七:监控系统

一、Zabbix

• 监控系统概述
• zabbix组件介绍及zabbix监控基础、工作机制及监控实现方式
• zabbix server、agent安装、配置详解及监控数据采集流程
• 通过脚本一键自动批量安装zabbix agent
• 数据采集工具引用标识(key)与监控项配置
• 触发器，触发器表达式与触发器事件
• Action的工作机制及Operations应用:远程命令、告警及告警升级
• 高级配置:宏、自定义key及监控模板
• SNMP协议基础及基于SNMP协议的监控配置
• 聚合图形、dashboard展示
• 部署主动模式代理+主动模式agent客户端
• 监控TCP连接数(主动模板和被动模板)
• 监控redis及自定义模板
• 监控mysql脚本及自定义模板
• zabbix 故障自治愈功能简介与实现案例
• URL和自定义脚本及模板监控端口和进程
• grafana结合zabbix显示绚丽图形
• 用户和组管理
• 自定义系统基础监控模板
• 实现及邮件通知机制,微信报警、短信报警等
• zabbix proxy分布式监控及主被动模式详解及监控案例
• 网络发现及自动注册
• zabbix API使用基础及通过API快速添加监控服务器案例
• zabbix性能优化
• zabbix的高可用

实战项目(2):增强Java单体应用站点可靠性

实战案例 --完善基于Tomcat的]ava系统环境

• jPress/Wordpress
  

目标

• 各组件尽量以面向生产环境的方式部署
• NFS、Nginx、Tomcat、MySQL和MyCAT
• Ansible进行部署和新版本发布
• 用上JumpServer，模拟进行远程管理接入
• Shell脚本和Xtrabackup/mysqldump:MySQL数据库备份和远程存储
• Nginx模拟做业务网关，耦合请求至业务请求路径中，LVS做接入层流量网关
• (可选)基于Keepalived高可用LVS;若该组件可选，则需要使用keepalived高可用nginx
• 使用Zabbix监控以上系统中的每个组件，规划好存储空间，并制订合理的告警策略
  LVS集群
  Nginx集群
  Tomcat和JVM
  Memcached
  NFS及同步状态
  MySQL主从复制集群
  JumpServer
  Zabbix Server监控系统自身

验证

• Ansible进行版本发布过程中，服务不会中断
• MyCAT和MySQL实现的读写分离架构中，数据能够正常读写
• Memcached用作Session Server，确保会话保持的功能;
• 模拟数据丢失，确保数据库的备份文件能够用于进行恢复
• Nginx某一实例故障，不会大面积影响业务访问;
• LVS某一实例故障，不会大面积影响业务访问;
• Zabbix能够及时发现问题，并进行及时告警
  

高级架构课程

课程框架：

阶段八:虚拟化和容器

一、KVM虚拟化和OpenStack简介

• 虚拟化技术基础
• 虚拟化技术分三类:主机虚拟化(模拟、半虚拟、完全虚拟化)、容器、程序级虚拟化等
• 主机级虚拟化中cpu、memory、I/O虚拟化方式及网络虚拟化机制
• KVM虚拟化基础KVM虚拟化技术实现原理
• KVM模块载入后的模式:内核模式、用户模式、来宾式、及kvm hypervisor详解>kvm的特性与局限性详解
• KVM的工具栈:qemu、libvirt的使用
• 构建KVM环境:KVM的安装、配置及应用
• 管理KVM虚拟机(virsh,virt-manager及qemu-kvm)
• kvm常用的虚拟网络模型详解:桥接模型、NAT模型、路由模型、离模型概念及实现
• 磁盘镜像文件管理制作虚拟机模板镜像，并批量创建虚拟机
• 基于kvm运行windows server服务器系统
• 概述KVM虚拟化的其它管理工具:0penStack、oVirt、Proxmox等

二、Docker

• Linux容器技术及其关键组件CGroups及Namespaces
• 低级容器运行时与高级容器运行时、OCI
• 现代应用容器技术Docker的特性及分层组件
• Docker架构及工作模型
• Docker对比虚拟机优缺点，以及其它常见的容器引擎
• Docker存储引擎对比及选择
• Docker CE安装与初始化
• Container和Image管理相关的常用操作
• Dockerfile制作、Docker镜像分层制作精讲及案例
• 镜像优化与镜像漏洞扫描
• Docker的存储管理机制、数据卷和数据卷容器
• Docker网络模型与跨主机的容器间通信
• Docker资源限制介绍、CPU与内存资源限制实现

三、Containerd和Harbor

• docker-compose命令详解及单机容器编排企业案例
• Docker Registry 介绍
• Harbor镜像仓库单机
• Harbor镜像仓高可用实现、镜像扫描、镜像加速
• Containerd基础、部署与快速入门

阶段九:NOSQL存储系统

一、Redis基础

• 存储系统上的ACID、BASE及CAP理论
• NOSQL的常见技术流派及相关的常用实现方案
• Redis特性及功能
• 数据管理接口:各种数据类型的基础管理操作
• Redis配置详解
• RDB及AOF持久化机制对比介绍及其配置
• Redis数据类型介绍

二、Redis进阶

• Redis消息服务的实现
• 主从复制工作机制、配置方式，以及主从复制集群的部署
• Redis Sentinel功能、部署方式及部署案例
• Redis Cluster集群基础概念及工作机制
• Redis Cluster部署案例及集群服务器上下线
• Redis数据跨服务器迁移
• Redis其他横向扩展实现方式

三、MongoDB

• MongoDB数据库关键特性
• MongoDB数据模型:document、collection和database等
• MongoDB安装并连接到服务端
• MongoDB的CRUD操作:datadabase和document的基础管理
• MongoDB复制集工作原理和实战
• MongODB分片集群工作原理和实战
• MongoDB备份和还原

阶段十:CICD和DevOps

一、Git和GitLab

• CI/CD、敏捷开发、DevOps概述
• 持续集成与持续部署工具链
• 常见的代码部署方式介绍，如蓝绿部署、灰度发布、金丝雀部署、滚动部署、A/B测试
• 分布式版本控制工具的工作模型、git基础概念及基本应用
• 分支管理、常见的分支模型及各自的协作流程
• 远程仓库与GitLab
• Gitlab简介、安装、账户与权限管理、项目管理
• Gitlab分支管理、分支合并、代码clone、数据备份、数据恢复

二、Jenkins自由风格流水线

• Jenkins简介、安装、插件管理
• 作业类型及各自的特性
• Jenkins凭据管理
• 常用类型的触发器，以及基于GitLab的自动触发机制
• 参数化构建
• 结合Ansible实现自动化部署
• 构建通知

###三、Jenkins Pipeline

• jenkins分布式架构概念与实现
• 声明式Pipeline语法结构
• 声明式Pipline快速入门
• 参数化Pipeline及高级应用
• 基于spring-boot-helloworld的声明式Pipeline完整示例
• jenkins通知机制，在声明式Pipeline中使用post{}
• Jenkins视图简介与应用场景
• 代码质量测试工具sonarqube简介
• Sonarqube部署、插件管理、实现代码手动扫描
• Jenkins集合sonarqube实现代码自动扫描

实战项目(3)

实战案例–自动化构建SpringBoot和Vue应用项目案例

在线小说网:novel和novel-front-web

• novel:前后端分离的在线小说项目，此为后端，基于Spring Boot3开发
• novel-front-web:novel的前端，基于Vue 3开发

依赖的后端服务包括MySQL8.0、Redis 7.0、ElasticSeach 8.x(可选)RabbitMQ 3.x(可选)和XXL-Job(可选)

• 三个可选项默认均为关闭状态，该示例中，此三者也将基于默认配置，不予部署和使用
  

目标

• 简述SpringBoot MVC及相关的框架体系
• 容器化运行novel和novel-front-web相关的项目
• 部署高可用Harbor系统，以及分布式的Jenkins系统
• 基于Jenkins自动化构建novel并推送镜像至Harbor中
• 持续交付:自动化更新线上实例，并运行为容器实例(ansible或docker)
• 制订用于novel和novel-front-web更新的灰度策略，并实施相关的策略
• Zabbix监控整个系统环境

阶段十一:消息队列

一、Zookeeper和Kafka

• ZooKeeper架构组件和典型应用场景(发布/订、负载均衡、分布式协调/通知、…)
• Zookeeper数据模型、选举机制和节点类型
• Zookeeper单机部署、配置及常见命令的用法
• Zookeeper集群部署、扩缩容及运维管理
• 发布与消息订阅系统简介
• 消息、消息队列和Broker的基础概念
• Kafka特性、设计理念和系统组件
• 生产者、消费者及消息收发的工作逻辑
• Kafka部署模式、单实例部署和基础配置

二、Kafka和其它消息队列

• Kafka主颖配置、复制系数和分区机制
• Kafka的再均衡与分区分配策略
• Kafka的日志存储与事务机制
• Spark和Kafka Streaming简介
• RabbitMQ快速入门:系统组件、工作机制、集群部署和基础管理操作
• (选讲)RocketMQ快速入门:系统组件、工作机制、主从复制集群和基础管理操作
• 项目案例(3)扩展:为实战项目(3)升级Redis主从架构，并添加RabbitMO集群
  

阶段十二:搜索引擎和日志中心

一、ElasticSearch及集群管理和优化

• 搜索引擎及功能组件概述
• 索引组件Lucene及搜索组件ElasticSearch和Solr简介
• ElasticStack及小、中及大型规模下的日志采集、存储、展示及搜索平台的架构体系
• Lucene的多样化查询:域、范围、字符串、模糊查询简介
• ES集群组件及工作机制
• ES集群部署及API接口基础使用
• ElasticSeache插件管理，部署中文分词插件analysis-ik和analysis-pinyin
• ES的常用ETL工具栈及LoqStash和Beats组件
• LogStash Aqent部署及基础应用
• LogStash常用的input、filter和output插件体系与常用插件，如grok和geoip等

二、日志中心:filebeat、LogStash和Kibana

• LogStash Server部署及运行
• Kibana基础概念、部署、认证及其展示接口的配置
• Logstash多类型服务访问日志及系统日志收集
• Java日志合并、Nginx访问日志及TCP日志
• Syslog日志收集，以及基于RedisList收集Nginx访问日志
• Kibana Dashboard使用及自定义图形
• Logstash和Filebeat结合Kafka实现企业级日志收集案例
• 日志写入数据库及地图显示客户端城市
• Kibana日志分析,Nginx日志(pv、ip、地理位置等)
• (选讲)项目案例(3)扩展:为实战项目(3)添加ElasticSearch搜索引擎和ELK日志中心
  

阶段十三:微服务和对象存储

一、Springcloud微服务框架和Nacos

• SpringBoot MVC和SpringCloud微服务框架相关的概念
• 国内主流的微服务治理生态全景
• Nacos系统组件及工作机制
• Nacos 部署模式、单机部署和控制台功能介绍
• Nacos 的关键配置参数和鉴权体系
• Nacos 集群模式部署和多集群模式介绍
• 基于 Docker部署和运行Nacos
  

二、API网关、SpringCloud Gateway和APISIX

• API管理(API Management)与API网关(API Gateway)介绍
• API网关的类型:流量网关与业务网关各自的功能
• 主流的API网关项目及功能对比(例如SpringCloud Gateway、Zuul、Kong、APISIX等)
• SpringCloud Gateway特性、核心概念与工作流程
• SpringCloud Gateway断言(Predicate)、动态路由配置和过滤器
• APISIX架构组件和插件体系介绍，APISIX Dashboard
• 部署、运行APISIX和APISIX Dashboard
• APISIX的关键术语(Route、Service、Consumer、Upstream和Plugin等)及工作机制
• APISIX的基础管理操作:发布API和保护API
• APISIX高可用部署方案
  

三、Sentinel(流量治理)和Seata(分布式事务)

• 流量治理的基本概念:流量控制、熔断降级和过载保护等
• Sentinel的功能和设计理念:流量控制、熔断降级和过载保护在Sentinel中的实现机制
• Sentinel的组成(核心库和控制台)，以及部署和启动控制台
• Sentinel规则类型及基于控制台规则管理接口介绍
• 流量控制规则、流量控制机制、集群流量控制和网关流量控制
• 熔断降级规则和熔断策略
• 过载保护规则及工作原理
• 热点参数规则和热点参数限流策略，以及访问控制规则和来源访问控制(黑白名单)
• 控制台鉴权机制，以及关键的配置参数说明
• 分布式事务与Seata介绍
• (选讲)Seata事务模式:AT、TCC、SAGA和XA模式

四、对象存储、Minio和华为云OBS(或阿里云OSS)

• 对象存储的基础概念、特性和适用场景
• 对象存储的关键术语:对象(0bject)、存储桶(Bucket)、地域(Region)和端点(Endpoint)
• 公用云的对象存储(阿里云OSS、华为云OBS、Amazon S3和Google Cloud Storage等)简介
• 开源对象存储方案(Minio、ceph RGW、Zenko和Triton等)简介
• Minio架构组件、功能特性和数据组织格式
• Minio核心概念和部署架构:分布式架构和复制架构
• Minio 基于纠删码和部署架构的数据冗余
• Minio 分布式集群部署和配置
• Minio 控制台:集群配置、对象管理和数据安全
• Minio 客户端程序mc及常用的管理命令
• (选讲)Minio SDK及使用示例

##实战案例(4)

实战案例 --部署微服务化应用

项目案例(二选一)

• mall-microservice
• novel-cloud
  

目标

• 部署基础服务:mysql、redis、nacos、elasticsearch、mongodb和minio等
  面向生产环境部署:提供主从复制或者集群服务
  容器化部署，或Ansible编排部署
  关键数据备份策略和灾难恢复策略
• 部署mall-microservice/novel-cloud的各组件
  容器化部署，或Ansible编排部署
• 高可用Nginx反代接入，或者使用APISIX接入
• 配置监控整个系统，并制订合理的告警策略
• 微服务业务前后端应用经Jenkins自动构建为Image后推送至Harbor
• 收集系统日志至ElasticStack中

阶段十四:Kubernetes快速入门

一、基础概念、架构组件、工作机制及集群部署

• 容器编排与Kubernetes编排系统概述
• Kubernetes系统组件与核心术语
• Kubernetes网络模型简介
• 各类部署工具对比介绍，以及kubeadm部署Kubernetes集群的要点及步骤
• 使用ansible和ansible playbook，快速部署基于containerd的Kubernetes集群
• Kubernetes应用编排快速入门:Pod、Service和Deployment
• 资源API和kubectl命令行客户端详解
• 使用Namespace隔离不同的租户、项目或环境

二、Pod、存储卷和配置

• Kubernetes集群组件、工作机制回顾与增强
• Pod的设计理念、配置格式和使用案例
• 定制容器运行方式:命令、参数和环境变量，以MySQL和Wordpress为例，迁移尝试迁移传统应用至Kubernetes平台
• 配置Pod:探针、资源需求、资源限制、安全上下文及使用案例
• 基于容器的设计模式:Sidecar容器、Ambassador容器、Adapter容器和Init容器，以及Init容器使用案例
• Pod状态及常见的异常问题及其排查问题的思路
• 存储卷类型、插件、配置规范和使用案例

三、持久卷、存储类、及应用配置

• 持久卷(PV)和持久卷声明(PVC)的功能、工作逻辑、配置规范及使用案例
• 存储类的功能、配置规范及使用案例
• Kubernetes存储架构、CSI以及基于CSI的NFS-CSI-Driver
• Kubernetes的CAS存储，0penEBS部署，以MSQL和Wordpress为例，为迁移到Kubernetes集群上的应用提供持久化存储的
• ConfigMap、Secret功能、配置规范，以MySQL和Wordpress为例，为迁移到Kubernetes集群上的应用提供Kubernetes原生方式的应用配置功能
• DownwardAP1、Proiectd卷功能、配置规范和使用案例
• Service的功用、模式及工作机制快速入门
• 标签、标签选择器和注解

四、Service和应用编排

• Service类型、资源规范及各类型使用案例
• Service资源名称、名称解析和CoreDNS
• 配置Pod上的名称解析策略
• CoreDNS插件体系、查询路由、配置格式、查询重写和常用场景下的配置案例
• Kubernetes声明式API与控制器模式的基本工作逻辑
• 无状态应用编排控制器Deployment:应用部署、更新、扩缩容、金丝雀部署、卸载及使用案例
• 有状态应用编排控制器StatefulSet:应用部署、更新、扩缩容、分区部署、卸载及使用案例(MySQL主从复制集群)

五、应用编排与Ingress应用发布

• 有状态应用编排Operator工作机制及案例(ECK Operator)
• 系统级应用编排控制器DaemonSet:应用部署、更新、扩缩容、分区部署、卸载及使用案例(Prometheus Node Exporter)
• 作业类编排控制器Job、Cronob配置规范及使用案例
• Ingress资源的功用、类型及同Ingress Controller的关系
• Ingress Controller的常见实现、部署模式和IngressNginx部署示例
• Ingress资源类型、配置规范和示例，以及通过Ingress发布应用的实际案例
• 基于Ingress的灰度发布案例:canary-by-header、canary-by-cookie和canary-by-weight
• Helm的核心概念、工作逻辑、以及Artifact Hub介绍;
• Helm案例:部署Wordpress和Harbor;

阶段十五:云原生监控系统

一、Prometheus监控系统入门

• 监控系统和监控体系回顾，以及四个黄金信号、USE方法和RED方法等监控理论;
• Prometheus生态组件与工作机制、数据模型和数据采集快速入门;
• 部署、启动Prometheus Server和Node Exporter
• 实战案例:监控Prometheus Server、Node、MySQL、Nginx、ElasticSearch和Tomcat，以及使用Black-box Exporter进行黑盒监控:
• Prometheus数据模型、向量选择器和指标类型;
• PromOL聚合函数、聚合表达式和向量匹配;
• Prometheus服务发现工作机制、常见的发现服务及配置案例:基于文件、Consul和Kubernetes AP Server的服务发现;

二、Prometheus监控系统进阶

• Promehteus重新打标(relabel_configs和metric_relabel_configs)机制及使用案例;
• 使用记录规则持久保存查询结果，以及基于Grafana展示查询结果;
• Prometheus告警逻辑、AlertManager告警路由框架及工作机制;
• 告警规则格式、告警模板字串及相关的配置案例
• 部署、启动AlertManager，配置邮件告警、钉钉告警等多种告警机制;
• 告警路由、告警抑制配置案例;
• Prometheus存储引擎简介，以及配置Prometheus使用远端存储的方法，
• Prometheus的各类高可用方案介绍;
• (选讲)VictoriaMetrics系统架构、工作机制，以及部署VictoricMetrics作为Prometheus的远端存储;

阶段十六:Kubernetes实战进阶

一、认证、鉴权及网络插件基础

• Kubernetes APl Server的访问控制体系及工作机制:认证、鉴权与准入控制
• 身份认证策略介绍、静态令牌认证、X509数字证书认证及使用案例
• kubeconfig配置文件格式、管理命令及使用案例
• ServiceAccount功能、工作机制、配置规范及使用案例
• 鉴权策略介绍和RBAC鉴权工作原理
• RBAC鉴权体系中Role/ClusterRole/RoleBinding/ClusterRoleBinding资源规范及案例
• CNI技术体系及Pod网络基础

二、Kubernetes网络

• Kubernetes的网络模型及组件间的通信链路
• CNI插件体系、NetPlugin和IPAM插件类各自的功能和常见的实现、以及容器网络接口的主流实现机制
• Pod网络解决方案中的Overlay网络和Underlay网络模型，以及各自常见的实现机制
• 主流网络插件的功能、特性、性能，以及选择插件的评判原则
• Flannel网络的vxlan、vxlan directrouting、host-gw的工作机制、配置方法和模型验证
• ProjectCalico网络工作机制、架构组件及支持的网络模型
• 部署ProjectCalico，配置其使用BGP和IPIP网络，并验证其通信模型

三、Kubernetes集群运维

• Kubernetes调度相关的概念、经典调度器的调度流程、预选策略、优选策略和新式调度框架
• Kubernetes的亲调度机制:节点亲和、Pod亲和、Pod反亲和及Pod拓扑分散约束
• Kubernetes基于污点和容忍度的调度策略
• Kubernetes节点状态和节点维护
• Kubernetes高可用架构模型，以及部署高可用的Kubernetes集群示例
• 集群版本升级注意事项和实践准则，以及升级高可用的Kubernetes集群的案例
• Velero程序组件及备份、恢复的工作机制
• Velero备份恢复Kubernetes资源及数据卷的案例

项目案例(二选一)

• mall-microservice
• novel-cloud
  

目标

• 将实战案例4的环境全线迁上Kubernetes平台
• 监控系统切换为Prometheus
• 接入层切换为基于Ingress Controller的Ingress资源

阶段十七:SRE工程理念

一、SRE工程模型

• SRE的起源、岗位职责、工作原则和适用范围
• SRE的核心理念、方法论和稳定性的衡量机制
• 服务质量SLI、SLO和SLA的制订与落地原则
• 应用事件处理:紧急事件响应、紧急事故管理、故障排查、事后总结和0n-Call机制建设
• 稳定性建设的方法:基于"主备"的冗余、基于"负载均衡"的冗余、基于平台自愈机制的设计，基于业务架构的设计
• 灾备建设简介:同机房灾备、同城双活灾备、异地数据灾备、两地三中心和分布式多活

实战进阶

阶段十九:Kubernetes实战进阶

一、基于kubeasz部署高可用Kubernetes集群

• Kubernetes集群组件架构及服务器硬件选型
• 准备本地部署环境，并基于kubeasz初始化Kubernetes集群部署过程
• kubeasz部署Kubernetes集群的配置文件详细介绍
• 基于ansible-playbook，定制要部署的Kubernetes集群环境
• Kubernetes集群更新注意事项及更新过程演示
• 部署常用的附件，例如Kuboard等，并介绍kubesphere系统
• etcd存储系统介绍及集群管理
• Kubernetes原生名称解析服务CoreDNS功能、特性及常用配置

二、Kubernetes实战话题

• Calico网络插件的eBPF模式及应用，以及在Kubernetes部署使用eBPF模式的网络插件
• Pod的特性伸缩机制、VPA/HPA的工作机制，以及基于Promteheus的应用自动伸缩案例
• 公有云SLB结合Ingress实现客户端IP透传
• eBPF介绍、Cilium网络插件系统组件、工作机制及部署Kubernetes集群使用Cilium网络插件
• Cilium网络插件的虚拟网络接口、Pod网络模式及通信验证，以及Cilium内置的可观测组件Hubble
• Cilium内置的Ingress Controller与应用，以及Cilium的高级特性介绍

三、Kubernetes上部署微服务电子商城项目

• 云原生的概念、服务网格、微服务治理体系介绍
• 开源微服务电子商城mall-microservice项目架构介绍
• 部署mall-microservice依赖的各后端服务:MySQL、Nacos、EFK、Redis、MongoDB、RabbitMQ、Minio并它们纳入Promtheus的监控体系
• 部署Skywalking及相关的UI
• 部署商城后台组件:mall-gateway、mall-portal、mall-search等
• 部署商城的商家管理端mall-admin-web，并测试进行测试访问
• 在Prometheus/Grafana中验证指标采集、在EFK中验证日志采集和检索，在Skywalking中验证请求链路跟踪

阶段二十:分布式消息系统Kafka

一、Kafka及应用案例

• 单体应用与微服务简介、进化历史、服务注册机发现机制、实现微服务的几个要素
• 消息分发系统发展历史及对比、消息分发机制
• Kafka简介及优缺点、Kafka逻辑架构详解
• Kafka配置详解、基于Zookeeper和Kraft实现Kafka集群部署简介;
• Kafka命令行及图形客户端使用、验证消息的写入Kafka并从Kafka集群消费
• Kafka集群成员间关系、复制及物理存储机制
• Kafka的可靠性保证、复制以及broker配置
• 管理Kafka-Topic操作、消费者群组、动态配置变更及分区管理
• 在Kubernetes集群上，基于Strimzi Operator部署面向生产环境的Kafka集群

阶段二十一:列式数据库ClickHouse

一、CilckHouse入门与实践

• 关系型数据库与非关系型数据库简介、行式数据库与列式数据库简介、ClickHouse使用场景特性及功能介绍
• ClickHouse服务器选型、安装配置及优化配置、数据导入
• Clickhouse安装、ClickHouse查询语句简介及常用函数的使用
• Clickhouse-Client及DBeaver等客户端工具使用、用户管理
• ClickHouse数据格式简介,JSON、TabSeparated、TSKV、CSV、Parquet、ORC等数据格式
• ClickHouse存储引擎简介，MergeTree系列引擎简介及Log系列存储引擎简介
• Clickhouse用户profile、quota配额及多用户管理

二、ClickHouse生态整合

• ClickHouse与MySQL及Kafka等整合使用;
• ClickHouse分布式集群部署简介及集群部署，
• ClickHouse查询语句简介及常用函数的使用;
• Prometheus基于ClickHouse实现数据的远程读写案例;
• 基于Prometheus监控ClickHouse并通过Grafana实现监控数据可视化;
• 将ClickHouse部署并运行于Kubernetes之上，使用基于Ceph rbd的PVC存储数据，并由Prometheus自动完成ClickHouse的监控和告警:
  

师姐的号（可撩！）：Evelyn-lin717

结语：

无人扶我青云志，我自踏雪至山巅。
若是命中无此运，亦可孤身登昆仑。