怎么做自己的网站自建一个页面门户网站营销怎么做
系列文章目录
文章目录
- 系列文章目录
- 课程地址YT
- 一、jenkins服务器的初始化配置
- 1.1 运行第一个jenkins pipeline
- 二、编写本地dbt项目
- 2.1 克隆git上的初始文件到本地
- 2.2 本地创建虚拟环境
- 2.3 创建airflow的Dockerfile
- 2.4 安装dbt
- 2.5 创建dbt所需要的snowflake数据库
- 2.6 配置docker-compose.yml文件
- 2.6.1 docker image的配置
- 2.6.2 volumes的配置
- 2.7 本地运行docker
- 2.7.1 开启airflow的web服务
- 2.7.2 编写第一个dag测试dbt
- 2.7.2 运行dag，测试成功
- 三、配置jenkins
- 3.1 将jenkins里的git改为私有仓库
课程地址YT
Complete CICD DevOps project | Git, Dockerhub, Dockerhost,Jenkins|Deploying container on web-server
一、jenkins服务器的初始化配置
1.1 运行第一个jenkins pipeline
- 在github里创建一个public的项目，并且复制地址
- 在jenkins里创建新的pipeline
- 编写pipeline的scripts
node{stage('github checkout'){git branch: 'main', url: 'https://github.com/CXTV/jenkins_dbt.git' }
}
- 运行Pipeline，成功
5. 验证是否真的成功，根据Pipeline的名称，进入到服务器里的jenkins的文件夹里，查看是否有该项目
cd /var/lib/jenkins/workspace/dbt_airflow
二、编写本地dbt项目
2.1 克隆git上的初始文件到本地
- 克隆到本地
git clone https://github.com/CXTV/jenkins_dbt.git
- 创建并切换一个新的分支
git checkout -b dbtSetup
- 第一次提交分支
git add .
git commit -m 'initialize branch dbtsetup'
git push --set-upstream origin dbtSetup
2.2 本地创建虚拟环境
- 创建
python 3.10的虚拟环境
pipenv --python 3.10
- 运行虚拟环境
pipenv shell
2.3 创建airflow的Dockerfile
指定airflow的运行环境
- Dockerfile
FR