Hello World
你好,欢迎来到Ldyer的世界!
这是我的第一个文章
数仓学习日志(数据建模篇)
1. 模拟数据准备
1.1 生成模拟数据
先将HDFS上/origin_data路径下之前的数据删除
1hadoop fs -rm -r /origin_data/*
启动采集通道
1cluster.sh start
停止Maxwell
1mxw.sh stop
修改虚拟机①的/opt/module/applog/application.yml文件,将mock.date,mock.clear,mock.clear.user,mock.new.user,mock.log.db.enable五个参数调整为如下的值(以"2022-06-04"为例)
12345678910#业务日期mock.date: "2022-06-04"#是否重置业务数据mock.clear.busi: 1#是否重置用户数据mock.clear.user: 1# 批量生成新用户数量mock.new.user: 100# 日志是否写入数据库一份 写入z_log表中mock.log.db.enable: 0
执行数据生成脚本,生成第一天2022-06-04的历史数据
1lg.sh
...
数据库加载中