Ldyer

欢迎来到Ldyer的个人博客,这个网站记录了我的知识经验、生活分享以及日常吐槽，如有什么问题，请评论区留言哟~ 网页输入blog.ldyer.top即可访问。 手机端使用方式 手机端点击右上角可以打开博客菜单 文章右侧可以选择夜间模式与目录(现在夜间模式已删除) 评论方式 如果你想留言，那么直接在页面下输入你的邮箱就可回复，如果你想匿名回复，请再邮箱处直接输入"1@qq.com"即可。

PS:点击目录可选择序号 建议电脑端阅读 第八十二天 With the blurring of roles, and the fact that the home front lags well behind the workplace in making adjustments for working women, it’s not surprising that women are more stressed at home. 随着角色的模糊，以及家庭方面在为职业女性做出调整方面远远落后于工作场所，女性在家中承受更大的压力也就不足为奇了。 blurring: 模糊 lags: 落后 第八十一天 Researchers measured people’s cortisol, which is a stress marker, while they were at work and while they were at home and found it higher at what is supposed to be a place of refuge. 研究人员在工作时和 ...

以此记录我闲暇时刻所背的古诗 将进酒 [唐]李白 君不见黄河之水天上来，奔流到海不复回。 君不见高堂明镜悲白发，朝如青丝暮成雪。 人生得意须尽欢，莫使金樽空对月。 天生我材必有用，千金散尽还复来。 烹羊宰牛且为乐，会须一饮三百杯。 岑夫子，丹丘生，将进酒，杯莫停。 与君歌一曲，请君为我倾耳听。 钟鼓馔玉不足贵，但愿长醉不愿醒。 古来圣贤皆寂寞，惟有饮者留其名。 陈王昔时宴平乐，斗酒十千恣欢谑。 主人何为言少钱，径须沽取对君酌。 五花马、千金裘，呼儿将出换美酒，与尔同销万古愁。 长相思·其一 [唐]李白 长相思，在长安。 络纬秋啼金井阑， 微霜凄凄簟色寒。 孤灯不明思欲绝， 卷帷望月空长叹。 美人如花隔云端。 上有青冥之高天， 下有渌水之波澜。 天长路远魂飞苦， 梦魂不到关山难。 长相思，摧心肝。 山中与幽人对酌 [唐代]李白 两人对酌山花开，一杯一杯复一杯。 我醉欲眠卿且去，明朝有意抱琴来。 长恨歌 [唐]白居易 汉皇重色思倾国，御宇多年求不得。 杨家有女初长成，养在深闺人未识。 天生丽质难自弃，一朝选在君王侧。 回眸一笑百媚生，六宫粉黛无颜色。 春寒赐浴华清池，温泉水滑洗凝脂。 ...

1. 模拟数据准备 1.1 生成模拟数据 先将HDFS上/origin_data路径下之前的数据删除 1hadoop fs -rm -r /origin_data/* 启动采集通道 1cluster.sh start 停止Maxwell 1mxw.sh stop 修改虚拟机①的/opt/module/applog/application.yml文件，将mock.date，mock.clear，mock.clear.user，mock.new.user，mock.log.db.enable五个参数调整为如下的值(以"2022-06-04"为例) 12345678910#业务日期mock.date: "2022-06-04"#是否重置业务数据mock.clear.busi: 1#是否重置用户数据mock.clear.user: 1# 批量生成新用户数量mock.new.user: 100# 日志是否写入数据库一份 写入z_log表中mock.log.db.enable: 0 执行数据生成脚本，生成第一天2022-06-04的历史数据 1lg.sh ...

1.编辑xcall脚本 编辑xcall脚本，可以查看所有虚拟机的进程情况，这对后续很重要。 123456#! /bin/bashfor i in 虚拟机① 虚拟机② 虚拟机③do echo --------- $i ---------- ssh $i "$*"done 编辑完成后，输入 1xcall jps 如果正常的话，会显示每个虚拟机的进程 2.配置Hadoop 2.1准备 本人的hadoop是3.1.3，因为后续需要用到flume1.10.1与hadoop3.1.31不适配，所以将它升级到hadoop-3.3.4，升级之前，请将虚拟机进行快照保存，防止升级的时候出错。 2.2 安装hadoop-3.3.4 首先，安装hadoop-3.3.4到与hadoop-3.1.3相同的目录下，然后，把hadoop3.1.3中etc/hadoop/里的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers共五个文件与hadoop-3.3.4中相同文件进行替换。 替换完成后，输入以下命令， ...

更完了，累似了！ 一、基本数学运算 1.%% 计算余数 2.%/% 计算所得的整数部分 3.** 或^ 次方根 4.abs() 绝对值 5.exp() e的x次 5.round() 四舍五入函数 round(98.562,digits=2)=98.56 round(1234,digits=-2)=1200 round(1778,digits=-3)=2000 6.signif(x,digits=k) 四舍五入,x为要处理的实数,k为有效数字个数 signif(79843.597,digits=6)=79843.6 signif(79843.597,6)=79843.6 signif(79843.597,digits=3)=79800 signif(79843.597,3)=79800 7.floor(x) 小于等于x的最近整数 8.ceiling(x) 大于等于x的最近整数 9.trunc(x) 直接取整数，抹去小数 10.factorial(x) 返回x的阶乘 11.Inf 无限大 12.is.infinite(x) 判断是否无限大，如果是则TRUE，不是 ...

有些内容后续完善 一、概念 1、Hive是一个Hadoop客户端，用于将HQL（Hive SQL）转化成MapReduce程序。 2、元数据包括：数据库（默认是default）、表名、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等。 3、默认存储在自带的derby数据库中，由于derby数据库只支持单客户端访问，生产环境中为了多人开发，推荐使用MySQL存储Metastore。 4、derby数据库的特点是同一时间只允许一个客户端访问。如果多个Hive客户端同时访问，就会报错。 5、初始化Hive元数据库，修改为采用MySQL存储元数据的命令是：$ bin/schematool -dbType mysql -initSchema -verbose 6、新版本的Hive启动的时候，默认申请的JVM堆内存大小为256M，建议设置更大的堆内存如2048M，避免执行复杂的SQL时经常会报错 7、SERDE是Serializer and Deserializer的简写。Hive使用SERDE序列化和反序列化每行数据。 8、DELIMITED关键字表示对文件中的每个字段 ...

1.Flume的下载与安装 本次学习在Ubuntu的Linux操作系统下进行，首先进入Ubuntu，输入指令 1wget https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz 下载完成后，在目录下输入指令进行解压 1tar -zxvf 压缩包的名称 2.netcat日志采集 2.1 配置文件 进入目录下的conf文件中，创建example.conf文件，输入以下内容： 123456789101112131415161718192021# 设置Agent上的各个组件名称a1.sources = r1 #可以定义多个,r1 r2 r3 …a1.sinks = k1a1.channels = c1 # 配置Sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444 # 配置Sinka1.sinks.k1.type = logger # 配置Channela1.channels. ...