Ldyer

欢迎来到Ldyer的个人博客,这个网站记录了我的知识经验、生活分享以及日常吐槽，如有什么问题，请评论区留言哟~ 网页输入blog.ldyer.top即可访问。 手机端使用方式 手机端点击右上角可以打开博客菜单 文章右侧可以选择夜间模式与目录(现在夜间模式已删除) 评论方式 如果你想留言，那么直接在页面下输入你的邮箱就可回复，如果你想匿名回复，请再邮箱处直接输入"1@qq.com"即可。

一、Flink的安装与配置 1.1 Flink的下载 到清华镜像源选择合适的版本 进入目录 1cd ~/software 下载 1wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.20.0/flink-1.20.0-bin-scala_2.12.tgz 解压 1tar -zxvf flink-1.20.0-bin-scala_2.12.tgz 二、Flink的集群配置 2.1 flink-conf.yaml文件配置 打开Flink/conf/flink-conf.yaml文件 1vim ~/software/flink-1.20.0/conf/config.yaml 配置以下内容 12345678910111213141516171819202122232425jobmanager: bind-host: 0.0.0.0 rpc: address: Node01 port: 6123 memory: process: size: 1600m execution: ...

Node.js 实现微博话题趋势查询接口教程 简介 本教程介绍如何使用 Node.js 搭建一个简单的 HTTP 服务，基于 Express 和 Axios 提供一个可以查询微博话题趋势的接口。用户可以通过 GET 请求指定关键词（search）和时间范围（time）获取相关数据。 功能概述 技术栈：Express.js（搭建服务器）、Axios（发起 HTTP 请求） 核心功能：实现一个 GET 接口 /search，通过 search 参数指定查询话题，通过 time 参数控制时间范围（如 1小时、1天、7天、30天）。 API 源地址：接口将数据请求重定向到微博的 AJAX 接口 https://m.s.weibo.com/ajax_topic/trend。 代码结构 导入模块 12const express = require('express'); // Express.js 用于搭建 Web 服务器const axios = require('axios'); // Axios 用于发起 HTTP 请求 配置服务器 1. ...

一、HBase 简介 HBase 是一个分布式、可扩展的列式存储数据库，基于 Google 的 Bigtable 设计构建。它是 Hadoop 生态系统的一部分，主要用于处理海量的结构化数据。与传统的关系型数据库不同，HBase 采用列存储而不是行存储，这使得它非常适合处理大量的稀疏数据，并且支持快速随机访问。 1.1 HBase 的特点： 分布式架构：HBase 运行在集群模式下，数据被分布在多个节点上，实现了高可用性和容错能力。 横向扩展性：可以根据需求增加节点，扩展存储和计算能力。 列式存储：数据按照列而非行进行存储，这对某些特定应用（如大规模分析、实时数据访问）非常有利。 高并发写入：适合高吞吐量的数据写入和实时数据处理。 无模式（Schema-less）：在 HBase 中，不同的行可以有不同的列，可以灵活地存储结构化或半结构化数据。 1.2 HBase 的用途： 大数据存储：当需要存储大量的数据并能够进行高效的快速查询时，HBase 是理想的选择。例如，可以用于存储日志数据、传感器数据、社交媒体数据等。 实时数据分析：HBase 支持快速的随机读写，适合需要实时分析的 ...

1.编辑xcall脚本 编辑xcall脚本，可以查看所有虚拟机的进程情况，这对后续很重要。 123456#! /bin/bashfor i in 虚拟机① 虚拟机② 虚拟机③do echo --------- $i ---------- ssh $i "$*"done 编辑完成后，输入 1xcall jps 如果正常的话，会显示每个虚拟机的进程 2.配置Hadoop 2.1准备 本人的hadoop是3.1.3，因为后续需要用到flume1.10.1与hadoop3.1.31不适配，所以将它升级到hadoop-3.3.4，升级之前，请将虚拟机进行快照保存，防止升级的时候出错。 2.2 安装hadoop-3.3.4 首先，安装hadoop-3.3.4到与hadoop-3.1.3相同的目录下，然后，把hadoop3.1.3中etc/hadoop/里的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers共五个文件与hadoop-3.3.4中相同文件进行替换。 替换完成后，输入以下命令， ...

1. 模拟数据准备 1.1 生成模拟数据 先将HDFS上/origin_data路径下之前的数据删除 1hadoop fs -rm -r /origin_data/* 启动采集通道 1cluster.sh start 停止Maxwell 1mxw.sh stop 修改虚拟机①的/opt/module/applog/application.yml文件，将mock.date，mock.clear，mock.clear.user，mock.new.user，mock.log.db.enable五个参数调整为如下的值(以"2022-06-04"为例) 12345678910#业务日期mock.date: "2022-06-04"#是否重置业务数据mock.clear.busi: 1#是否重置用户数据mock.clear.user: 1# 批量生成新用户数量mock.new.user: 100# 日志是否写入数据库一份 写入z_log表中mock.log.db.enable: 0 执行数据生成脚本，生成第一天2022-06-04的历史数据 1lg.sh ...