公告
欢迎来到Ldyer的个人博客,这个网站记录了我的知识经验、生活分享以及日常吐槽,如有什么问题,请评论区留言哟~ 网页输入blog.ldyer.top即可访问。
手机端使用方式
手机端点击右上角可以打开博客菜单
文章右侧可以选择夜间模式与目录(现在夜间模式已删除)
评论方式
如果你想留言,那么直接在页面下输入你的邮箱就可回复,如果你想匿名回复,请再邮箱处直接输入"1@qq.com"即可。
B站评论爬取(IP地址、内容、大会员、性别等等)教程
前言🐈
用于爬取Bilibili(B站)视频评论的爬虫,支持爬取一级评论及二级回复,并将数据导出为CSV文件。通过输入视频的BV号,脚本会自动获取视频信息并抓取相关评论,包含用户基本信息、评论内容、IP属地、头像、会员、等级等字段。🦄🦄
🐨Github项目地址:bilibili-comment-crawler
🐒CSDN项目地址:利用Request通过bv号爬取B站指定视频下所有评论(IP地址、大会员、等级、一二级评论等等),附带源码和教程
🐼博客教程地址:B站评论爬取(IP地址、内容、大会员、性别等等)教程
1. 数据样例🤪
2. 功能特性
多级评论爬取:支持爬取一级评论及二级回复。
用户信息采集:包括用户ID、用户名、等级、性别、IP属地、大会员状态等。
自动分页处理:自动遍历所有评论页,无需手动分页。
反爬机制处理:使用时间戳和MD5加密生成请求参数,降低被封禁风险。
数据导出:结果保存为CSV文件,兼容Excel和数据分析工具。
3. 快速开始
步骤1:配置Cookie
登录B站,然后按F12打开开发者模式,点击网络,在搜索框中搜索Co ...
Flink学习笔记
一、Flink的安装与配置
1.1 Flink的下载
到清华镜像源选择合适的版本
进入目录
1cd ~/software
下载
1wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz
解压
1tar -zxvf flink-1.17.2-bin-scala_2.12.tgz
二、Flink的集群配置
2.1 flink-conf.yaml文件配置
打开Flink/conf/flink-conf.yaml文件
1vim ~/software/flink-1.17.2/conf/flink-conf.yaml
配置以下内容
12345678910111213141516171819202122232425jobmanager: bind-host: 0.0.0.0 rpc: address: Node01 port: 6123 memory: process: size: 1600m execut ...
实现微博话题趋势查询接口
Node.js 实现微博话题趋势查询接口教程
简介
本教程介绍如何使用 Node.js 搭建一个简单的 HTTP 服务,基于 Express 和 Axios 提供一个可以查询微博话题趋势的接口。用户可以通过 GET 请求指定关键词(search)和时间范围(time)获取相关数据。
功能概述
技术栈:Express.js(搭建服务器)、Axios(发起 HTTP 请求)
核心功能:实现一个 GET 接口 /search,通过 search 参数指定查询话题,通过 time 参数控制时间范围(如 1小时、1天、7天、30天)。
API 源地址:接口将数据请求重定向到微博的 AJAX 接口 https://m.s.weibo.com/ajax_topic/trend。
代码结构
导入模块
12const express = require('express'); // Express.js 用于搭建 Web 服务器const axios = require('axios'); // Axios 用于发起 HTTP 请求
配置服务器
1. ...
Hbase学习笔记
一、HBase 简介
HBase 是一个分布式、可扩展的列式存储数据库,基于 Google 的 Bigtable 设计构建。它是 Hadoop 生态系统的一部分,主要用于处理海量的结构化数据。与传统的关系型数据库不同,HBase 采用列存储而不是行存储,这使得它非常适合处理大量的稀疏数据,并且支持快速随机访问。
1.1 HBase 的特点:
分布式架构:HBase 运行在集群模式下,数据被分布在多个节点上,实现了高可用性和容错能力。
横向扩展性:可以根据需求增加节点,扩展存储和计算能力。
列式存储:数据按照列而非行进行存储,这对某些特定应用(如大规模分析、实时数据访问)非常有利。
高并发写入:适合高吞吐量的数据写入和实时数据处理。
无模式(Schema-less):在 HBase 中,不同的行可以有不同的列,可以灵活地存储结构化或半结构化数据。
1.2 HBase 的用途:
大数据存储:当需要存储大量的数据并能够进行高效的快速查询时,HBase 是理想的选择。例如,可以用于存储日志数据、传感器数据、社交媒体数据等。
实时数据分析:HBase 支持快速的随机读写,适合需要实时分析的 ...
数仓学习日志(环境准备篇)
1.编辑xcall脚本
编辑xcall脚本,可以查看所有虚拟机的进程情况,这对后续很重要。
123456#! /bin/bashfor i in 虚拟机① 虚拟机② 虚拟机③do echo --------- $i ---------- ssh $i "$*"done
编辑完成后,输入
1xcall jps
如果正常的话,会显示每个虚拟机的进程
2.配置Hadoop
2.1准备
本人的hadoop是3.1.3,因为后续需要用到flume1.10.1与hadoop3.1.31不适配,所以将它升级到hadoop-3.3.4,升级之前,请将虚拟机进行快照保存,防止升级的时候出错。
2.2 安装hadoop-3.3.4
首先,安装hadoop-3.3.4到与hadoop-3.1.3相同的目录下,然后,把hadoop3.1.3中etc/hadoop/里的core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、workers共五个文件与hadoop-3.3.4中相同文件进行替换。
替换完成后,输入以下命令, ...
数据库加载中