Hexo Butterfly 微博热搜侧边栏(无需搭建热搜api)教程
Hexo Butterfly 微博热搜侧边栏教程,无需自己搭建API,直接引用即可~
爬虫学习:爬取城市公交信息
Python教程:使用BeautifulSoup爬取城市公交信息 在这个Python教程中,我们将学习如何使用BeautifulSoup库爬取城市公交信息。我们将以杭州为例,但你可以将代码应用于其他城市。如果有什么错误或者值得改进的地方,欢迎大家在评论区指出! 首先,确保你已经安装了以下库: BeautifulSoup requests pandas 如果没有,请使用以下命令安装: 1pip install beautifulsoup4 requests pandas 接下来,我们将编写代码。 1.导入所需的库: 123from bs4 import BeautifulSoup as BSimport requestsimport pandas as pd 2.设置城市名称和需要的参数: 3.创建一个空的DataFrame来存储公交信息: 1df = pd.DataFrame(columns=['线路名称', '运行时间', '参考票价', '出发线路', '总站数', ...
Json数据的抓取和分析
1.关键库及函数 (1)关键库 12345import urllib.requestimport urllib.errorimport urllib.parseimport requestsimport json (2)关键函数 通过url 获取信息:requests.get(GET模式)/request.post(POST模式) 结果转化为python的json对象:json.loads( ) Json对象的格式化输出:json.dumps(json对象, sort_keys=True, indent=2) 文件读写: 1234with open("data.txt","w") as f: f.writelines(data) 格式化输出:"{0:^6}{1:^10}{2:^10}{3}".format('序号','歌曲名','唱片集','播放连接...
爬虫:访问热搜榜并发送邮件
内容 访问微博热搜榜(https://s.weibo.com/top/summary) 获取微博热搜榜前50条热搜名称、链接及其实时热度,并将获取到的数据通过邮件的形式,每20秒发送一次到个人邮箱中。 导入库 123456import requestsfrom bs4 import BeautifulSoup as BSimport smtplibfrom email.mime.multipart import MIMEMultipartfrom email.mime.text import MIMETextimport time 定义获取微博热搜的函数 1234567891011121314def get_line(): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36", ...
爬虫:爬取影片详细信息
内容 访问豆瓣电影Top250(https://movie.douban.com/top250?start=0) 获取每部电影的导演、编剧、主演、类型、上映时间、片长、评分人数以及剧情简介等信息,并将获取到的信息保存至本地文件中。 导入库 12from bs4 import BeautifulSoup as BSimport requests 打开文件和设置请求头 1234fs = open("豆瓣.txt", 'w', encoding='utf-8')headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} fs:打开(或创建)一个名为“豆瓣.txt”的文件,用于写入数据,文件编码设置为utf-8。 headers:设置HTTP请求...
爬虫:古诗爬取
内容 访问古诗文网站名句主页(https://so.gushiwen.cn/mingjus/) 爬取里面的名句和出处(包括链接)保存到一个文本文件poems.txt中去。每个名句占用一行,内容格式如下: 编号(从1开始,占3位做对齐):名句--出处(全诗链接) 空两格(诗句的译文注释和赏析) 环境准备 确保已经安装了以下Python库: requests beautifulsoup4 可以使用以下命令安装: 1pip install requests beautifulsoup4 代码 1234567891011121314151617181920212223242526272829303132333435363738394041from bs4 import BeautifulSoup as BSimport requests# 变量rank = 0temp_line2 = ''fs = open("诗词.txt", 'w', encoding='utf-8')# 获取名句页面内容soup =...
Flink学习笔记
一、Flink的安装与配置 1.1 Flink的下载 到清华镜像源选择合适的版本 进入目录 1cd ~/software 下载 1wget https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz 解压 1tar -zxvf flink-1.17.2-bin-scala_2.12.tgz 二、Flink的集群配置 2.1 flink-conf.yaml文件配置 打开Flink/conf/flink-conf.yaml文件 1vim ~/software/flink-1.17.2/conf/flink-conf.yaml 配置以下内容 12345678910111213141516171819202122232425jobmanager: bind-host: 0.0.0.0 rpc: address: Node01 port: 6123 memory: process: size: 1600m exe...
期末考试算法笔记
用于期末考试的临时抱佛脚= w = 算法的基本概念 算法是求解问题的一系列计算步骤,用来将输入转换成输出结果。 算法的时间复杂度 算法所耗费的时间应是算法中每条语句的执行时间之和,而每条语句的执行时间就是该语句的执行次数(频度)与该语句执行一次所需时间的乘积。 渐进符号 O符号:渐进上界(最坏情况)。用O(g(n))表示,其中g(n)是算法运行时间的一个上界。例如,如果一个算法的时间复杂度是O(n),那么它的运行时间不会超过n的线性函数。 Ω符号:渐进下界。用Ω(g(n))表示,其中g(n)是算法运行时间的一个下界。如果一个算法的时间复杂度是Ω(n),那么它的运行时间至少是n的线性函数。 Θ符号:同阶。表示算法的平均情况时间复杂度。用Θ(g(n))表示,其中g(n)是算法运行时间的紧确界。如果一个算法的时间复杂度是Θ(n),那么它的运行时间在最坏情况和最好情况下都是n的线性函数。 Master方法 分而治之 (1)该问题的规模缩小到一定程度就可以解决。 (2)该问题可以分为若干个规模较小的相同问题,即该问题具有最优子结构性质。 (3)利用该问题分解出的子问题的解可...
Hadoop基础理论问题
建议电脑端阅读 这是手机阅读教程 公告 1、集群部署规划主要修改那几个配置文件? core-site.xml:指定NameNode的地址、指定Hadoop的存储目录、配置HDFS网页登录的静态用户名 hdfs-site.xml: nn Web访问地址、2nn Web访问地址 yarn-site.xml: 指定shuffle、指定ResourceManager的地址、继承环境变量 mapred-site.xml: 指定MapReduce程序运行在Yarn上、历史服务器端地址、历史服务器web端地址 2、集群部署规划有哪些注意事项? NameNode和SecondaryNameNode不要安装在同一台服务器 ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。 3、集群配置常见错误及解决方案有哪些? 1)防火墙没关闭、或者没有启动YARN INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 2)...
关于Hexo博客文件从GitHub转移部署到腾讯云的方式
前言 本文的教程是关于如何把Hexo博客文件从GitHub服务器转移到腾讯云服务器。由于一些众所周知的原因,GitHub服务器架设在海外,因此如果你将hexo部署在GitHub时,没有CDN的加速,你的网站访问速度完全看脸qwq。所以,将你的hexo文件部署在国内服务器,能够大幅度提高你的网站速度。 前期准备 由于你已经在看这篇文章了,因此笔者在此默认你的本地hexo文件已经部署好了,如果尚未部署,可以参考Hexo-零基础搭建个人博客(详解),当然,如果你比较嫌麻烦,可以直接参考腾讯云自身的文档搭建 Hexo(萌新推荐)。 同时,因为是利用腾讯云部署博客,你还需要一个腾讯云账号,这通常微信即可登录。 申请腾讯云 当你登录腾讯云完成后,你可以来到腾讯云学生页面来获取相关服务器。在这里笔者以学生免费申请的6个月校园云开发为例。 当你白嫖后,来到个人控制台的环境总览页面,这个时候,请你记下你的环境ID 安装 CloudBase CLI 在Windows下打开命令提示符,输入命令安装CloudBase CLI 1sudo npm i -g @cloudbase/cli 提交Hexo文件...

翻转卡片~
查看我的联系方式
如有事情
请扫一扫🔎
添加微信好友

数据加载中