QingShan Talk

青衫说，关于程序与设计、黑客与画家

NodeManager无法启动的原因

Why the nodemanager cannot start

今天因为业务需要，需要将Yarn从2.6.0升级到2.7.6。将hadoop组件包用新版本替换后，修改config文件yarn-site.xml，再使用yarn-daemon.sh stop/start nodemanager，再使用jps命令查看nodemanager进程。观察到nodemanager进程启动后很快就自己退出了。 通过查询日志，得知： 1 protocol message...

Posted by qingshan on April 21, 2020

NodeManager丢失调查报告

The report for nodemanager of yarn lost

一、前言 2020年04月，发现NodeManager节点数据总数异常。经过对比DataNode列表，并排除故障机、维修机后，仍然有21个节点的NodeManager丢失。 通过查看以上节点的进程情况，发现节点中的NodeManager进程存在，但没有在正常工作。通过yarn-daemon.sh stop nodemanager 命令无法正常结束进程。查看日志，是LOCK文件没有被清理 1...

Posted by qingshan on April 15, 2020

使用requests时候获取乱码问题的解决方法

Solve the problem of messy code when use requests lib

今天在使用requests提取一些网页数据的时候，发现总是乱码： 1 2 3 4 5 6 7 8 9 import sys print(sys.getdefaultencoding()) import chardet response = requests.request("GET", url, headers=headers, data = payload) print(chardet...

Posted by qingshan on April 11, 2020

Java 中静态方法调用 Autowired

Use autowired in static method with Autowired

1 echo 'deb blah ... blah' | sudo tee -a /etc/apt/sources.list https://stackoverflow.com/questions/84882/sudo-echo-something-etc-privilegedfile-doesnt-work

Posted by qingshan on March 17, 2020

ACW19 并查集2： 837. 连通块中点的数量

The set merge 02

ACW 并查集02： 837. 连通块中点的数量 给定一个包含 n 个点（编号为 1∼n）的无向图，初始时图中没有边。 现在要进行 m 个操作，操作共有三种： C a b，在点 a 和点 b 之间连一条边，a 和 b 可能相等； Q1 a b，询问点 a 和点 b 是否在同一个连通块中，a 和 b 可能相等； Q2 a，询问点 a 所在连通块中点的数量； 输入格式 第一行...

Posted by qingshan on December 29, 2019

ACW19-并查集: 836. 合并集合

The set merge

ACW 并查集01： 836. 合并集合 一共有 n 个数，编号是 1∼n，最开始每个数各自在一个集合中。 现在要进行 m 个操作，操作共有两种： M a b，将编号为 a 和 b 的两个数所在的集合合并，如果两个数已经在同一个集合中，则忽略这个操作； Q a b，询问编号为 a 和 b 的两个数是否在同一个集合中； 输入格式 第一行输入整数 n 和 m。 接下来 m 行，每行包含一个...

Posted by qingshan on December 24, 2019

ACW18-trie树：835. Trie字符串统计

The trie tree

维护一个字符串集合，支持两种操作： I x 向集合中插入一个字符串 x； Q x 询问一个字符串在集合中出现了多少次。 共有 N 个操作，输入的字符串总长度不超过 105，字符串仅包含小写英文字母。 输入格式 第一行包含整数 N，表示操作数。 接下来 N 行，每行包含一个操作指令，指令为 I x 或 Q x 中的一种。 输出格式 对于每个询问指令 Q x，都要输出一个整...

Posted by qingshan on December 15, 2019

ACW17 KMP算法：831.KMP字符串

The KMP Algorithm

给定一个模式串 S，以及一个模板串 P，所有字符串中只包含大小写英文字母以及阿拉伯数字。 模板串 P 在模式串 S 中多次作为子串出现。 求出模板串 P 在模式串 S 中所有出现的位置的起始下标。 输入格式 第一行输入整数 N，表示字符串 P 的长度。 第二行输入字符串 P。 第三行输入整数 M，表示字符串 S 的长度。 第四行输入字符串 S。 输出格式 共一行，输出所有出现位...

Posted by qingshan on December 6, 2019

ACW16-单调队列

ACW16-Monotonically Queues

ACW单调队列01: 154. 滑动窗口 给定一个大小为 n≤106 的数组。 有一个大小为 k 的滑动窗口，它从数组的最左边移动到最右边。 你只能在窗口中看到 k 个数字。 每次滑动窗口向右移动一个位置。 以下是一个例子： 1 2 3 4 5 6 7 8 9 该数组为 [1 3 -1 -3 5 3 6 7]，k 为 3。 窗口位置 最小值 最大值 [1 3 -1] -3 5 ...

Posted by qingshan on December 5, 2019

Java 中静态方法调用 Autowired

Use autowired in static method with Autowired

某个 Java 项目中使用 JPA 作为数据库操作层，因此在业务逻辑中不可避免要使用@Autowired来引入Repository来操作数据库。但是近期，有个简单的需求，即希望通过接口触发数据库数据的实时读取和写入。这个需求本来没什么困难的，直接新建一个 Web 路由，调用已经写好的Repository相关业务逻辑即可。但是实际上行不通。原因是，如果这么做了，那么Repository这里语句...

Posted by qingshan on December 1, 2019

FEATURED TAGS
感悟 工作 Java 算法 ACW Linux 生活 MySQL Python LeetCode 前端 电影 Spring Vue 人工智能 政治 数学 神经网络 Git HTTPS Hadoop Yarn
ABOUT ME

For the next quantum leap
离开世界之前，一切都是过程

FRIENDS
公众号