QingShan Talk

青衫说,关于程序与设计、黑客与画家

NodeManager无法启动的原因

Why the nodemanager cannot start

今天因为业务需要,需要将Yarn从2.6.0升级到2.7.6。将hadoop组件包用新版本替换后,修改config文件yarn-site.xml,再使用yarn-daemon.sh stop/start nodemanager,再使用jps命令查看nodemanager进程。观察到nodemanager进程启动后很快就自己退出了。 通过查询日志,得知: 1 protocol message...

NodeManager丢失调查报告

The report for nodemanager of yarn lost

一、前言 2020年04月,发现NodeManager节点数据总数异常。经过对比DataNode列表,并排除故障机、维修机后,仍然有21个节点的NodeManager丢失。 通过查看以上节点的进程情况,发现节点中的NodeManager进程存在,但没有在正常工作。通过yarn-daemon.sh stop nodemanager 命令无法正常结束进程。查看日志,是LOCK文件没有被清理 1...

使用requests时候获取乱码问题的解决方法

Solve the problem of messy code when use requests lib

今天在使用requests提取一些网页数据的时候,发现总是乱码: 1 2 3 4 5 6 7 8 9 import sys print(sys.getdefaultencoding()) import chardet response = requests.request("GET", url, headers=headers, data = payload) print(chardet...

Java 中静态方法调用 Autowired

Use autowired in static method with Autowired

1 echo 'deb blah ... blah' | sudo tee -a /etc/apt/sources.list https://stackoverflow.com/questions/84882/sudo-echo-something-etc-privilegedfile-doesnt-work

ACW19 并查集2: 837. 连通块中点的数量

The set merge 02

ACW 并查集02: 837. 连通块中点的数量 给定一个包含 n 个点(编号为 1∼n)的无向图,初始时图中没有边。 现在要进行 m 个操作,操作共有三种: C a b,在点 a 和点 b 之间连一条边,a 和 b 可能相等; Q1 a b,询问点 a 和点 b 是否在同一个连通块中,a 和 b 可能相等; Q2 a,询问点 a 所在连通块中点的数量; 输入格式 第一行...

ACW19-并查集: 836. 合并集合

The set merge

ACW 并查集01: 836. 合并集合 一共有 n 个数,编号是 1∼n,最开始每个数各自在一个集合中。 现在要进行 m 个操作,操作共有两种: M a b,将编号为 a 和 b 的两个数所在的集合合并,如果两个数已经在同一个集合中,则忽略这个操作; Q a b,询问编号为 a 和 b 的两个数是否在同一个集合中; 输入格式 第一行输入整数 n 和 m。 接下来 m 行,每行包含一个...

ACW18-trie树:835. Trie字符串统计

The trie tree

维护一个字符串集合,支持两种操作: I x 向集合中插入一个字符串 x; Q x 询问一个字符串在集合中出现了多少次。 共有 N 个操作,输入的字符串总长度不超过 105,字符串仅包含小写英文字母。 输入格式 第一行包含整数 N,表示操作数。 接下来 N 行,每行包含一个操作指令,指令为 I x 或 Q x 中的一种。 输出格式 对于每个询问指令 Q x,都要输出一个整...

ACW17 KMP算法:831.KMP字符串

The KMP Algorithm

给定一个模式串 S,以及一个模板串 P,所有字符串中只包含大小写英文字母以及阿拉伯数字。 模板串 P 在模式串 S 中多次作为子串出现。 求出模板串 P 在模式串 S 中所有出现的位置的起始下标。 输入格式 第一行输入整数 N,表示字符串 P 的长度。 第二行输入字符串 P。 第三行输入整数 M,表示字符串 S 的长度。 第四行输入字符串 S。 输出格式 共一行,输出所有出现位...

ACW16-单调队列

ACW16-Monotonically Queues

ACW单调队列01: 154. 滑动窗口 给定一个大小为 n≤106 的数组。 有一个大小为 k 的滑动窗口,它从数组的最左边移动到最右边。 你只能在窗口中看到 k 个数字。 每次滑动窗口向右移动一个位置。 以下是一个例子: 1 2 3 4 5 6 7 8 9 该数组为 [1 3 -1 -3 5 3 6 7],k 为 3。 窗口位置 最小值 最大值 [1 3 -1] -3 5 ...

Java 中静态方法调用 Autowired

Use autowired in static method with Autowired

某个 Java 项目中使用 JPA 作为数据库操作层,因此在业务逻辑中不可避免要使用@Autowired来引入Repository来操作数据库。但是近期,有个简单的需求,即希望通过接口触发数据库数据的实时读取和写入。这个需求本来没什么困难的,直接新建一个 Web 路由,调用已经写好的Repository相关业务逻辑即可。但是实际上行不通。原因是,如果这么做了,那么Repository这里语句...