大数据-茅草屋

累计撰写 176 篇文章
累计创建 87 个标签
累计收到 1 条评论

目录CONTENT

以下是大数据相关的文章

ES查询指定时间范围内指定关键字的命中次数如下，索引的写法支持带*的泛匹配，log_time为日志里面自定义传过来的时间，常规一般是用@timestamp GET indexname-*/_count {"query": { "bool": { "must": { "regexp": { "message
- 2022-09-06
- 37
- 0
- 0
- 大数据
yarn spark快速查看stderr日志每次yarn跑spark程序如果有异常，而又想看更多的日志的时候，就会很烦，日志如果太多的话，会刷新很久很久才会到最新的，这时候如果不想登机器看日志，只想web查看的话，可以通过如下方法快速定位到最近的日志：就是查看日志的url后面有一个start=的参数，默认是start=0，试了几次才发现，这
- 2022-06-23
- 21
- 0
- 0
- 大数据
elasticsearch安装jieba分词插件前提条件 jdk 下载完后配置环境变量，举个栗子： export JAVA_HOME=/usr/local/jdk1.8.0_101 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOM
- 2022-03-18
- 58
- 0
- 0
- Linux
- 大数据
HDFS同节点各目录磁盘平衡 ####说明一般来说，大数据集群的HDFS会有多个存储节点，每个存储节点会配置多个目录（一个磁盘挂载一个目录），这样组成一个m*n的存储池子，速度和可靠性都不错，用一段时间后，随着业务增长，HDFS就不可避免的需要扩容，扩容的操作比较简单，就是每个节点添加磁盘，然后挂载目录，修改HDFS配置，重起
- 2021-11-10
- 18
- 0
- 0
- 大数据
CDH集群Kerberos报错：Host XXX has upper-case characters in its name ... ###问题集群是以前搭建的，发现报了个这样的错误，Kerberos异常，搜了一下资料，发现是host映射的问题，/etc/hosts里面写的主机名是大写，然后cdh里面组集群用的大写主机名，kerberos使用的主机名又是小写，所以导致这个问题。 ###处理方法在集群所有节点下的/etc/hos
- 2021-06-18
- 30
- 0
- 0
- 大数据
CM启动无法连接MySQL问题现象 CM启动完后，过一会就挂掉了，查看配置什么的都没有问题，查看异常日志发现是mysql连接问题 SCM错误信息 Mon May 17 17:24:02 CST 2021 WARN: Establishing SSL connection without server's identity ver
- 2021-05-17
- 24
- 0
- 0
- 数据库
- 大数据
客户端连接CM集成kafka超时问题 ####现象 kafka连接即使客户端配置了ip+端口的方式，也会出现连接超时（大约5min），在hosts上面手动指定kafka的主机和ip后就正常了 ####常规处理方法 1、客户端写host（如果客户端多的话，会很繁琐，不推荐） 2、添加DNS（如果有内部DNS的话，推荐） 3、网上说的修改k
- 2021-05-07
- 19
- 0
- 0
- 大数据