当前位置： 首页 > article >正文

es kibana .logstash离线集群安装

article 2024/10/25 7:32:58

es离线集群安装

下载对应的版本一般看你客户端引用的是什么版本我这里下载的是7.6.2
官方下载地址：https://www.elastic.co/cn/downloads/elasticsearch
源码安装-环境准备：在etc/hosts文件添加3台主机

node-001       192.168.1.81
node-002       192.168.1.82
node-003       192.168.1.83

将上传的包放到一个目录底下我是放在 /data/elk

解压包 tar -zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz

系统设置
设置内核参数

#Elasticsearch mmapfs默认使用目录来存储其索引。默认的操作系统对mmap计数的限制可能太低，这可能会导致内存不足异常。
vi /etc/sysctl.conf
vm.max_map_count=262144

sysctl -p #执行命令sysctl -p生效

当前用户每个进程最大同时打开文件数

#查看硬限制
ulimit -Hn
ulimit -Sn
#通常情况下如果值是4096启动ES时会报如下错误
#max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

修改配置文件

vi /etc/security/limits.conf
* hard nofile 65537
* soft nofile 65536

sysctl -p

修改es的配置文件

节点1
vi config/elasticsearch.yml
cluster.name: elk                      # 集群名称
node.name: node-001                    # 节点名称
path.data: /opt/elk/data               # 自定义数据目录
path.logs: /opt/elk/logs               # 自定义logs文件目录
network.host: 0.0.0.0                  # 配置那些ip可以访问
http.port: 9200                        # 配置端口
discovery.seed_hosts: ["192.168.1.81:9300", "192.168.1.82:9300","192.168.1.83:9300"]  # 这是配置集群访问端口的，也可以配置为node-001......之类的只要配置了hosts就行,他会自动拼接ip:9300
cluster.initial_master_nodes: ["node-001", "node-002","node-003"]  # 配置节点信息。我上边节点名称用了node-001...这边就配置node-001...
节点2：

######## node-002

cluster.name: elk                      # 集群名称
node.name: node-002                    # 节点名称
path.data: /opt/elk/data               # 自定义数据目录
path.logs: /opt/elk/logs               # 自定义logs文件目录
network.host: 0.0.0.0                  # 配置那些ip可以访问
http.port: 9200                        # 配置端口
discovery.seed_hosts: ["192.168.1.81:9300", "192.168.1.82:9300","192.168.1.83:9300"]  # 这是配置集群访问端口的，也可以配置为node-001......之类的只要配置了hosts就行,他会自动拼接ip:9300
cluster.initial_master_nodes: ["node-001", "node-002","node-003"]  # 配置节点信息。我上边节点名称用了node-001..
节点3：

cluster.name: elk                      # 集群名称
node.name: node-003                    # 节点名称
path.data: /opt/elk/data               # 自定义数据目录
path.logs: /opt/elk/logs               # 自定义logs文件目录
network.host: 0.0.0.0                  # 配置那些ip可以访问
http.port: 9200                        # 配置端口
discovery.seed_hosts: ["192.168.1.81:9300", "192.168.1.82:9300","192.168.1.83:9300"]  # 这是配置集群访问端口的，也可以配置为node-001......之类的只要配置了hosts就行,他会自动拼接ip:9300
cluster.initial_master_nodes: ["node-001", "node-002","node-003"]  # 配置节点信息。我上边节点名称用了node-001...这边就配置node-001...

创建ES需要的用户
root权限是直接启动不了ES的，所以需要创建启动的用户
用户名是elsearch 密码是elsearch


useradd elsearch && echo "elsearch" | passwd --stdin "elsearch" # 创建一个普通用户
chown -R elsearch:elsearch /data/elk/    # 给es源码换一下所属组和主

启动es集群 启动3台机器的es


./bin/elasticsearch -d  # 后台运行启动（第一次启动可以先不加-d前台运行看下有没有问题和报错

注意

7点多以后es需要jdk11版本如果是jdk1.8会报错这里是使用了es自带的jdk删除elasticsearch-env文件里面的
# now set the path to java
if [ ! -z "$JAVA_HOME" ]; then
  JAVA="$JAVA_HOME/bin/java"
  JAVA_TYPE="JAVA_HOME"
else
  if [ "$(uname -s)" = "Darwin" ]; then
    # macOS has a different structure
    JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
  else
    JAVA="$ES_HOME/jdk/bin/java"
  fi
  JAVA_TYPE="bundled jdk"
fi

安装kibana

官网下载linux版本：https://www.elastic.co/cn/downloads/kibana
跟es对应的版本这里是7.6.2 上传到/data/elk

修改配置文件
vi config/kibana.yml
#配置端口号
server.port: 5601
#配置网络访问地址
server.host: "0.0.0.0"
#配置es链接地址(es集群,可以用逗号分隔)
elasticsearch.hosts: ["http://10.0.0.81:9200","http://10.0.0.82:9200","http://10.0.0.83:9200"]
#配置中文语言界面
i18n.locale: "zh-CN"

赋权 chown -R elsearch:elsearch /data/elk/
su elsearch

4 执行以下命令创建manage_script.sh管理脚本

echo '#!/bin/bash
KIBANA_HOME="/data/elk/kibana-7.6.2-linux-x86_64" # Kibana安装目录
KIBANA_BIN="$KIBANA_HOME/bin/kibana"  # Kibana 可执行文件路径
PID_FILE="$KIBANA_HOME/kibana.pid"
LOG_FILE_PATH="$KIBANA_HOME/logs"
 
start_kibana() {
    if [ -f "$PID_FILE" ]; then
        echo "Kibana is already running."
    else
        echo "Starting Kibana..."
        mkdir -p ${LOG_FILE_PATH}
        nohup $KIBANA_BIN > "${LOG_FILE_PATH}/kibana.log" 2>&1 &
        echo $! > $PID_FILE
        echo "Kibana started."
    fi
}
 
stop_kibana() {
    if [ -f "$PID_FILE" ]; then
        PID=$(cat $PID_FILE)
        echo "Stopping Kibana..."
        kill $PID
        rm $PID_FILE
        echo "Kibana stopped."
    else
        echo "Kibana is not running."
    fi
}
 
status_kibana() {
    if [ -f "$PID_FILE" ]; then
        PID=$(cat $PID_FILE)
        if ps -p $PID > /dev/null 2>&1; then
          echo "Kibana is running. PID: $PID"
        else
          echo "Kibana is not running, but pid file exists."
        fi
    else
        echo "Kibana is not running."
    fi
}
 
case "$1" in
    start)
        start_kibana
        ;;
    stop)
        stop_kibana
        ;;
    status)
        status_kibana
        ;;
    *)
        echo "Usage: $0 {start|stop|status}"
        exit 1
esac' > /data/elk/kibana-7.6.2-linux-x86_64/bin/manage_script.sh
chmod +x /data/elk/kibana-7.6.2-linux-x86_64/bin/manage_script.sh

启动kibana

bin/manage_script.sh start

停止kibana

bin/manage_script.sh stop

查看kibana的状态

bin/manage_script.sh status

启动报错

Illegal character in scheme name at index 0: 10.0.0.81:9200,10.0.0.82:9200,10.0.0.83:9200
这是因为elasticsearch.hosts: ["http://10.0.0.81:9200","http://10.0.0.82:9200","http://10.0.0.83:9200"]配置错了

logstash 安装

下载logstash版本 7.2.1
下载推荐到elastic中文社区，里面有elastic系列里所有的开源产品下载链接，地址如下：
https://elasticsearch.cn/download/
解压 安装包：

tar zxvf logstash-7.6.2.tar.gz
赋权 chown -R elsearch:elsearch /data/elk/
su elsearch

配置kafka es
新建 myconf.conf
配置文件 编辑如下

input {
        kafka {
                bootstrap_servers => "x.x.x.x:9092,x.x.x.x:9092,x.x.x.x:9092"
                group_id => "kafka_logstash"
                topics => "eoplog"
                consumer_threads => 5
                auto_commit_interval_ms => "1500"
        auto_offset_reset => "earliest"
                codec => "json"
                type => "eoplog"
                client_id => "kafka_logstash"

        }
}
output {
        elasticsearch{
		#es的地址
                hosts => ["x.x.113.15:9200"] 
                index => "eopstat-%{+YYYY.MM.dd}"
                 user => "elastic"
password => "elastic"
        }
#       stdout { codec => rubydebug }
}

置文件启动命令如下：

 nohup  bin/logstash -f myconf.conf &

问题：
生成的es发现索引时间不对这个应该跟系统时间有关
“_index” : “stat-2024.10.18”,
在这里插入图片描述
你可以使用以下命令检查当前时间和时间同步状态

timedatectl
设置正确的时区

sudo timedatectl set-timezone Asia/Shanghai
手动设置系统时间
禁用自动时间同步
sudo timedatectl set-ntp false
sudo timedatectl set-time ‘2024-10-18 10:02:00’
可选：重新启用自动时间同步
sudo timedatectl set-ntp true


http://www.kler.cn/news/350992.html

相关文章：

  • 【机器学习】VQ-VAE（Vector Quantized Variational Autoencoder）
  • 梳理一下spring中，与message相关的知识点
  • “声音”音源设置和音效播放
  • 比较相同机器上 redis和mysql分别单独承载的 最大连接数量
  • 项目提测质量不高导致延期何解？
  • 常用shell指令
  • 总结ES6—ES13新特性
  • java导出带图形的word
  • BP8523D非隔离5V100MA输出SOP7贴片AC-DC电源芯片
  • 【开源】第三期：数字货币程序化交易终端开源
  • 产品更新|DuoPlus云手机APP预装、批量管理功能新上线！
  • 微信小程序启动相机功能
  • 如何用示波器检测次级点火系统（一）
  • HttpClient的基本使用【IDEA版】
  • ES6新特性2- Promise的介绍和使用，map和set集合，ES6-新增对象方法， async和await
  • Wed前端入门——HTML、CSS
  • PROFINET转SSI协议模块快速使用说明
  • SAP_ABAP_指针
  • 三维测量与建模笔记 - 简介
  • IOCTL
  • Maven与Gradle的区别
  • 【JavaEE】——三次握手（）详细、易理解
  • 中小型医院网站：Spring Boot实践指南
  • Kubernetes ETCD的恢复与备份
  • 如何在Android平板上使用谷歌浏览器进行网页缩放
  • kafka自定义配置信息踩坑