Spring Boot와 Flume을 기반으로 로그 수집 및 분석 시스템 구축

기업 시스템의 규모가 지속적으로 확장됨에 따라 시스템 로그는 점점 더 커지고 있으며, 안정적인 로그 수집 및 분석 시스템이 없으면 시스템을 효과적으로 모니터링하고 유지 관리하기가 어렵습니다. 이번 글에서는 Spring Boot와 Flume을 기반으로 효율적인 로그 수집 및 분석 시스템을 구축하는 방법을 소개합니다. PREREACESITES 시작하기 전에 다음 소프트웨어를 설치하고 설정해야합니다 이상 버전

Kibana 7.6.2 이상 버전

Spring Boot 애플리케이션 구성

• 먼저 Spring Boot 애플리케이션을 생성하고 필요한 종속성을 추가해야 합니다.

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-log4j2</artifactId>
</dependency>

• application.properties 파일에 다음을 추가합니다. 다음 구성:

# 应用端口号
server.port=8080

# log4j2配置
logging.config=classpath:log4j2.xml

# flume配置
flume.agentName=myflume
flume.sourceType=avro
flume.clientType=load-balancing
flume.hosts=localhost:41414

# elasticsearch配置
spring.elasticsearch.rest.uris=http://localhost:9200

• 위 구성에서는 애플리케이션의 포트 번호, log4j2 구성 파일, Flume 관련 구성 및 Elasticsearch 액세스 URI를 지정했습니다.
Log Collector

Flume에 애플리케이션 로그를 보내려면 사용자 정의 log4j2 Appender를 만들어야 합니다.

@Plugin(name = "Flume", category = "Core", elementType = "appender", printObject = true)
public class FlumeAppender extends AbstractAppender {

    private static final ObjectMapper MAPPER = new ObjectMapper();
    private final FlumeClient client;
    private final String sourceType;

    protected FlumeAppender(String name, Filter filter, Layout<? extends Serializable> layout,
                            FlumeClient client, String sourceType) {
        super(name, filter, layout, true);
        this.client = client;
        this.sourceType = sourceType;
    }

    @PluginFactory
    public static FlumeAppender createAppender(@PluginAttr("name") String name,
                                               @PluginElement("Filters") Filter filter,
                                               @PluginElement("Layout") Layout<? extends Serializable> layout,
                                               @PluginAttr("sourceType") String sourceType,
                                               @PluginAttr("hosts") String hosts) {
        if (name == null) {
            LOGGER.error("FlumeAppender missing name");
            return null;
        }
        if (client == null) {
            LOGGER.error("FlumeAppender missing client");
            return null;
        }
        return new FlumeAppender(name, filter, layout, createClient(hosts), sourceType);
    }

    private static FlumeClient createClient(String hosts) {
        LoadBalancingRpcClient rpcClient = new LoadBalancingRpcClient();
        String[] hostArray = hosts.split(",");
        for (String host : hostArray) {
            String[] hostParts = host.split(":");
            rpcClient.addHost(new InetSocketAddress(hostParts[0], Integer.parseInt(hostParts[1])));
        }
        Properties props = new Properties();
        props.setProperty(RpcClientConfigurationConstants.CONFIG_CLIENT_TYPE, "default_loadbalance");
        props.setProperty(RpcClientConfigurationConstants.CONFIG_HOSTS, hosts);
        props.setProperty(RpcClientConfigurationConstants.CONFIG_MAX_BACKOFF, "10000");
        AvroEventSerializer serializer = new AvroEventSerializer();
        serializer.configure(props, false);
        return new FlumeClient(rpcClient, serializer);
    }

    @Override
    public void append(LogEvent event) {
        try {
            byte[] body = ((StringLayout) this.getLayout()).toByteArray(event);
            Map<String, String> headers = new HashMap<>();
            headers.put("timestamp", Long.toString(event.getTimeMillis()));
            headers.put("source", "log4j");
            headers.put("sourceType", sourceType);
            Event flumeEvent = EventBuilder.withBody(body, headers);
            client.sendEvent(flumeEvent);
        } catch (Exception e) {
            LOGGER.error("Failed to send event to Flume", e);
        }
    }
}

2. 위 코드에서는 로그 이벤트를 Flume 이벤트로 패키징하여 Flume 서버로 보내는 log4j2 Appender를 구현했습니다.

log4j2 구성 파일을 생성하고 FlumeAppender를 구성합니다.

<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Appenders>
        <Flume name="flume" sourceType="spring-boot" hosts="${flume.hosts}">
            <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n"/>
        </Flume>
    </Appenders>
    <Loggers>
        <Root level="info">
            <AppenderRef ref="flume"/>
        </Root>
    </Loggers>
</Configuration>

이 log4j2 구성 파일에서는 FlumeAppender를 정의하고 이를 루트 로거에서 참조합니다.

Flume 구성

3. Flume Agent의 애플리케이션에서 보낸 로그 메시지를 받아 Elasticsearch로 보내도록 Flume을 구성해야 합니다.

아래 그림과 같이 Flume 구성 파일을 생성합니다.

# Define the agent name and the agent sources and sinks
myflume.sources = mysource
myflume.sinks = mysink
myflume.channels = channel1

# Define the source
myflume.sources.mysource.type = avro
myflume.sources.mysource.bind = 0.0.0.0
myflume.sources.mysource.port = 41414

# Define the channel
myflume.channels.channel1.type = memory
myflume.channels.channel1.capacity = 10000
myflume.channels.channel1.transactionCapacity = 1000

# Define the sink
myflume.sinks.mysink.type = org.elasticsearch.hadoop.flume.ElasticsearchSink
myflume.sinks.mysink.hostNames = localhost:9200
myflume.sinks.mysink.indexName = ${type}-%{+YYYY.MM.dd}
myflume.sinks.mysink.batchSize = 1000
myflume.sinks.mysink.typeName = ${type}

# Link the source and sink with the channel
myflume.sources.mysource.channels = channel1
myflume.sinks.mysink.channel = channel1

Flume 구성 파일에서는 에이전트, 소스 및 싱크를 정의합니다. 소스는 포트 41414에 바인딩된 avro 유형이고, 채널1은 메모리 유형, 용량은 10000, transactionCapacity는 1000입니다. 싱크는 로컬 호스트의 포트 9200에 type이라는 인덱스를 생성하고 이벤트 1000개에 도달하면 일괄적으로 Elasticsearch에 제출하는 ElasticsearchSink 유형입니다.

Elasticsearch 및 Kibana 구성

마지막으로 Elasticsearch 및 Kibana를 구성해야 합니다. Elasticsearch에서는 Flume 구성 파일에 정의된 인덱스 이름과 일치하는 인덱스를 생성해야 합니다.

4. Kibana에서는 인덱스 스키마를 생성해야 합니다. Kibana의 메인 메뉴에서 "관리"를 선택한 다음 "Kibana"를 선택하세요. Kibana 인덱스 패턴에서 "인덱스 패턴 생성"을 선택합니다. Flume 구성 파일에 정의된 인덱스 이름을 입력하고 프롬프트에 따라 구성합니다.

애플리케이션의 로그 메시지를 보려면 Kibana용 대시보드도 생성해야 합니다. Kibana의 메인 메뉴에서 "대시보드"를 선택한 다음 "대시보드 만들기"를 선택하세요. "시각화" 탭에서 "시각화 추가"를 선택합니다. 데이터 테이블을 선택하고 필수 필드와 시각화 옵션을 구성합니다.

결론

이 글에서는 Spring Boot와 Flume을 활용하여 효율적인 로그 수집 및 분석 시스템을 구축하는 방법을 소개했습니다. 우리는 애플리케이션의 로그 이벤트를 Flume 서버로 보내기 위해 사용자 정의 log4j2 Appender를 구현했고, 로그 분석 및 시각화를 위해 Elasticsearch와 Kibana를 사용했습니다. 이 글이 여러분만의 로그 수집 및 분석 시스템을 구축하는 데 도움이 되기를 바랍니다.

위 내용은 Spring Boot와 Flume을 기반으로 로그 수집 및 분석 시스템 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!