spring+quartz 기반의 분산 예약 작업 프레임워크 구현-java지도 시간-php.cn

문제 배경

저희 회사는 현재 200명 규모의 빠르게 성장하는 스타트업 회사입니다. 주요 사업은 관광 및 호텔 관련이며, 애플리케이션 반복 및 업데이트 주기가 상대적으로 빠르기 때문에 개발자가 더 많은 시간을 투자합니다. 업데이트 = 반복 속도를 따라가지만 전체 시스템에 대한 제어가 부족합니다

클러스터가 있기 전에 회사의 예정된 작업이 구현되었습니다.

초기에는 애플리케이션 방문 횟수가 많지 않아서 서버 하나로 충분히 사용이 가능합니다. 애플리케이션에서 실행해야 할 예약된 작업이 많습니다

클러스터를 사용하면 회사의 예약된 작업이 어떤 방식으로든 구현됩니다

사용자 수가 늘어날수록 방문 횟수도 늘어납니다. 결과적으로 하나의 서버가 높은 동시성 요구 사항을 충족할 수 없기 때문에 회사에서는 애플리케이션을 클러스터에 배포하고 프런트엔드는 nginx 프록시를 통해 이루어집니다. (애플리케이션 서버 IP는 방화벽으로 격리되어 IP + 포트 + 애플리케이션 이름 액세스 방식을 직접 사용하지 않을 수 있습니다.)

클러스터 환경에서는 클러스터의 모든 머신에서 동일한 예약 작업이 실행됩니다. 이러한 방식으로 예약된 작업이 반복적으로 실행되므로 서버에 부담이 커질 뿐만 아니라, 예측할 수 없는 오류가 반복적으로 실행되어 추가 오버헤드가 발생하므로 회사의 솔루션은 클러스터 수에 따라 예약된 작업의 작업을 클러스터의 각 시스템에 균등하게 분배하는 것입니다. (여기서 평균 점수는 이전 점수를 나타냅니다.) 각 머신에서 실행하고 먼저 작업을 여러 부분으로 인위적으로 나누고 모든 머신이 이 사람을 실행하도록 합니다.)

클러스터에서 예약된 작업을 구현하는 현재 방식의 결함

현재 회사 클러스터에서 예약된 작업을 처리하는 방식은 진정한 분산 처리 방식이 아니라 의사 분산 방식(일반적으로 회사 내 기본 방식으로 알려져 있음)입니다. 이 방식의 명백한 결함은 머신이 내부에 있을 때 발생합니다. 클러스터가 다운되면 예약된 작업 전체가 중단되거나 한 번에 실행될 수 없게 되어 비즈니스에 심각한 영향을 미칠 수 있습니다.

결함 해결 방법(이 문서의 초점)

사용 spring+quartz를 사용하여 실제 분산 예약 작업 시스템을 구축했습니다. 관련 정보를 참조한 후 Quartz 프레임워크가 기본적으로 분산 예약 작업을 지원한다는 것을 알게 되었습니다

개발 IDE: Intellij IDEA

JDK 버전 : 1.8

Spring 버전: 4.2.6

Quartz 버전: 2.2.1

Spring 및 Quartz 통합 구성

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
      http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
 
  <context:component-scan base-package="com.aaron.clusterquartz.job"/>
 
  <bean name="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
    <!-- tomcat -->
    <!--<property name="jndiName" value="java:comp/env/jndi/mysql/quartz"/>-->
 
    <!-- jboss -->
    <property name="jndiName" value="jdbc/quartz"/>
  </bean>
  <!-- 分布式事务配置 start -->
 
  <!-- 配置线程池-->
  <bean name="executor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <property name="corePoolSize" value="15"/>
    <property name="maxPoolSize" value="25"/>
    <property name="queueCapacity" value="100"/>
  </bean>
 
  <bean name="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="dataSource"/>
  </bean>
 
  <!-- 配置调度任务-->
  <bean name="quartzScheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    <property name="configLocation" value="classpath:quartz.properties"/>
    <property name="dataSource" ref="dataSource"/>
    <property name="transactionManager" ref="transactionManager"/>
 
    <!-- 任务唯一的名称，将会持久化到数据库-->
    <property name="schedulerName" value="baseScheduler"/>
 
    <!-- 每台集群机器部署应用的时候会更新触发器-->
    <property name="overwriteExistingJobs" value="true"/>
    <property name="applicationContextSchedulerContextKey" value="appli"/>
 
    <property name="jobFactory">
      <bean class="com.aaron.clusterquartz.autowired.AutowiringSpringBeanJobFactory"/>
    </property>
 
    <property name="triggers">
      <list>
        <ref bean="printCurrentTimeScheduler"/>
      </list>
    </property>
    <property name="jobDetails">
      <list>
        <ref bean="printCurrentTimeJobs"/>
      </list>
    </property>
 
    <property name="taskExecutor" ref="executor"/>
 
  </bean>
 
  <!-- 配置Job详情 -->
  <bean name="printCurrentTimeJobs" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
    <property name="jobClass" value="com.aaron.clusterquartz.job.PrintCurrentTimeJobs"/>
　　　　<!--因为我使用了spring的注解，所以这里可以不用配置scheduler的属性-->
    <!--<property name="jobDataAsMap">
      <map>
        <entry key="clusterQuartz" value="com.aaron.framework.clusterquartz.job.ClusterQuartz"/>
      </map>
    </property>-->
    <property name="durability" value="true"/>
    <property name="requestsRecovery" value="false"/>
  </bean>
 
  <!-- 配置触发时间 -->
  <bean name="printCurrentTimeScheduler" class="com.aaron.clusterquartz.cron.PersistableCronTriggerFactoryBean">
    <property name="jobDetail" ref="printCurrentTimeJobs"/>
    <property name="cronExpression">
      <value>0/10 * * * * ?</value>
    </property>
    <property name="timeZone">
      <value>GMT+8:00</value>
    </property>
  </bean>
 
  <!-- 分布式事务配置 end -->
</beans>

로그인 후 복사

quartz 속성 파일

#============================================================================
# Configure JobStore
# Using Spring datasource in quartzJobsConfig.xml
# Spring uses LocalDataSourceJobStore extension of JobStoreCMT
#============================================================================
org.quartz.jobStore.useProperties=true
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 5000
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.txIsolationLevelReadCommitted = true
 
# Change this to match your DB vendor
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate
 
 
#============================================================================
# Configure Main Scheduler Properties
# Needed to manage cluster instances
#============================================================================
org.quartz.scheduler.instanceId=AUTO
org.quartz.scheduler.instanceName=MY_CLUSTERED_JOB_SCHEDULER
org.quartz.scheduler.rmi.export = false
org.quartz.scheduler.rmi.proxy = false
 
 
#============================================================================
# Configure ThreadPool
#============================================================================
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true

로그인 후 복사

관련 클래스 설명

AutowiringSpringBeanJobFactory 클래스는 스케줄러에서 Spring Annotation을 사용하기 위한 클래스인데, Annotation을 사용하지 않는 경우에는 이 클래스를 적용할 수 없으며
SpringBeanJobFactory

를 직접 사용할 수 있다.

package com.aaron.clusterquartz.autowired;
 
import org.quartz.spi.TriggerFiredBundle;
import org.springframework.beans.BeansException;
import org.springframework.beans.factory.config.AutowireCapableBeanFactory;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.scheduling.quartz.SpringBeanJobFactory;
 
/**
 * @author 
 * @description 使job类支持spring的自动注入
 * @date 2016-05-27
 */
public class AutowiringSpringBeanJobFactory extends SpringBeanJobFactory implements ApplicationContextAware
{
  private transient AutowireCapableBeanFactory beanFactory;
 
  public void setApplicationContext(ApplicationContext applicationContext) throws BeansException
  {
    beanFactory = applicationContext.getAutowireCapableBeanFactory();
  }
 
 
  @Override
  protected Object createJobInstance(TriggerFiredBundle bundle) throws Exception
  {
    Object job = super.createJobInstance(bundle);
    beanFactory.autowireBean(job);
    return job;
  }
}

로그인 후 복사

rrree

테스트 결과:

컴퓨터가 한 대뿐이므로 테스트를 위해 8080과 8888 포트 두 개를 열어서 위의 예약된 작업을 10초마다 실행하도록 설정했습니다.

포트 8080만 시작하면 콘솔이 10초마다 문장을 출력하는 것을 볼 수 있다

spring+quartz 기반의 분산 예약 작업 프레임워크 구현