基於spring+quartz的分散式定時任務框架實現-java教程-PHP中文網

問題背景

我公司是一個快速發展的創業公司，目前有200人，主要業務是旅遊和酒店相關的，應用迭代更新周期比較快，因此，開發人員花了更多的時間去更=跟上迭代的步伐，而缺乏了對整個系統的把控

沒有集群之前，公司定時任務的實現方式

在初期應用的訪問量並不是那麼大，一台伺服器完全滿足使用，應用中有很多定時任務需要執行

有了叢集之後，公司定時任務實現的方式

隨著用戶的增加，訪問量也就隨之增加，一台伺服器滿足不了高並發的要求，因此公司把應用給部署到在叢集中，前端透過nginx代理（應用程式伺服器ip可能是用防火牆進行了隔離，避免了直接使用ip+連接埠+應用程式名稱存取的方式）。

在叢集環境中，同樣的定時任務，在叢集中的每台機器都會執行，這樣定時任務就會重複執行，不但會增加伺服器的負擔，還會因為定時任務重複執行造成額外的不可預期的錯誤，因此公司的解決方案是：根據集群的數量，來把定時任務中的任務平均分到集群中的每台機器上（這裡的平均分是指以前一個定時任務本來是在一台機器上運行，先在人為的把這個任務分成幾部分，讓所有的機器都去執行這個人去）

目前集群中定時任務實現方式的缺陷

目前公司在集群中處理定時任務的方式不是正真的分散式處理方式，而是一種偽分散式（公司內部俗稱土方法），這種方式存在一個明顯的缺陷就是當集群中機器宕機，那麼整個定時任務就會掛掉或者不能一次性跑完，會對業務產生嚴重的影響

針對缺陷的解決方案(本文的重點之處)

利用spring+quartz構建一套真正的分佈式定時任務系統，經過查閱相關資料得知：quartz框架是原生就支援分散式定時任務的

開發IDE：Intellij IDEA

JDK版本：1.8

Spring版本：4.2.6

Quartz版本：2.2.1語化。

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
      http://www.springframework.org/schema/beans/spring-beans-4.0.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
 
  <context:component-scan base-package="com.aaron.clusterquartz.job"/>
 
  <bean name="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
    <!-- tomcat -->
    <!--<property name="jndiName" value="java:comp/env/jndi/mysql/quartz"/>-->
 
    <!-- jboss -->
    <property name="jndiName" value="jdbc/quartz"/>
  </bean>
  <!-- 分布式事务配置 start -->
 
  <!-- 配置线程池-->
  <bean name="executor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <property name="corePoolSize" value="15"/>
    <property name="maxPoolSize" value="25"/>
    <property name="queueCapacity" value="100"/>
  </bean>
 
  <bean name="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="dataSource"/>
  </bean>
 
  <!-- 配置调度任务-->
  <bean name="quartzScheduler" class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
    <property name="configLocation" value="classpath:quartz.properties"/>
    <property name="dataSource" ref="dataSource"/>
    <property name="transactionManager" ref="transactionManager"/>
 
    <!-- 任务唯一的名称，将会持久化到数据库-->
    <property name="schedulerName" value="baseScheduler"/>
 
    <!-- 每台集群机器部署应用的时候会更新触发器-->
    <property name="overwriteExistingJobs" value="true"/>
    <property name="applicationContextSchedulerContextKey" value="appli"/>
 
    <property name="jobFactory">
      <bean class="com.aaron.clusterquartz.autowired.AutowiringSpringBeanJobFactory"/>
    </property>
 
    <property name="triggers">
      <list>
        <ref bean="printCurrentTimeScheduler"/>
      </list>
    </property>
    <property name="jobDetails">
      <list>
        <ref bean="printCurrentTimeJobs"/>
      </list>
    </property>
 
    <property name="taskExecutor" ref="executor"/>
 
  </bean>
 
  <!-- 配置Job详情 -->
  <bean name="printCurrentTimeJobs" class="org.springframework.scheduling.quartz.JobDetailFactoryBean">
    <property name="jobClass" value="com.aaron.clusterquartz.job.PrintCurrentTimeJobs"/>
　　　　<!--因为我使用了spring的注解，所以这里可以不用配置scheduler的属性-->
    <!--<property name="jobDataAsMap">
      <map>
        <entry key="clusterQuartz" value="com.aaron.framework.clusterquartz.job.ClusterQuartz"/>
      </map>
    </property>-->
    <property name="durability" value="true"/>
    <property name="requestsRecovery" value="false"/>
  </bean>
 
  <!-- 配置触发时间 -->
  <bean name="printCurrentTimeScheduler" class="com.aaron.clusterquartz.cron.PersistableCronTriggerFactoryBean">
    <property name="jobDetail" ref="printCurrentTimeJobs"/>
    <property name="cronExpression">
      <value>0/10 * * * * ?</value>
    </property>
    <property name="timeZone">
      <value>GMT+8:00</value>
    </property>
  </bean>
 
  <!-- 分布式事务配置 end -->
</beans>

登入後複製

相關類說明

AutowiringSpringBeanJobFactory類是為了可以在scheduler中使用spring註解，如果不使用註解，可以不適用該類，而直接使用

SpringBeanJobFactory

#============================================================================
# Configure JobStore
# Using Spring datasource in quartzJobsConfig.xml
# Spring uses LocalDataSourceJobStore extension of JobStoreCMT
#============================================================================
org.quartz.jobStore.useProperties=true
org.quartz.jobStore.tablePrefix = QRTZ_
org.quartz.jobStore.isClustered = true
org.quartz.jobStore.clusterCheckinInterval = 5000
org.quartz.jobStore.misfireThreshold = 60000
org.quartz.jobStore.txIsolationLevelReadCommitted = true
 
# Change this to match your DB vendor
org.quartz.jobStore.class = org.quartz.impl.jdbcjobstore.JobStoreTX
org.quartz.jobStore.driverDelegateClass = org.quartz.impl.jdbcjobstore.StdJDBCDelegate
 
 
#============================================================================
# Configure Main Scheduler Properties
# Needed to manage cluster instances
#============================================================================
org.quartz.scheduler.instanceId=AUTO
org.quartz.scheduler.instanceName=MY_CLUSTERED_JOB_SCHEDULER
org.quartz.scheduler.rmi.export = false
org.quartz.scheduler.rmi.proxy = false
 
 
#============================================================================
# Configure ThreadPool
#============================================================================
org.quartz.threadPool.class = org.quartz.simpl.SimpleThreadPool
org.quartz.threadPool.threadCount = 10
org.quartz.threadPool.threadPriority = 5
org.quartz.threadPool.threadsInheritContextClassLoaderOfInitializingThread = true

登入後複製

rrrerereee所有我開了8080和8888兩個連接埠來測試的，上面的定時任務我設定了每10秒運行一次。

當只我啟動8080端口時，可以看到控制台每隔10秒打印一條語句

兩個端口同時啟動的對比測試中可以看到，只有一個端口在跑定時任務

這個關了正在跑定時任務的端口後，之前的另一個沒有跑的端口開始接管，繼續運行定時任務基於spring+quartz的分散式定時任務框架實現