YARN作业运行机制
在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源,
在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resource manager)负责管理集群的所有资源, 应用管理器(application master)负责管理集群上任务的生命周期. 具体的做法是应用管理器向资源管理器提出资源需求, 以container为单位, 然后在这些container中运行该应用相关的进程. container由运行在集群节点上的节点管理器监控, 确保应用不会用超资源. 每个应用的实例, 亦即一个MapReduce作业都有一个自己的应用管理器.
综上所述, YARN中包括以下几个角色
- 客户端, 向整个集群提交MapReduce作业
- YARN资源管理器, 负责调度整个集群的计算资源
- YARN节点管理器, 在集群的机器上启动以及监控container
- MapReduce应用管理器, 调度某个作业的所有任务. 应用管理器和任务运行在container中, container由资源管理器调度, 由节点管理器管理.
- 分布式文件系统, 通常是HDFS.
YARN中运行一个作业的流程如下图所示:

1. 作业提交
YARN中的提交作业的API和经典的MapReduce很像(第1步). 作业提交的过程和经典的MapReduce很像, 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的客户端核实作业的输出, 计算输入的split, 将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步).
2. 作业初始化
当资源管理器收到submitApplciation()的请求时, 就将该请求发给调度器(scheduler), 调度器分配container, 然后资源管理器在该container内启动应用管理器进程, 由节点管理器监控(第5a和5b步).
MapReduce作业的应用管理器是一个主类为MRAppMaster的Java应用. 其通过创造一些bookkeeping对象来监控作业的进度, 得到任务的进度和完成报告(第6步). 然后其通过分布式文件系统得到由客户端计算好的输入split(第7步). 然后为每个输入split创建一个map任务, 根据mapreduce.job.reduces创建reduce任务对象.
然后应用管理器决定如何运行构成整个作业的任务. 如果作业很小, 应用管理器会选择在其自己的JVM中运行任务, 这种作业称作是被unerized, 或者是以uber task的方式运行. 在任务运行之前, 作业的setup方法被调用来创建输出路径. 与MapRuduce 1中该方法由tasktracker运行的一个任务调用不同, 在YARN中是由应用管理器调用的.
3. 任务分配
如果不是小作业, 那么应用管理器向资源管理器请求container来运行所有的map和reduce任务(第8步). 这些请求是通过心跳来传输的, 包括每个map任务的数据位置, 比如存放输入split的主机名和机架(rack). 调度器利用这些信息来调度任务, 尽量将任务分配给存储数据的节点, 或者退而分配给和存放输入split的节点相同机架的节点.
请求也包括了任务的内存需求, 默认情况下map和reduce任务的内存需求都是1024MB. 可以通过mapreduce.map.memory.mb和mapreduce.reduce.memory.mb来配置.
分配内存的方式和MapReduce 1中不一样, MapReduce 1中每个tasktracker有固定数量的slot, slot是在集群配置是设置的, 每个任务运行在一个slot中, 每个slot都有最大内存限制, 这也是整个集群固定的. 这种方式很不灵活.
在YARN中, 资源划分的粒度更细. 应用的内存需求可以介于最小内存和最大内存之间, 并且必须是最小内存的倍数.
4. 任务运行
当一个任务由资源管理器的调度器分配给一个container后, 应用管理器通过练习节点管理器来启动container(第9a步和9b步). 任务有一个主类为YarnChild的Java应用执行. 在运行任务之前首先本地化任务需要的资源, 比如作业配置, JAR文件, 以及分布式缓存的所有文件(第10步). 最后, 运行map或reduce任务(第11步).
YarnChild运行在一个专用的JVM中, 但是YARN不支持JVM重用.
5. 进度和状态更新
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 后者通过每3秒的脐带接口有整个作业的视图(view). 这和MapRduce 1不太一样, 后者的进度流从tasktracker到jobtracker. 下图为MapReduce 2中的进度更新流:

客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户.
在MapReduce 1中, jobtracker的UI有运行的任务列表及其对应的进度. 在YARN中, 资源管理器的UI展示了所有的应用以及各自的应用管理器的UI.
6. 作业完成
除了向应用管理器请求作业进度外, 客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成. 时间间隔可以通过mapreduce.client.completion.pollinterval来设置.
作业完成之后, 应用管理器和container会清理工作状态, OutputCommiter的作业清理方法也会被调用. 作业的信息会被作业历史服务器存储以备之后用户核查.
参考文献:
[1]. Hadoop: The Definitive Guide. 3rd Edition. Chapter 6, YARN.
485 total views, no views today
原文地址:YARN作业运行机制, 感谢原作者分享。

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

AI Hentai Generator
Générez AI Hentai gratuitement.

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Cet article vous présentera les trois gestionnaires de packages JavaScript (npm, fil, pnpm), comparera ces trois gestionnaires de packages et parlera des différences et des relations entre npm, fil et pnpm. J'espère que cela sera utile à tout le monde, s'il vous plaît. aidez-moi, si vous avez des questions, n'hésitez pas à les signaler !

Yarn, comme npm, est également un outil de gestion de packages JavaScript. Dans cet article, je vais vous présenter l'outil de gestion de packages Yarn, j'espère qu'il vous sera utile !

PHP est un langage de script open source côté serveur très utilisé pour le développement Web. Il peut gérer des données dynamiques et contrôler la sortie HTML, mais comment y parvenir ? Ensuite, cet article présentera le mécanisme de fonctionnement de base et les principes de mise en œuvre de PHP, et utilisera des exemples de code spécifiques pour illustrer davantage son processus de fonctionnement. Interprétation du code source PHP Le code source PHP est un programme écrit en langage C. Après compilation, il génère le fichier exécutable php.exe. Pour le PHP utilisé en développement Web, il est généralement exécuté via A.

Dans le langage Go, goroutine est un thread léger utilisé pour exécuter simultanément des fragments de code. Par rapport aux threads traditionnels, les goroutines sont plus efficaces, consomment moins de mémoire et ont une vitesse de démarrage plus rapide. Dans cet article, nous analyserons en profondeur la nature et le mécanisme de fonctionnement de la goroutine en langage Go, et fournirons des exemples de code spécifiques pour aider les lecteurs à mieux comprendre. 1. L'essence de Goroutine Dans le langage Go, goroutine est un objet léger géré par le runtime Go.

Comment puis-je soumettre à nouveau mes devoirs Xuexitong s'ils ont été rejetés ? 1. Recherchez l'avis indiquant que la mission a été annulée. 2. Recherchez les informations sur le travail renvoyé. 3. Cliquez sur le devoir bleu pour modifier à nouveau et soumettre le devoir. Comment puis-je vérifier le nombre de fois que j'ai étudié un chapitre de Xuexuetong ? Tout d’abord, entrez Xuedutong et cliquez sur « Moi » dans le coin inférieur droit. Ensuite, à côté du nom de la personne, il y a un petit logo, cliquez dessus. Enfin, lorsque vous cliquez sur le signe, le nombre de fois où Xuetong a été utilisé sera disponible.

XueTong est une plateforme nationale de diffusion des connaissances et de partage de gestion basée sur les principes du système nerveux. Il utilise les énormes livres, revues, journaux, vidéos, originaux et autres ressources accumulés par Chaoxing au cours des 20 dernières années, et intègre la gestion des connaissances, l'apprentissage des cours et la création de sujets spéciaux pour offrir aux lecteurs un environnement d'apprentissage et de travail unique. De nombreux étudiants seront confrontés à ce problème lorsqu'ils suivront des cours en ligne : s'ils font une erreur dans leurs devoirs, comment les rendre s'ils doivent les refaire ? Aujourd'hui, laissez l'éditeur vous expliquer comment soumettre à nouveau vos devoirs Xuexuetong après qu'ils ont été rejetés et comment regarder des vidéos sur Xuexuetong ! 1. Comment soumettre à nouveau un devoir Xuexuetong qui a été rejeté Étape 1 : Après avoir ouvert le logiciel Xuexitong, cliquez sur « Cours » sur la page d'accueil. Étape 2 : Dans la liste des cours, vous pouvez trouver les devoirs de cours renvoyés, « Cours rejetés ». Cliquez sur

La solution au problème de React Installation Yarn continue de signaler qu'il ne s'agit pas d'une commande interne : 1. Désinstallez Yarn via la commande "pm uninstall Yarn -g" 2. Réinstallez Yarn en utilisant "NPM Install Yarn" ; :\ WINDOWS\system32\node_modules\yarn\bin"; 4. Rouvrez cmd et exécutez la commande "yarn -v".

Swoole est un framework de coroutines basé sur PHP et ses performances d'E/S asynchrones sont excellentes. Le cœur de Swoole est la coroutine. La coroutine est un mécanisme de concurrence plus léger que les threads. Il peut changer de tâche dans le même thread pour réaliser une exécution simultanée. Cet article explorera le mécanisme de fonctionnement des coroutines dans Swoole. 1. Le concept de coroutines Les coroutines, également connues sous le nom de micro-threads, sont un mécanisme de concurrence plus fin que les threads. La différence entre les coroutines et les threads réside dans le fait que les coroutines implémentent la commutation de tâches via une rotation de tranche de temps, tandis que les threads sont commutés par le planificateur du système d'exploitation.
