コミュニティ 学ぶ ツールライブラリ レジャー
検索
日本語
ホームページ > データベース > mysql チュートリアル > 本文

任务配置 (Hadoop 2.2.0)

WBOY
リリース： 2016-06-07 15:20:42
オリジナル
1021 人が閲覧しました

任务 JVM 内存设置 (AMI 3.0.0) Hadoop 2.2.0 使用两个参数配置用于 map 和 reduce 的内存：分别为 mapreduce.map.java.opts 和 mapreduce.reduce.java.opts。它们取代了早期 Hadoop 版本中的单个配置选项：mapreduce.map.java.opts。 下表显示了每实例类型

任务 JVM 内存设置 (AMI 3.0.0)

Hadoop 2.2.0 使用两个参数配置用于 map 和 reduce 的内存：分别为 mapreduce.map.java.opts 和 mapreduce.reduce.java.opts。它们取代了早期 Hadoop 版本中的单个配置选项：mapreduce.map.java.opts。

下表显示了每实例类型的这些设置的默认值。

m1.medium

配置选项 默认值
mapreduce.map.java.opts -Xmx768m
mapreduce.reduce.java.opts -Xmx768m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 1024
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 2048
yarn.nodemanager.resource.memory-mb 2048

m1.large

配置选项 默认值
mapreduce.map.java.opts -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 3072
yarn.nodemanager.resource.memory-mb 5120

m1.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 768
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 12288

m2.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 7168
yarn.nodemanager.resource.memory-mb 14336

m2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 30720

m3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1515m
mapreduce.reduce.java.opts -Xmx1792m
mapreduce.map.memory.mb 1904
mapreduce.reduce.memory.mb 2150
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 3788
yarn.nodemanager.resource.memory-mb 5273

m3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2129m
mapreduce.reduce.java.opts -Xmx2560m
mapreduce.map.memory.mb 2826
mapreduce.reduce.memory.mb 3072
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5324
yarn.nodemanager.resource.memory-mb 9113

m2.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 61440

c1.medium

配置选项 默认值
io.sort.mb 100
mapreduce.map.java.opts -Xmx288m
mapreduce.reduce.java.opts -Xmx288m
mapreduce.map.memory.mb 512
mapreduce.reduce.memory.mb 512
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 512
yarn.nodemanager.resource.memory-mb 1024

c1.xlarge

配置选项 默认值
io.sort.mb 150
mapreduce.map.java.opts -Xmx864m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 1024
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 2048
yarn.nodemanager.resource.memory-mb 5120

c3.large

配置选项 默认值
mapreduce.map.java.opts -Xmx768m
mapreduce.reduce.java.opts -Xmx768m
mapreduce.map.memory.mb 921
mapreduce.reduce.memory.mb 921
yarn.scheduler.minimum-allocation-mb 499
yarn.scheduler.maximum-allocation-mb 1920
yarn.nodemanager.resource.memory-mb 1920

c3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1177m
mapreduce.reduce.java.opts -Xmx1356m
mapreduce.map.memory.mb 1413
mapreduce.reduce.memory.mb 1628
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 2944
yarn.nodemanager.resource.memory-mb 3302

c3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1515m
mapreduce.reduce.java.opts -Xmx1792m
mapreduce.map.memory.mb 1904
mapreduce.reduce.memory.mb 2150
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 3788
yarn.nodemanager.resource.memory-mb 5273

c3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2129m
mapreduce.reduce.java.opts -Xmx2560m
mapreduce.map.memory.mb 2826
mapreduce.reduce.memory.mb 3072
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5324
yarn.nodemanager.resource.memory-mb 9113

c3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx4669m
mapreduce.reduce.java.opts -Xmx4915m
mapreduce.map.memory.mb 4669
mapreduce.reduce.memory.mb 4915
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8396
yarn.nodemanager.resource.memory-mb 16793

cc1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 5120
yarn.nodemanager.resource.memory-mb 20480

cg1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 5120
yarn.nodemanager.resource.memory-mb 20480

cc2.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 56320

cr1.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 63897

g2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx512m
mapreduce.reduce.java.opts -Xmx1536m
mapreduce.map.memory.mb 768
mapreduce.reduce.memory.mb 2048
yarn.scheduler.minimum-allocation-mb 256
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 12288

hi1.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3379m
mapreduce.reduce.java.opts -Xmx4121m
mapreduce.map.memory.mb 4700
mapreduce.reduce.memory.mb 4945
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8448
yarn.nodemanager.resource.memory-mb 16921

hs1.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx1280m
mapreduce.reduce.java.opts -Xmx2304m
mapreduce.map.memory.mb 1536
mapreduce.reduce.memory.mb 2560
yarn.scheduler.minimum-allocation-mb 512
yarn.scheduler.maximum-allocation-mb 8 192
yarn.nodemanager.resource.memory-mb 56320

i2.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2150m
mapreduce.reduce.java.opts -Xmx2585m
mapreduce.map.memory.mb 2856
mapreduce.reduce.memory.mb 3102
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5376
yarn.nodemanager.resource.memory-mb 9241

i2.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3399m
mapreduce.reduce.java.opts -Xmx4147m
mapreduce.map.memory.mb 4730
mapreduce.reduce.memory.mb 4976
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8499
yarn.nodemanager.resource.memory-mb 17049

i2.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5898m
mapreduce.reduce.java.opts -Xmx7270m
mapreduce.map.memory.mb 8478
mapreduce.reduce.memory.mb 8724
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 14745
yarn.nodemanager.resource.memory-mb 32665

i2.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 63897

r3.xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx2150m
mapreduce.reduce.java.opts -Xmx3102m
mapreduce.map.memory.mb 2856
mapreduce.reduce.memory.mb 3102
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 5376
yarn.nodemanager.resource.memory-mb 9241

r3.2xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx3399m
mapreduce.reduce.java.opts -Xmx4147m
mapreduce.map.memory.mb 4743
mapreduce.reduce.memory.mb 4976
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 8499
yarn.nodemanager.resource.memory-mb 17049

r3.4xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx5898m
mapreduce.reduce.java.opts -Xmx7270m
mapreduce.map.memory.mb 8478
mapreduce.reduce.memory.mb 8724
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 14745
yarn.nodemanager.resource.memory-mb 32665

r3.8xlarge

配置选项 默认值
mapreduce.map.java.opts -Xmx10895m
mapreduce.reduce.java.opts -Xmx13516m
mapreduce.map.memory.mb 15974
mapreduce.reduce.memory.mb 16220
yarn.scheduler.minimum-allocation-mb 532
yarn.scheduler.maximum-allocation-mb 27238
yarn.nodemanager.resource.memory-mb 69897

您可以在执行每项任务时启动新 JVM，实现更好的任务隔离；也可以在各项任务之间共享 JVM，降低框架开销。如果您处理的是许多小文件，合理的做法是多次重复使用 JVM，以摊销启动成本。然而，如果每项任务耗时较长或处理的数据量较大，您可以选择不重复使用 JVM，以确保释放出所有内存供后续任务使用。

使用 mapred.job.reuse.jvm.num.tasks 选项配置 JVM 重复使用设置。

使用引导操作修改 JVM

  • 在安装了 Amazon EMR CLI 的目录下，从命令行运行以下命令。有关更多信息，请参见 Amazon EMR 的命令行接口参考。

    • Linux、UNIX 和 Mac OS X 用户：

      ./elastic-mapreduce --create --alive --name "JVM infinite reuse" \
--bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop \
--bootstrap-name "Configuring infinite JVM reuse" \
--args "-m,mapred.job.reuse.jvm.num.tasks=-1"
      ログイン後にコピー

    • Windows 用户：

      ruby elastic-mapreduce --create --alive --name "JVM infinite reuse" --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-hadoop --bootstrap-name "Configuring infinite JVM reuse" --args "-m,mapred.job.reuse.jvm.num.tasks=-1"
      ログイン後にコピー

Note

Amazon EMR 已将 mapred.job.reuse.jvm.num.tasks 的值设置为 20，但您可以通过引导操作覆盖此值。值 -1 表示在单一作业中重复使用的次数不受限制，1 表示不能重复使用任务。

関連ラベル：
hadoop jvm タスク メモリ 構成
ソース：php.cn
前の記事：mysql数据库优化技术(1) 次の記事：微软甲骨文战略合作 Azure全面支持Java和Oracle数据库
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
最新の問題
ページが突然 CSS またはブートストラップを取得できなくなります それで、私はページを開発しています。昨日その一部を実行してうまくいきました。そして今日は残りの作業を続けましたが、すべてがうまくいきました。通常の HTML ページとして開こうとす...
から 2024-04-06 21:58:04
0
1
800
CSSでページ下部の謎の空白を解決する方法 Bootstrap と D3 を使用して単純な Web ページを構築しようとしていますが、下部の空白をすべて削除する方法がわかりません。それをなくしたいのです。 bodyとhtml...
から 2024-04-06 20:22:15
0
1
454
livewire遅延プレースホルダーでlaravelコンポーネントを使用する方法 laravel コンポーネントのスケルトンを livewire3 プレースホルダー内に追加したい これまでに試したこと: Laravel コンポーネントを含めることによる Live...
から 2024-04-06 20:02:10
0
2
543
複数のルートで宣言されたワーカープールは、しきい値を気にせずに CPU 使用率を維持できますか CPU を集中的に使用するタスクを処理するワーカープールを備えた Node.js システムを見つけたいと考えていますが、複数のルートにわたる CPU 使用率については少し混乱してい...
から 2024-04-06 19:54:23
0
1
444
Web アプリケーションでバージョン情報を表示するためのベスト プラクティスは何ですか? Webアプリケーションを開発しています。 Web アプリケーションでバージョン情報を表示するためのベスト プラクティスは何ですか?私はセマンティック バージョニングを使用しており、...
から 2024-04-06 19:13:16
0
2
476
関連トピック
詳細>
人気のおすすめ
人気のチュートリアル
詳細>
関連するチュートリアル
人気のおすすめ
最新のコース
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート