Rumah php教程 PHP开发 hive的安装

hive的安装

Dec 02, 2016 pm 04:09 PM
hive

在此强调:

Hadoop,zookpeer,spark,kafka已经正常启动

开始安装部署hive

基础依赖环境:

1,jdk   1.6+
2, hadoop 2.x
3,hive 0.13-0.19
4,mysql   (mysql-connector-jar)
Salin selepas log masuk

安装详细如下:

#java 
export JAVA_HOME=/soft/jdk1.7.0_79/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#bin
export PATH=$PATH:/$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:/usr/local/hadoop/hive/bin
#hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop
#scala
export SCALA_HOME=/usr/local/hadoop/scala
#spark
export SPARK_HOME=/usr/local/hadoop/spark
#hive
export HIVE_HOME=/usr/local/hadoop/hive
Salin selepas log masuk

一、开始安装:

1,下载:

https://hive.apache.org/downloads.html
Salin selepas log masuk

解压:

tar  xvf   apache-hive-2.1.0-bin.tar.gz  -C  /usr/local/hadoop/
cd  /usr/local/hadoop/
mv   apache-hive-2.1.0   hive
Salin selepas log masuk

2,修改配置

修改启动环境
cd   /usr/local/hadoop/hive
vim bin/hive-config.sh
#java 
export JAVA_HOME=/soft/jdk1.7.0_79/
#hadoop
export HADOOP_HOME=/usr/local/hadoop/hadoop
#hive
export HIVE_HOME=/usr/local/hadoop/hive
Salin selepas log masuk

修改默认配置文件

cd   /usr/local/hadoop/hive
vim conf/hive-site.xml
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseInfoNotExist=true</value> 
            <description>JDBC connect string for a JDBC metastore</description>
      </property>
     <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
            <description>Driver class name for a JDBC metastore</description>
      </property>
    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>hive</value>
            <description>Username to use against metastore database</description>
      </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>xujun</value>
            <description>password to use against metastore database</description>
      </property>
</configuration>
Salin selepas log masuk

3,修改tmp dir

修改 将含有"system:java.io.tmpdir"的配置项的值修改为如上地址

/tmp/hive

二、安装好mysql,并且启动

1.创建数据库

create database hive 
grant all on *.* to  hive@&#39;%&#39;  identified by &#39;hive&#39;;
flush  privileges;
Salin selepas log masuk

三,初始化hive

cd   /usr/local/hadoop/hive
bin/schematool -initSchema -dbType mysql 
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL: jdbc:mysql://hadoop3:3306/hive?createDatabaseInfoNotExist=true
Metastore Connection Driver : com.mysql.jdbc.Driver
Metastore connection User: hive
Starting metastore schema initialization to 2.1.0
Initialization script hive-schema-2.1.0.mysql.sql
Initialization script completed
schemaTool completed
Salin selepas log masuk

四、启动

[hadoop@hadoop1 hadoop]$ hive/bin/hive
which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin://soft/jdk1.7.0_79//bin:/bin:/bin:/bin:/usr/local/hadoop/hive/bin:/home/hadoop/bin)
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hadoop/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Logging initialized using configuration in jar:file:/usr/local/hadoop/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases.
hive> show databases;
OK
default
Time taken: 1.184 seconds, Fetched: 1 row(s)
hive>
Salin selepas log masuk


   


Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Akan R.E.P.O. Ada Crossplay?
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Bermula dengan PHP: PHP dan Hive Bermula dengan PHP: PHP dan Hive May 20, 2023 am 08:33 AM

PHP ialah bahasa pengaturcaraan bahagian pelayan yang digunakan secara meluas yang digunakan dalam hampir semua industri. Dalam artikel ini, kami akan meneroka peranan khas PHP dalam pemprosesan data besar. Dalam keadaan tertentu, PHP boleh bekerjasama dengan ApacheHive untuk mencapai pemprosesan dan analisis data masa nyata. Mula-mula, mari perkenalkan Hive. Hive ialah penyelesaian gudang data berasaskan Hadoop. Ia boleh memetakan data berstruktur ke dalam pertanyaan SQL dan melaksanakan pertanyaan sebagai tugasan MapReduce.

Gunakan bahasa Hive in Go untuk melaksanakan gudang data yang cekap Gunakan bahasa Hive in Go untuk melaksanakan gudang data yang cekap Jun 15, 2023 pm 08:52 PM

Dalam beberapa tahun kebelakangan ini, gudang data telah menjadi bahagian penting dalam pengurusan data perusahaan. Menggunakan pangkalan data secara langsung untuk analisis data boleh memenuhi keperluan pertanyaan mudah, tetapi apabila kita perlu melakukan analisis data berskala besar, pangkalan data tunggal tidak lagi dapat memenuhi keperluan Pada masa ini, kita perlu menggunakan gudang data untuk memproses data besar-besaran . Hive ialah salah satu komponen sumber terbuka yang paling popular dalam medan gudang data Ia boleh menyepadukan enjin pengkomputeran yang diedarkan Hadoop dan pertanyaan SQL dan menyokong pemprosesan data besar-besaran. Pada masa yang sama, dalam bahasa Go, gunakan

PHP melaksanakan platform analisis data besar Hive sumber terbuka PHP melaksanakan platform analisis data besar Hive sumber terbuka Jun 18, 2023 pm 02:47 PM

Apabila pemprosesan data menjadi semakin penting, analisis data besar menjadi semakin biasa. Walau bagaimanapun, banyak syarikat mungkin tidak mahu membelanjakan banyak wang pada platform analitik perniagaan. Penyelesaian sumber terbuka menawarkan syarikat ini pilihan yang berdaya maju. Dalam artikel ini, kami akan membincangkan cara melaksanakan platform analisis data besar Hive sumber terbuka menggunakan PHP. Hive ialah sistem gudang data berasaskan Hadoop yang boleh membuat pertanyaan dan mengurus set data berskala besar pada Hadoop melalui SQL. Ia menggunakan bahasa HiveQL seperti SQL untuk membuat pertanyaan

Microsoft mengeluarkan pembetulan untuk Ralat Behavior:Win32/Hive.ZY dalam Windows Defender Microsoft mengeluarkan pembetulan untuk Ralat Behavior:Win32/Hive.ZY dalam Windows Defender Apr 28, 2023 pm 04:01 PM

Seorang pegawai Microsoft mengesahkan laporan meluas bahawa Google Chrome, ChromiumEdge, Discord dan beberapa aplikasi lain telah dibenderakan sebagai "Behavior:Win32/Hive.ZY" oleh perisian antivirus terbina dalam Microsoft "WindowsDefender". Gergasi teknologi itu mengesahkan dalam satu kenyataan bahawa ia sedang mengusahakan pembetulan yang akan dilancarkan kepada semua orang dalam beberapa jam akan datang. Jadi apakah sebenarnya "Behavior:Win32/Hive.ZY"? Menurut dokumen yang disiarkan pada portal keselamatan Microsoft, mana-mana fail bertanda "Behavior:Win32/Hive.ZY" ialah

Tutorial Hive pemasangan dan konfigurasi Centos7. Tutorial Hive pemasangan dan konfigurasi Centos7. Feb 19, 2024 pm 02:21 PM

Apabila memasang dan mengkonfigurasi Hive pada CentOS7, anda boleh mengikuti langkah berikut: Pastikan Java dipasang: Pertama, pastikan Java dipasang pada CentOS7. Anda boleh menyemak sama ada Java dipasang menggunakan arahan berikut: java-version Jika Java tidak dipasang, sila pasang versi Java yang sesuai mengikut keperluan anda. Muat turun Hive: Lawati tapak web rasmi ApacheHive () dan muat turun versi stabil terkini Hive. Nyahmampat pakej termampat Hive: Gunakan arahan berikut untuk menyahmampat pakej termampat Hive: tarxvfzhive-x.x.x.tar.gz Ini akan menyahmampat Hive ke direktori semasa. Konfigurasikan pembolehubah persekitaran: buka terminal,

Pelayan Microsoft Exchange diserang oleh perisian tebusan 'windows.exe' Hive Pelayan Microsoft Exchange diserang oleh perisian tebusan 'windows.exe' Hive Apr 16, 2023 pm 01:28 PM

Walaupun memastikan perisian sentiasa dikemas kini dan hanya memuat turun fail daripada sumber yang dipercayai adalah amalan keselamatan siber standard, memandangkan peningkatan baru-baru ini dalam serangan perisian hasad, jelas bahawa lebih banyak pendidikan diperlukan dalam bidang ini. Untuk itu, pasukan forensik Varonis telah menyediakan beberapa panduan tentang cara penyerang menggunakan perisian tebusan Hive menyasarkan Pelayan Microsoft Exchange dalam siri serangan terbaru mereka. Bagi mereka yang tidak tahu, Hive mengikuti model ransomware-as-a-service. Walaupun Microsoft menyasarkan E pada 2021 untuk kelemahan yang diketahui,

Cara membetulkan tingkah laku Windows Defender: Makluman Win32/Hive.ZY Cara membetulkan tingkah laku Windows Defender: Makluman Win32/Hive.ZY May 06, 2023 am 08:04 AM

Ramai pengguna Windows 11 dan 10 bermasalah dengan melihat pemberitahuan amaran daripada Windows Defender yang menyatakan bahawa ancaman "Behavior: Win32/Hive.ZY" telah dikesan. Menurut laporan, amaran atau amaran Windows Defender ini dicetuskan apabila pengguna cuba membuka beberapa aplikasi yang biasa digunakan seperti Google Chrome atau Chromium Edge, Whatsapp, Discord dan Spotify. Walaupun anda telah menyekat ancaman ini pada PC anda, ia akan muncul dengan mesej MicrosoftDefenderAntivi pada kali seterusnya anda membuka aplikasi yang terjejas ini

Apakah perkhidmatan yang disediakan oleh komponen sarang? Apakah perkhidmatan yang disediakan oleh komponen sarang? Nov 18, 2022 am 11:57 AM

Perkhidmatan yang boleh disediakan oleh komponen sarang: 1. Tukar pernyataan SQL kepada kod mapreduce 2. Data boleh disimpan, menggunakan HDFS 3. Data boleh dikira, menggunakan MapReduce; hive ialah alat gudang data berdasarkan Hadoop, digunakan untuk pengekstrakan data, transformasi dan pemuatan alat gudang data sarang boleh memetakan fail data berstruktur ke dalam jadual pangkalan data, dan menyediakan fungsi pertanyaan SQL, yang boleh menukar penyataan SQL kepada tugasan MapReduce untuk dilaksanakan; .

See all articles