hive的安装
在此强调:
Hadoop,zookpeer,spark,kafka已经正常启动
开始安装部署hive
基础依赖环境:
1,jdk 1.6+ 2, hadoop 2.x 3,hive 0.13-0.19 4,mysql (mysql-connector-jar)
安装详细如下:
#java export JAVA_HOME=/soft/jdk1.7.0_79/ export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #bin export PATH=$PATH:/$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:/usr/local/hadoop/hive/bin #hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop #scala export SCALA_HOME=/usr/local/hadoop/scala #spark export SPARK_HOME=/usr/local/hadoop/spark #hive export HIVE_HOME=/usr/local/hadoop/hive
一、开始安装:
1,下载:
https://hive.apache.org/downloads.html
解压:
tar xvf apache-hive-2.1.0-bin.tar.gz -C /usr/local/hadoop/ cd /usr/local/hadoop/ mv apache-hive-2.1.0 hive
2,修改配置
修改启动环境 cd /usr/local/hadoop/hive vim bin/hive-config.sh #java export JAVA_HOME=/soft/jdk1.7.0_79/ #hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop #hive export HIVE_HOME=/usr/local/hadoop/hive
修改默认配置文件
cd /usr/local/hadoop/hive vim conf/hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseInfoNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>Username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>xujun</value> <description>password to use against metastore database</description> </property> </configuration>
3,修改tmp dir
修改 将含有"system:java.io.tmpdir"的配置项的值修改为如上地址
/tmp/hive
二、安装好mysql,并且启动
1.创建数据库
create database hive grant all on *.* to hive@'%' identified by 'hive'; flush privileges;
三,初始化hive
cd /usr/local/hadoop/hive bin/schematool -initSchema -dbType mysql SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:mysql://hadoop3:3306/hive?createDatabaseInfoNotExist=true Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connection User: hive Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.mysql.sql Initialization script completed schemaTool completed
四、启动
[hadoop@hadoop1 hadoop]$ hive/bin/hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin://soft/jdk1.7.0_79//bin:/bin:/bin:/bin:/usr/local/hadoop/hive/bin:/home/hadoop/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hadoop/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/hadoop/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/usr/local/hadoop/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases. hive> show databases; OK default Time taken: 1.184 seconds, Fetched: 1 row(s) hive>

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



PHP ialah bahasa pengaturcaraan bahagian pelayan yang digunakan secara meluas yang digunakan dalam hampir semua industri. Dalam artikel ini, kami akan meneroka peranan khas PHP dalam pemprosesan data besar. Dalam keadaan tertentu, PHP boleh bekerjasama dengan ApacheHive untuk mencapai pemprosesan dan analisis data masa nyata. Mula-mula, mari perkenalkan Hive. Hive ialah penyelesaian gudang data berasaskan Hadoop. Ia boleh memetakan data berstruktur ke dalam pertanyaan SQL dan melaksanakan pertanyaan sebagai tugasan MapReduce.

Dalam beberapa tahun kebelakangan ini, gudang data telah menjadi bahagian penting dalam pengurusan data perusahaan. Menggunakan pangkalan data secara langsung untuk analisis data boleh memenuhi keperluan pertanyaan mudah, tetapi apabila kita perlu melakukan analisis data berskala besar, pangkalan data tunggal tidak lagi dapat memenuhi keperluan Pada masa ini, kita perlu menggunakan gudang data untuk memproses data besar-besaran . Hive ialah salah satu komponen sumber terbuka yang paling popular dalam medan gudang data Ia boleh menyepadukan enjin pengkomputeran yang diedarkan Hadoop dan pertanyaan SQL dan menyokong pemprosesan data besar-besaran. Pada masa yang sama, dalam bahasa Go, gunakan

Apabila pemprosesan data menjadi semakin penting, analisis data besar menjadi semakin biasa. Walau bagaimanapun, banyak syarikat mungkin tidak mahu membelanjakan banyak wang pada platform analitik perniagaan. Penyelesaian sumber terbuka menawarkan syarikat ini pilihan yang berdaya maju. Dalam artikel ini, kami akan membincangkan cara melaksanakan platform analisis data besar Hive sumber terbuka menggunakan PHP. Hive ialah sistem gudang data berasaskan Hadoop yang boleh membuat pertanyaan dan mengurus set data berskala besar pada Hadoop melalui SQL. Ia menggunakan bahasa HiveQL seperti SQL untuk membuat pertanyaan

Seorang pegawai Microsoft mengesahkan laporan meluas bahawa Google Chrome, ChromiumEdge, Discord dan beberapa aplikasi lain telah dibenderakan sebagai "Behavior:Win32/Hive.ZY" oleh perisian antivirus terbina dalam Microsoft "WindowsDefender". Gergasi teknologi itu mengesahkan dalam satu kenyataan bahawa ia sedang mengusahakan pembetulan yang akan dilancarkan kepada semua orang dalam beberapa jam akan datang. Jadi apakah sebenarnya "Behavior:Win32/Hive.ZY"? Menurut dokumen yang disiarkan pada portal keselamatan Microsoft, mana-mana fail bertanda "Behavior:Win32/Hive.ZY" ialah

Apabila memasang dan mengkonfigurasi Hive pada CentOS7, anda boleh mengikuti langkah berikut: Pastikan Java dipasang: Pertama, pastikan Java dipasang pada CentOS7. Anda boleh menyemak sama ada Java dipasang menggunakan arahan berikut: java-version Jika Java tidak dipasang, sila pasang versi Java yang sesuai mengikut keperluan anda. Muat turun Hive: Lawati tapak web rasmi ApacheHive () dan muat turun versi stabil terkini Hive. Nyahmampat pakej termampat Hive: Gunakan arahan berikut untuk menyahmampat pakej termampat Hive: tarxvfzhive-x.x.x.tar.gz Ini akan menyahmampat Hive ke direktori semasa. Konfigurasikan pembolehubah persekitaran: buka terminal,

Walaupun memastikan perisian sentiasa dikemas kini dan hanya memuat turun fail daripada sumber yang dipercayai adalah amalan keselamatan siber standard, memandangkan peningkatan baru-baru ini dalam serangan perisian hasad, jelas bahawa lebih banyak pendidikan diperlukan dalam bidang ini. Untuk itu, pasukan forensik Varonis telah menyediakan beberapa panduan tentang cara penyerang menggunakan perisian tebusan Hive menyasarkan Pelayan Microsoft Exchange dalam siri serangan terbaru mereka. Bagi mereka yang tidak tahu, Hive mengikuti model ransomware-as-a-service. Walaupun Microsoft menyasarkan E pada 2021 untuk kelemahan yang diketahui,

Ramai pengguna Windows 11 dan 10 bermasalah dengan melihat pemberitahuan amaran daripada Windows Defender yang menyatakan bahawa ancaman "Behavior: Win32/Hive.ZY" telah dikesan. Menurut laporan, amaran atau amaran Windows Defender ini dicetuskan apabila pengguna cuba membuka beberapa aplikasi yang biasa digunakan seperti Google Chrome atau Chromium Edge, Whatsapp, Discord dan Spotify. Walaupun anda telah menyekat ancaman ini pada PC anda, ia akan muncul dengan mesej MicrosoftDefenderAntivi pada kali seterusnya anda membuka aplikasi yang terjejas ini

Perkhidmatan yang boleh disediakan oleh komponen sarang: 1. Tukar pernyataan SQL kepada kod mapreduce 2. Data boleh disimpan, menggunakan HDFS 3. Data boleh dikira, menggunakan MapReduce; hive ialah alat gudang data berdasarkan Hadoop, digunakan untuk pengekstrakan data, transformasi dan pemuatan alat gudang data sarang boleh memetakan fail data berstruktur ke dalam jadual pangkalan data, dan menyediakan fungsi pertanyaan SQL, yang boleh menukar penyataan SQL kepada tugasan MapReduce untuk dilaksanakan; .
