hive的安装
在此强调:
Hadoop,zookpeer,spark,kafka已经正常启动
开始安装部署hive
基础依赖环境:
1,jdk 1.6+ 2, hadoop 2.x 3,hive 0.13-0.19 4,mysql (mysql-connector-jar)
安装详细如下:
#java export JAVA_HOME=/soft/jdk1.7.0_79/ export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #bin export PATH=$PATH:/$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:/usr/local/hadoop/hive/bin #hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop #scala export SCALA_HOME=/usr/local/hadoop/scala #spark export SPARK_HOME=/usr/local/hadoop/spark #hive export HIVE_HOME=/usr/local/hadoop/hive
一、开始安装:
1,下载:
https://hive.apache.org/downloads.html
解压:
tar xvf apache-hive-2.1.0-bin.tar.gz -C /usr/local/hadoop/ cd /usr/local/hadoop/ mv apache-hive-2.1.0 hive
2,修改配置
修改启动环境 cd /usr/local/hadoop/hive vim bin/hive-config.sh #java export JAVA_HOME=/soft/jdk1.7.0_79/ #hadoop export HADOOP_HOME=/usr/local/hadoop/hadoop #hive export HIVE_HOME=/usr/local/hadoop/hive
修改默认配置文件
cd /usr/local/hadoop/hive vim conf/hive-site.xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://master:3306/hive?createDatabaseInfoNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>Username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>xujun</value> <description>password to use against metastore database</description> </property> </configuration>
3,修改tmp dir
修改 将含有"system:java.io.tmpdir"的配置项的值修改为如上地址
/tmp/hive
二、安装好mysql,并且启动
1.创建数据库
create database hive grant all on *.* to hive@'%' identified by 'hive'; flush privileges;
三,初始化hive
cd /usr/local/hadoop/hive bin/schematool -initSchema -dbType mysql SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:mysql://hadoop3:3306/hive?createDatabaseInfoNotExist=true Metastore Connection Driver : com.mysql.jdbc.Driver Metastore connection User: hive Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.mysql.sql Initialization script completed schemaTool completed
四、启动
[hadoop@hadoop1 hadoop]$ hive/bin/hive which: no hbase in (/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin://soft/jdk1.7.0_79//bin:/bin:/bin:/bin:/usr/local/hadoop/hive/bin:/home/hadoop/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/hadoop/hive/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/hadoop/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/usr/local/hadoop/hive/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases. hive> show databases; OK default Time taken: 1.184 seconds, Fetched: 1 row(s) hive>

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

热门话题

近年来,数据仓库成为了企业数据管理中不可或缺的一部分。直接使用数据库进行数据分析可以满足简单的查询需求,但当我们需要进行大规模数据分析时,单个数据库已经无法满足需求,这时我们需要使用数据仓库来处理海量数据。而Hive则是数据仓库领域中最流行的开源组件之一,它可以将Hadoop分布式计算引擎和SQL查询集成在一起,并支持海量数据的并行处理。同时,在Go语言中使

PHP是一种广泛使用的服务器端编程语言,它的使用范围覆盖了几乎所有行业。在本篇文章中,我们将探讨PHP对于大数据处理的特殊作用。在特定环境下,PHP可以与ApacheHive协作,从而实现实时数据处理和分析。先来介绍一下Hive。Hive是一个基于Hadoop的数据仓库解决方案。它可以将结构化数据映射成SQL查询,并以MapReduce任务的方式执行查询。

随着数据处理越来越重要,大数据分析也变得越来越普遍。然而,许多公司可能不想花费大量资金在商业分析平台上。开源解决方案为这些公司提供了一种可行的选择。在这个文章中,我们将讨论如何使用PHP实现开源Hive大数据分析平台。Hive是一个基于Hadoop的数据仓库系统,可以通过SQL查询和管理Hadoop上的大规模数据集。它使用类似于SQL的HiveQL语言来查询

尽管保持软件更新和仅从受信任的来源下载文件是标准的网络安全实践,但鉴于最近恶意软件攻击的增加,很明显在这方面需要更多的教育。为此,Varonis 取证团队就使用 Hive 勒索软件的攻击者如何在其最新系列攻击中针对 Microsoft Exchange Server 提供了一些指导。对于那些不知道的人,Hive 遵循勒索软件即服务模型。尽管微软在 2021 年针对已知漏洞对 E

当在CentOS7上安装和配置Hive时,可以按照以下步骤进行操作:确保已安装Java:首先,确保在CentOS7上已经安装了Java。可以使用以下命令检查Java是否已安装:java-version如果没有安装Java,请根据你的需要安装合适的Java版本。下载Hive:访问ApacheHive的官方网站(),下载最新的稳定版本的Hive。解压Hive压缩包:使用以下命令解压Hive压缩包:tarxvfzhive-x.x.x.tar.gz这将解压缩Hive到当前目录下。配置环境变量:打开终端,

一位微软官员证实了有关谷歌Chrome、ChromiumEdge、Discord和其他几个应用程序被微软内置防病毒软件“WindowsDefender”标记为“ Behavior:Win32/Hive.ZY”的广泛报道。这家科技巨头在一份声明中证实,它正在研究一个修复程序,该修复程序将在接下来的几个小时内向所有人推出。那么“Behavior:Win32/Hive.ZY”到底是什么?根据微软安全门户上发布的一份文件,任何标记为“Behavior:Win32/Hive.ZY”的文件都是带有

许多Windows11和10用户看到来自WindowsDefender的警告通知表示检测到威胁“行为:Win32/Hive.ZY”而感到困扰。据报道,当用户尝试打开一些常用应用程序(如GoogleChrome或ChromiumEdge、Whatsapp、Discord和Spotify)时,会引发此WindowsDefender警告或警报。即使您在PC上阻止了此威胁,它也会在您下次打开此受影响的应用程序时弹出并显示一条消息MicrosoftDefenderAntivi

实际业务读取hive数据库的代码importloggingimportpandasaspdfromimpala.dbapiimportconnectimportsqlalchemyfromsqlalchemy.ormimportsessionmakerimportosimporttimeimportosimportdatetimefromdateutil.relativedeltaimportrelativedeltafromtypingimportDict,Listimportloggingi
