데이터 베이스 MySQL 튜토리얼 利用udf函数将Hive统计结果直接插入到MySQL

利用udf函数将Hive统计结果直接插入到MySQL

Jun 07, 2016 pm 05:28 PM
hive

result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。
 
今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。
 
步骤为
 
hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;
 
Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
 Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar
 
hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;
 
Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
 Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
 

hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';
 
hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;
 
注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。
 
通过以上步骤即可将hive统计结果直接导入到mysql数据库中。

linux

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Go 언어로 Hive를 사용하여 효율적인 데이터 웨어하우스 구현 Go 언어로 Hive를 사용하여 효율적인 데이터 웨어하우스 구현 Jun 15, 2023 pm 08:52 PM

최근 몇 년 동안 데이터 웨어하우스는 기업 데이터 관리의 필수적인 부분이 되었습니다. 데이터 분석을 위해 데이터베이스를 직접 사용하면 간단한 쿼리 요구 사항을 충족할 수 있지만, 대규모 데이터 분석을 수행해야 하는 경우 단일 데이터베이스로는 더 이상 이러한 요구 사항을 충족할 수 없습니다. . Hive는 데이터 웨어하우스 분야에서 가장 널리 사용되는 오픈 소스 구성 요소 중 하나입니다. Hadoop 분산 컴퓨팅 엔진과 SQL 쿼리를 통합하고 대규모 데이터의 병렬 처리를 지원할 수 있습니다. 동시에 Go 언어에서는 다음을 사용합니다.

PHP 시작하기: PHP와 Hive PHP 시작하기: PHP와 Hive May 20, 2023 am 08:33 AM

PHP는 거의 모든 산업 분야에서 널리 사용되는 서버 측 프로그래밍 언어입니다. 이 글에서는 빅데이터 처리에서 PHP의 특별한 역할을 살펴보겠습니다. 특정 상황에서 PHP는 ApacheHive와 협력하여 실시간 데이터 처리 및 분석을 달성할 수 있습니다. 먼저 Hive를 소개하겠습니다. Hive는 Hadoop 기반 데이터 웨어하우스 솔루션입니다. 구조화된 데이터를 SQL 쿼리에 매핑하고 쿼리를 MapReduce 작업으로 실행할 수 있습니다.

PHP는 오픈 소스 Hive 빅 데이터 분석 플랫폼을 구현합니다. PHP는 오픈 소스 Hive 빅 데이터 분석 플랫폼을 구현합니다. Jun 18, 2023 pm 02:47 PM

데이터 처리가 점점 더 중요해짐에 따라 빅데이터 분석이 점점 더 보편화되고 있습니다. 그러나 많은 기업에서는 비즈니스 분석 플랫폼에 많은 돈을 지출하고 싶어하지 않을 수 있습니다. 오픈 소스 솔루션은 이러한 회사에 실행 가능한 옵션을 제공합니다. 이번 글에서는 PHP를 사용하여 오픈소스 Hive 빅데이터 분석 플랫폼을 구현하는 방법에 대해 설명하겠습니다. Hive는 Hadoop의 대규모 데이터 세트를 SQL을 통해 쿼리하고 관리할 수 있는 Hadoop 기반 데이터 웨어하우스 시스템입니다. SQL과 유사한 HiveQL 언어를 사용하여 쿼리합니다.

Centos7 설치 및 구성 Hive 튜토리얼. Centos7 설치 및 구성 Hive 튜토리얼. Feb 19, 2024 pm 02:21 PM

CentOS7에 Hive를 설치하고 구성할 때 다음 단계를 수행할 수 있습니다. Java가 설치되어 있는지 확인합니다. 먼저 CentOS7에 Java가 설치되어 있는지 확인합니다. 다음 명령을 사용하여 Java가 설치되어 있는지 확인할 수 있습니다. java-version Java가 설치되어 있지 않은 경우 필요에 따라 적절한 Java 버전을 설치하십시오. Hive 다운로드: ApacheHive() 공식 웹사이트를 방문하여 최신 안정 버전의 Hive를 다운로드하세요. Hive 압축 패키지 압축 해제: 다음 명령을 사용하여 Hive 압축 패키지의 압축을 해제합니다. tarxvfzhive-x.x.x.tar.gz 이렇게 하면 Hive가 현재 디렉터리로 압축 해제됩니다. 환경 변수 구성: 터미널을 열고,

Microsoft는 Windows Defender의 Behavior:Win32/Hive.ZY 오류에 대한 수정 사항을 출시했습니다. Microsoft는 Windows Defender의 Behavior:Win32/Hive.ZY 오류에 대한 수정 사항을 출시했습니다. Apr 28, 2023 pm 04:01 PM

Microsoft 관계자는 Google Chrome, ChromiumEdge, Discord 및 기타 여러 응용 프로그램이 Microsoft 내장 바이러스 백신 소프트웨어 "WindowsDefender"에 의해 "Behavior:Win32/Hive.ZY"로 표시되었다는 광범위한 보고를 확인했습니다. 거대 기술 기업은 성명을 통해 앞으로 몇 시간 안에 모든 사람에게 배포될 수정 사항을 작업 중이라고 확인했습니다. 그렇다면 "Behavior:Win32/Hive.ZY"는 정확히 무엇입니까? Microsoft의 보안 포털에 게시된 문서에 따르면 "Behavior:Win32/Hive.ZY"라고 표시된 모든 파일은

Microsoft Exchange Server가 Hive의 'windows.exe” 랜섬웨어에 의해 공격을 받았습니다. Microsoft Exchange Server가 Hive의 'windows.exe” 랜섬웨어에 의해 공격을 받았습니다. Apr 16, 2023 pm 01:28 PM

소프트웨어를 최신 상태로 유지하고 신뢰할 수 있는 소스에서만 파일을 다운로드하는 것이 표준 사이버 보안 관행이지만 최근 맬웨어 공격이 증가한 것을 고려할 때 이 분야에 대한 더 많은 교육이 필요하다는 것은 분명합니다. 이를 위해 Varonis 포렌식 팀은 Hive 랜섬웨어를 사용하는 공격자가 최신 일련의 공격에서 Microsoft Exchange Server를 표적으로 삼는 방법에 대한 몇 가지 지침을 제공했습니다. 모르시는 분들을 위해 설명하자면, Hive는 서비스형 랜섬웨어 모델을 따릅니다. Microsoft는 알려진 취약점에 대해 2021년 E를 목표로 하고 있지만,

Windows Defender 동작 수정 방법: Win32/Hive.ZY 경고 Windows Defender 동작 수정 방법: Win32/Hive.ZY 경고 May 06, 2023 am 08:04 AM

많은 Windows 11 및 10 사용자는 "동작: Win32/Hive.ZY" 위협이 감지되었다는 Windows Defender의 경고 알림을 보고 어려움을 겪고 있습니다. 보고서에 따르면 이 Windows Defender 경고는 사용자가 Google Chrome 또는 Chromium Edge, Whatsapp, Discord 및 Spotify와 같이 일반적으로 사용되는 일부 응용 프로그램을 열려고 할 때 트리거됩니다. PC에서 이 위협을 차단했더라도 다음에 영향을 받는 이 응용 프로그램을 열면 MicrosoftDefenderAntivi 메시지가 표시됩니다.

Python을 사용하여 Hive 데이터베이스를 읽는 방법은 무엇입니까? Python을 사용하여 Hive 데이터베이스를 읽는 방법은 무엇입니까? May 09, 2023 pm 04:28 PM

实际业务读取hive数据库的代码importloggingimportpandasaspdfromimpala.dbapiimportconnectimportsqlalchemyfromsqlalchemy.ormimportsessionmakerimportosimporttimeimportosimportdatetimefromdateutil.relativedeltaimportrelativedeltafromtypingimportDict,Listimportloggingi

See all articles