简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
java - hadoop数据查找
阿神
阿神 2017-04-18 10:48:19
0
1
567

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每个string对应的那一行，每条数据都不重复，请问怎么可以快速的找到呢？我写了简单的

# map.sh
awk -F "\03" '$3==xxx{print $0}' -

结果慢的要死，一直动不都不懂，请问有快点的办法吗？最好是可以一次性找出集合中所有的

阿神
阿神

闭关修行中......

모든 응답(1)
左手右手慢动作
左手右手慢动作2017-04-18 10:50:19 1층

이 문제를 해결하려면 MR을 작성하고 데이터를 Hive로 가져와서 SQL을 사용하여 해결하세요.

좋다 +0
답글 추가
인기 주제
더>
인기 기사
인기 튜토리얼
더>
관련 튜토리얼
인기 추천
최신 강좌
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트：공공복지 온라인 PHP 교육，PHP 학습자의 빠른 성장을 도와주세요！