통계 및 중복 제거를 위해 Linux에서 데이터베이스 파일 내보내기

이 기사에서는 주로 Linux에서 데이터베이스 파일 통계 및 중복 제거를 구현하는 방법에 대해 설명합니다. 관심 있는 친구는 배울 수 있습니다!

1. 데이터베이스 테이블을 텍스트 파일로 내보내기

mysql -h 호스트 -P 포트 -u 사용자 -p 비밀번호 -A 데이터베이스 -e "ent_login_01_000에서 이메일, 도메인, 시간 선택" > 최근 3개월 동안 로그인한 사용자 수를 계산하려면 테이블을 월별로 나누면 한 달에 128개의 테이블이 있고 모두 파일로 내보내져 총 80G

2개를 모두 찾습니다. -12 2019 -01 2019-02

find ./ -type f -name "ent_login_*" |xargs cat |grep "2018-12" > 2018-12.txt

find ./ -type f -name "ent_login_ *" | xargs cat |grep "2019-01" > 2019-01.txt

find ./ -type f -name "ent_login_*" |xargs cat |grep "2019-02" > 2019-02.txt

3. 이전 사용자만 제거하려면 awk sort 및 uniq를 사용하고, 중복된 줄을 먼저 제거하세요

cat 2019-02.txt|awk -F " " '{print $1"@"$2}'|sort -T / mnt/public/ phpdev/187_test/tmp/|uniq > 2019-02-awk-sort-uniq.txt

cat 2019-01.txt|awk -F " " '{print $1"@"$2}'| sort -T / mnt/public/phpdev/187_test/tmp/|uniq > 2019-01-awk-sort-uniq.txt

cat 2018-12.txt|awk -F " " '{print $1"@" $2}'| sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2018-12-awk-sort-uniq.txt

uniq는 연속된 중복 행만 제거하며, sort는 행을 연속적으로 정렬할 수 있습니다. T는 기본적으로 /tmp라는 임시디렉토리가 점유되어 있어서 루트디렉토리로는 부족해서 임시디렉토리를 변경했습니다

이 파일들은 100G가 넘는 용량을 차지합니다

리눅스 튜토리얼을 더 자세히 알고 싶으시다면, PHP 중국어 웹사이트

Linux 비디오 튜토리얼

을 따라오세요!

위 내용은 통계 및 중복 제거를 위해 Linux에서 데이터베이스 파일 내보내기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!