Mysql 대형 웹사이트 기술 아키텍처 핵심 사례 분석-MySQL 튜토리얼-php.cn

7. 주문형: 웹사이트의 확장 가능한 아키텍처

확장성(Extensibility): 기존 시스템에 최소한의 영향을 미치면서 시스템 기능을 지속적으로 확장하거나 개선할 수 있는 능력을 말합니다. 이는 시스템 아키텍처 설계 수준의 개방 및 폐쇄 원칙으로, 향후 기능 확장을 고려하여 시스템에 새로운 기능을 추가할 때 기존 시스템의 구조와 코드를 수정할 필요가 없습니다.

확장성: 자체 리소스의 규모를 늘림(줄임)으로써 자체 컴퓨팅 및 처리 능력을 향상(줄임)할 수 있는 시스템 능력을 의미합니다.

A. 확장 가능한 웹 사이트 아키텍처 구축

1. 소프트웨어 아키텍트의 가장 큰 가치는 얼마나 많은 고급 기술을 습득했는지가 아니라 대규모 시스템을 N개의 낮은 결합 하위 모듈로 나누는 능력에 있습니다. 하위 모듈에는 수평적 비즈니스 모듈과 수직적 기본 기술 모듈이 포함됩니다.

2. 핵심 아이디어는 모듈화입니다. 이를 기반으로 모듈 간의 결합이 줄어들고 모듈의 재사용성이 향상됩니다.

B. 분산 메시지 대기열을 사용하여 시스템 결합을 줄입니다.

1. 이벤트 중심 아키텍처

이벤트 중심 아키텍처: 낮은 결합 모듈 간에 이벤트 메시지를 전송하여 모듈을 유지합니다. 결합을 느슨하게 하고 모듈 간 협력을 완성합니다. 이벤트 메시지 통신의 도움으로 분산 메시지 대기열이 일반적으로 사용됩니다.
메시지 대기열은 게시-구독 모델을 사용하여 작동합니다. 메시지 발신자는 메시지를 게시하고 하나 이상의 메시지 수신자는 메시지를 구독합니다.

2. 분산 메시지 큐

큐는 선입선출 구조입니다. 애플리케이션은 원격 액세스 인터페이스를 통해 분산 메시지 큐를 사용하여 메시지 액세스 작업을 수행함으로써 분산 비동기 전송을 달성할 수 있습니다. .
메시지 생성자 애플리케이션은 원격 액세스 인터페이스를 통해 메시지를 메시지 대기열 서버에 푸시합니다. 메시지 대기열 서버는 메시지를 로컬 메모리 대기열에 쓰고 즉시 메시지 생성자에게 성공적인 응답을 반환합니다. 메시지 큐 서버는 메시지 구독 목록을 기반으로 메시지를 구독하는 메시지 소비자 애플리케이션을 검색하고, 메시지 큐에 있는 메시지를 선입선출 방식에 따라 원격 통신 인터페이스를 통해 메시지 소비자 프로그램으로 보냅니다. (FIFO) 원리.
분산 메시지 대기열은 매우 복잡할 수 있습니다. 예를 들어 ESB(Enterprise Service Bus), SOA(Service Oriented Architecture)를 지원하거나 MySQL 레코드를 사용하여 매우 간단할 수 있습니다. 메시지 생성자 프로그램은 메시지를 처리합니다. 데이터 레코드로 데이터베이스에 쓴 후 메시지 소비자 프로그램은 데이터베이스를 쿼리하고 쓰기 타임스탬프를 기준으로 레코드를 정렬하여 사실상 분산 메시지 대기열을 구현합니다.

C. 분산 서비스를 사용하여 재사용 가능한 비즈니스 플랫폼 만들기

1. 분산 서비스는 인터페이스를 통해 시스템 결합을 분해하고 다양한 하위 시스템은 Desert Rose의 인터페이스 설명을 통해 서비스를 호출합니다.

2. 대규모 시스템의 문제점: 코드 분기 관리의 어려움, 새로운 서비스 추가의 어려움

수직 분할: 대규모 애플리케이션 분할 여러 개의 소규모 애플리케이션

수평 분할: 재사용된 비즈니스를 분할하여 독립적으로 분산 서비스로 배포합니다. 새로운 비즈니스는 이러한 분산 서비스만 호출하면 되며 특정 모듈 코드에 의존할 필요가 없습니다
4. 서비스 및 기업 수준 분산 서비스

단점: 비대해진 등록 및 검색 메커니즘, 상대적으로 높은 오버헤드 HTTP 원격 통신, 복잡한 배포 및 유지 관리 방법,

5. 대규모 웹사이트에 대한 분산 서비스의 요구 사항 및 특징 로드 밸런싱, 장애 조치, 효율적인 원격 통신, 이기종 시스템 통합, 애플리케이션 침입 최소화, 버전 관리, 실시간 모니터링

6. 분산 서비스 프레임워크 설계: Thrift, Dubbo

D 확장 가능한 데이터 구조를 활용합니다. NoSQL 데이터베이스에 사용되는 ColumnFamily(컬럼 패밀리) 디자인.

E. 개방형 플랫폼을 사용하여 웹 사이트 생태계 구축

1. 개방형 플랫폼은 웹 사이트 내부와 외부 간의 상호 작용을 위한 인터페이스이며, 외부는 수많은 타사 개발자와 마주해야 합니다. 그리고 내부는 웹사이트 내에서 많은 비즈니스 서비스를 마주해야 합니다.

2. 아키텍처: API 인터페이스, 프로토콜 변환, 보안, 감사, 라우팅, 프로세스

8. 난공불락: 웹사이트 보안 아키텍처

A. 웹사이트 애플리케이션 공격 및 방어

1. XSS 공격, 크로스 사이트 스크립트(Cross Site Script)라고도 알려진 공격 방법은 해커가 웹 페이지를 변조하고, 악성 HTML 스크립트를 삽입하고, 사용자의 브라우저를 제어하여 사용자가 웹 페이지를 탐색할 때 악의적인 작업을 수행하는 공격 방법을 말합니다.

공격 유형 중 하나는 공격자가 공격 목적을 달성하기 위해 악성 스크립트가 포함된 링크를 클릭하도록 유도하는 유형입니다. XSS 공격. 해커는 공격받은 웹사이트의 데이터베이스에 요청을 저장하고, 사용자가 웹을 탐색할 때 공격 목적을 달성하기 위해 악성 스크립트를 포함시킵니다. 포럼이나 블로그와 같은 웹 애플리케이션에서 자주 사용됩니다.

예방 조치에는 위험한 문자를 치료하고 필터링하는 것이 포함되며, JS 페이지에서 HttpOnly 속성이 있는 쿠키에 액세스하는 것을 금지합니다

2. 주입 공격

은 SQL 주입과 OS 주입
SQL 주입으로 나뉩니다. 데이터베이스 구조 확보: 오픈 소스 소프트웨어 프로그램 사용, 오류 에코, 블라인드 주입
SQL 주입 방지: 소독, 매개변수 바인딩, 사전 컴파일 수단 사용, CSRF 공격

CSRF(Cross Site Request Forgery), 공격자는 Cross-Site 요청을 통해 합법적인 사용자로서 불법적인 작업을 수행합니다. 주요 방법은 크로스 사이트 요청을 이용해 사용자가 모르는 사이에 사용자의 신원으로 요청을 위조하고, 브라우저 쿠키나 서버 세션 정책을 이용해 사용자의 신원을 도용하는 것입니다.

예방: 양식 토큰, 인증 코드, Referer 확인(HTTP 요청 헤더의 Referer 필드에 기록된 요청 소스 확인)
4. 기타 공격 취약점

오류 코드: 오류 에코 , HTML 댓글, 파일 업로드, 경로 탐색

6. 웹사이트 보안 취약점 검사

2. 대칭 암호화: DES 알고리즘, RC 알고리즘 등 암호화에 동일한 키 사용

3. 비대칭 암호화: RSA 알고리즘

독립된 서버나 전용 하드웨어 장치에 키와 알고리즘을 배치하고 서비스 호출을 통해 데이터 암호화 및 복호화를 구현합니다.

복호화 알고리즘을 애플리케이션 시스템에 넣고 키를 독립된 서버에 넣습니다. 실제 보관 중에는 키의 보안을 고려하기 위해 키를 여러 조각으로 나누어 암호화한 후 다른 저장 매체에 저장합니다. 성능을 향상시키면서.

C. 정보 필터링 및 스팸 방지
소량의 콘텐츠는 정규식으로 대체 가능

있습니다. 단어가 많고 동시성이 높은 경우 Trie 트리 알고리즘(이중 배열 Trie 알고리즘)을 사용하여

텍스트 일치를 위한 해시 테이블을 구성합니다.
때로는 노이즈 감소 처리도 수행해야 합니다. , like "Arab_rab"
2. 분류 알고리즘: 베이지안 알고리즘, TAN 알고리즘, ARCS 알고리즘

3. 블랙리스트: 해시 테이블, Bloom 필터
D 전자상거래 위험 관리

1. 위험: 계정 위험, 구매자 위험, 판매자 위험, 거래 위험

2. 위험 제어

기계는 위험도가 높은 거래 및 정보를 자동으로 식별하여 수동 검토를 위해 위험 제어 감사자에게 보냅니다. 또한 새로운 기술과 방법을 통해 지속적으로 발견되고 있으며 점차 개선되고 있습니다.

규칙 엔진: 거래의 특정 지표가 특정 조건을 충족하면 사기 위험이 높은 것으로 간주됩니다.

통계 모델: 분류 알고리즘이나 더 복잡한 기계 학습 알고리즘을 사용하여 지능형 통계를 수행합니다. 과거 거래 내 부정거래 정보를 기반으로 분류 알고리즘을 학습시킨 후, 수집 및 처리된 거래 정보를 분류 알고리즘에 입력하여 거래 위험 점수를 획득합니다.
9. Taobao의 아키텍처 발전 사례 분석
2. 비즈니스는 기술의 지속적인 발전을 주도합니다

A.Wikipedia 웹사이트 전체 아키텍처:

LAMP+ 오픈 소스 제품, GeoDNS, LVS, Squid, Lighttpd, PHP, Memcached, Lucene, MySQL

B.Wikipedia 성능 최적화 전략

1 . 프론트엔드 성능 최적화

프론트엔드 아키텍처의 핵심은 리버스 프록시 서버 Squid 클러스터로, 이는 LVS에 의해 로드 밸런싱되고 리버스 프록시 이전에 CDN을 통해 반환됩니다.

Wikipedia CDN 캐싱 지침: 콘텐츠 페이지에는 동적 정보가 포함되어 있지 않습니다. 각 콘텐츠 페이지에는 HTML 응답 헤더에 기록된 고유한 REST 스타일 URL이 있습니다.

2. 성능 최적화: APC, Imagemagick, Tex를 사용하고, 보다 최적화된 알고리즘을 사용하기 위해 PHP의 문자열 검색 함수 starter()를 대체합니다.

3. 백엔드 성능 최적화:
caching

특히 집중된 데이터가 있는 핫스팟은 애플리케이션 서버의 로컬 메모리에 캐시된 데이터의 내용은 애플리케이션 서버에서 직접 사용할 수 있는 형식이어야 합니다. 캐시 서버를 사용하여 세션 개체를 저장하면 데이터베이스에 비해 영구 연결이 매우 저렴해집니다. 필요한 경우 하나

MySQL

더 큰 서버 메모리 사용
고액 액세스를 위해 RAID0 디스크 어레이 사용
데이터베이스 트랜잭션 일관성을 낮은 수준으로 설정
만약 마스터 데이터베이스가 다운되면 즉시 애플리케이션을 Salve 데이터베이스로 전환하고 쓰기 서비스를 종료하세요

11. 대용량 분산 스토리지 시스템 Doris의 고가용성 아키텍처 설계 분석

데이터 스토리지 시스템에서 고가용성은 고가용성 서비스, 고신뢰성 데이터

A. 스토리지 시스템 아키텍처

1. 중복성: 서버 핫 백업, 다중 데이터 스토리지

2. 전체 시스템 구분:

애플리케이션 서버: 스토리지 시스템의 클라이언트가 시스템에 데이터 작업 요청을 시작합니다.
데이터 스토리지 서버: 데이터를 저장하고 애플리케이션 서버의 데이터 작업 요청에 응답하는 스토리지 시스템의 핵심
관리 센터 서버: 두 개의 머신으로 구성된 소규모 서버 클러스터: 기본-액티브 핫 백업, 클러스터 관리, 데이터 스토리지 클러스터의 상태 하트비트 감지, 클러스터 주소 구성 정보 서비스 제공 등을 담당합니다.

1. 분산 스토리지 시스템의 오류 분류: 순간 오류, 임시 오류, 영구 오류2. 순간 오류 해결: 여러 번의 재시도

3. 임시 오류 해결: 수동 개입이 필요하며 문제가 있는 서버는 임시 저장소를 사용합니다. 서버

4. 영구 장애 해결: 영구적으로 장애가 발생한 서버를 대체할 수 있는 백업 서버 활성화

12. 온라인 쇼핑 플래시 판매 시스템 아키텍처 설계 사례 분석

A. 기존 웹사이트 사업, 높은 동시 애플리케이션, 데이터베이스 부하, 네트워크 및 서버 대역폭의 급격한 증가, 직접 주문

B. 플래시 세일 시스템에 대한 대책

플래시 세일 시스템의 독립적 배포

안정화 플래시 세일 상품 페이지
플래시 세일 활동을 위한 네트워크 대역폭 임대
동적으로 랜덤 주문 페이지 URL을 생성
C 플래시 세일 시스템 아키텍처 설계

1. 플래시 세일 상품 페이지 구매 버튼 조명: JS 파일 사용, 처음에 콘텐츠 수정, 매번 요청, CDN에 캐시되지 않음 등, 임의의 버전 번호 사용.

2. 처음 제출된 주문만 주문 하위 시스템으로 전송되도록 허용하는 방법: 주문 페이지의 입구를 제어하여 소수의 사용자만 들어갈 수 있도록 하고, 다른 사용자는 플래시 세일 종료 페이지로 직접 들어갈 수 있습니다. 예를 들어 10개의 서버가 있고 각각 10개의 요청을 처리하면 요청 수가 10개를 초과하면 다른 서버는 오류를 반환하고 첫 번째 서버인 경우 주문 페이지로 들어가게 됩니다. 나머지는 실패를 반환합니다.

13. 대형 웹사이트의 일반적인 실패 사례 분석

A. 로그를 작성하면 실패할 수도 있습니다

애플리케이션 자체 로그 출력 구성과 타사 구성 요소의 로그 출력을 별도로 구성해야 합니다

로그 구성 파일을 확인하고 로그를 가지고 놀아 보겠습니다. Michelle은 최소한 경고
일부 타사 구성 요소가 출력할 수 있는 너무 많은 오류 로그를 꺼야 한다고 생각합니다
B. 데이터베이스에 대한 높은 동시 액세스로 인해 발생하는 오류

홈페이지는 데이터베이스에 액세스해서는 안 됩니다

홈페이지는 정적이어야 합니다
C.C.C. 잠금 작업을 사용할 때는 주의하세요

D. 캐시 오류 발생

캐시 서버는 이미 웹 사이트 아키텍처의 필수적인 부분이므로 데이터베이스와 동일한 수준에서 관리해야 합니다

E. -동기화 응용 프로그램 시작

F. 대용량 파일 읽기 및 쓰기를 위한 전용 디스크 오류 발생

소용량 파일과 대용량 파일은 저장 공간을 공유하면 안 됨

G 프로덕션 환경을 악용하여 발생하는 오류

Be. 프로덕션 환경에 액세스할 때는 각별히 주의하시기 바랍니다. 데이터베이스는 전담 DBA에게 맡기세요

H. 불규칙한 프로세스로 인해 오류 발생

제출하면 안 되는 코드가 없는지 확인하려면 제출하기 전에 diff 명령을 사용하세요. 코드 검토를 강화하고, 제출 전에 최소한 한 명의 다른 엔지니어가 코드 검토를 수행하도록 하고 코드로 인한 실패에 대한 책임을 공유하십시오.

I. 나쁜 프로그래밍 습관으로 인한 실패

객체, null 값 등

14. 아키텍트 리더십

A. 제품보다 사람에 집중하세요

1. 좋아하는 일을 하는 훌륭한 사람들이 모여 성공합니다2 . 최고의 소프트웨어 관리는 프로젝트 팀원 각자의 뛰어난 잠재력을 탐색하는 것입니다

3. 함께 노력할 가치가 있는 목표를 찾고 모두가 자기 가치를 극대화할 수 있는 업무 분위기를 조성하세요

B. 사람의 탁월함

1. 사람이 만드는 것이 아니라 사람이 만드는 것이다

2. 우리를 포함한 대부분의 사람들은 당신이 생각하는 것보다 더 뛰어나다. 도전하는 것, 더 나은 사람들과 협력하는 것, 자신을 능가할 용기를 갖는 것

3. 사람의 재능을 발견하는 것 우수한 사람을 찾는 것보다 탁월함이 훨씬 더 의미가 있습니다

C 아름다운 청사진을 공유하는 것

1. 명확하게 명시됨: 제품이 수행할 작업, 수행하지 않을 작업, 달성할 비즈니스 목표

2. 청사진은 시각적이어야 합니다. 제품이 사용자를 위해 어떤 가치를 창출할 수 있는지, 어떤 시장 목표를 달성할 수 있는지, 제품이 최종적으로 어떤 모습을 보일지. 3. 청사진은 간단해야 합니다. 한 문장으로 설명하세요.

4. 건축가는 대상 청사진에 초점을 맞추고 청사진에서 벗어나는 설계와 결정에 주의를 기울여야 합니다. 필요한 변경 사항은 모두가 논의해야 하며 모두의 승인을 받아야 합니다. .

D. 건축에 함께 참여하세요

1. 건축가가 건축을 혼자 소유하게 두지 마세요

2. 프레임워크와 건축 문서를 다른 사람이 유지하도록 하세요

에 대한 의견. 아키텍처 및 기술 솔루션 기본적으로 이러한 솔루션에 주의를 기울이고 이해하고 수용하려고 노력합니다. 건축가는 너무 예민하지 말고 솔직하게 의견을 공유하고 차이점을 유보하면서 공통점을 찾아야 한다

2. 기술적인 사항에 대한 논쟁은 계속 논의하기보다는 즉시 확인해야 한다3. 모두가 건축에 대해 논의하지 않을 때, 그것은 드러난다. 아키텍처가 프로젝트에 통합되면 시스템과 개발자가 성공하고, 건축가가 빨리 잊혀질수록 아키텍처가 더 성공한다는 것

F. 다른 사람을 달성하세요

1. 2. Do 프로젝트는 고객을 위한 가치를 창출하고 회사를 위한 이익을 창출할 뿐만 아니라 프로젝트 구성원이 성장할 수 있도록 해야 합니다

3. 건축가는 프로젝트 과정에서 아무것도 통제하려고 하지 말고 유연한 계획을 세워야 합니다. 청사진이 발전할수록 팀이 스스로 책임져야 합니다

Fifteen. 웹사이트 건축가 취업 가이드

소프트웨어 개발의 목적은 현실 세계의 문제를 해결하지만 사람들은 실제 문제가 무엇인지 모르는 경우가 많습니다.

소프트웨어 개발 프로세스 중에도 많은 문제가 발생합니다. 가능한 최대의 지원을 얻으려면 모든 당사자의 이익을 조정해야 합니다. 고객 요구 사항, 소프트웨어 출력 및 관계 간의 균형을 유지해야 합니다. 많은 문제를 해결해야 합니다. 그래야만 소프트웨어 설계의 원래 청사진을 실현할 수 있습니다.

기대가 충족되지 않으면 사람들은 뭔가 잘못되었다고 느낄 것입니다. 문제는 경험과 기대 사이의 격차이기 때문입니다. 문제를 제거하는 방법에는 두 가지가 있습니다. 경험을 개선하거나 기대치를 낮추는 것입니다. 기대치를 낮추는 것만으로는 문제가 해결되지 않습니다. 오히려 기대치와 실제 경험의 차이를 직시해야 문제를 파악하고 돌파구를 찾을 수 있습니다.

3. 신입사원이 가장 먼저 해야 할 일은 자신의 능력을 입증하는 것입니다.

B. 질문하고 지원을 요청하세요.

1. 문제를 발견하면 문제 소유자가 아니라 문제를 찾는 사람의 문제입니다. 문제를 보자 소유자는 문제를 알고 있습니다.

2. 질문을 위한 팁:

"내 문제"를 "우리의 문제"로 표현하세요.

상사에게 폐쇄형 질문을 하세요(AB 계획을 제시하고 상사가 어느 쪽이 더 나은지 선택하도록 하세요). , 부하들에게 개방형 질문을 하세요

비난하기보다 문제를 지적하세요
합의적으로 질문하세요
3. 소위 솔직하다는 것은 자신이 하고 싶은 의도가 표현은 직설적이고 명확해야 합니다. 하지만 표현에 주의하고 당사자의 감정을 고려하세요
C. 문제를 해결하고 성과를 달성하세요

당신이 도와주세요. 다른 사람이 문제를 해결하면 다른 사람도 문제 해결을 도와줄 것입니다.

다른 사람의 문제 해결을 돕는 과정에서 당신은 상황에 익숙해집니다

당신 귀하의 솔루션을 사용하여 다른 사람의 문제를 해결하십시오. 이 솔루션은 귀하의 손에 있습니다. 통제하에 있습니다
2. 문제를 올바르게 피하십시오
16. 웹 사이트 설계자에게 이야기하기

A 설계자를 역할에 따라 나누기

디자인 건축가, 소방건축사, 전도사 Type Architect, Geek Type Architect

B. 건축가는 효과에 따라 구분됩니다

Sherpa Architect: 일반적으로 프로젝트에서 기술적으로 가장 어렵고 도전적인 모듈을 개발하는 Spartan Architect, High -순위 아키텍트

C. 아키텍트를 책임과 역할에 따라 나눈다

제품 아키텍트: 제품의 전체 라이프사이클에 관여하는 기본 서비스 아키텍트(플랫폼 아키텍트), 인프라 아키텍트

D. 계층적 분할에 집중하는 건축가

기능에만 집중하는 건축가, 비기능에 집중하는 건축가, 팀 구성과 관리에 집중하는 건축가, 제품 운영에 집중하는 건축가, 제품의 미래에 집중하는 건축가

E. 언론 입소문으로 건축가를 나눈다

최고의 건축가, 좋은 건축가, 보통의 건축가, 나쁜 건축가, 최악의 건축가

F. 비주류 건축가를 나누는 방식

일반 건축가, 문학건축가, 1+ 1 Architect

부록 A: 대규모 웹사이트 기술 개요

A. 프런트엔드 아키텍처

브라우저 최적화 기술, CDN, 정적 및 동적 분리, 정적 리소스의 독립적 배포, 이미지 서비스, 리플렉션 프록시 , DNS

B. 애플리케이션 계층 아키텍처

개발 프레임워크, 페이지 렌더링, 로드 밸런싱, 세션 관리, 동적 페이지 정적화, 비즈니스 분할, 가상화된 서버

C. 서비스 계층 아키텍처

분산 메시징, 분산 서비스, 분산 캐시, 분산 구성

D. 레이어 아키텍처

분산 파일, 관계형 데이터베이스, NoSQL 데이터베이스, 데이터 동기화

E. 백엔드 아키텍처

검색 엔진, 데이터 웨어하우스, 추천 시스템

F 데이터 수집(로그) 및 모니터링

브라우저 데이터 수집, 서버 업무 수집, 서버 성능 데이터 수집, 시스템 모니터링, 시스템 알람

G. 보안 아키텍처

웹 공격, 데이터 보호

H. 데이터 센터 전산실 아키텍처

컴퓨터실, 캐비닛, 서버

위 내용은 Mysql 대형 웹사이트 기술 아키텍처 핵심 사례 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!