Python 데이터 분석을 위해 어떤 수학을 배워야 합니까?

내가 배운 수학적 지식이 어떤 도움이 될지 모르기 때문이다. IT 기업의 R&D 인력은 빅데이터 관련 직위에 들어가기 전에 수학을 좀 배워야 한다고 늘 느낀다. 하지만 광활한 수학의 세계에서 데이터 기술의 끝은 어디일까?

데이터 기술에 관해 많은 사람들이 가장 먼저 생각하는 것은 수학입니다. 아마도 수학 시스템에서 숫자가 차지하는 확고한 위치 때문일 것입니다. 이는 자연스러운 일입니다. 이 기사에서는 데이터 기술의 수학적 기초에 대해 몇 가지 논의를 진행합니다. (추천 학습: Python 동영상 튜토리얼)

우리는 수학의 세 가지 주요 분야, 즉 대수학, 기하학, 분석학을 알고 있습니다. 각 분야는 연구의 발전에 따라 많은 작은 분야로 확장됩니다. 본 수학적 체계에서 빅데이터 기술과 밀접하게 관련된 수학적 기초는 주로 다음과 같은 범주를 포함한다. (이러한 수학적 방법을 빅데이터 기술에 적용하는 방법은 2017년 칭화대학교 출판부 "인터넷 빅데이터 처리 기술 및 응용" 도서를 참고하세요)

(1) 확률이론과 수리통계

이 부분 빅데이터와 관련되어 있다. 데이터 기술의 발전은 조건부 확률과 독립성, 확률변수와 그 분포, 다차원 확률변수와 그 분포, 분산분석과 회귀분석, 확률론적 과정(특히 마르코프), 매개변수 추정, 베이즈 이론 등 빅데이터 모델링과 마이닝에서는 매우 중요합니다. 빅데이터는 본질적으로 고차원적인 특성을 가지고 있습니다. 고차원 공간에서 데이터 모델을 설계하고 분석하려면 다차원 확률 변수와 그 분포에 대한 일정한 기반이 필요합니다. 베이즈 정리는 분류기 구성의 기초 중 하나입니다. 이러한 기본 지식 외에도 조건부 랜덤 필드 CRF, 잠재 마르코프 모델, n-gram 등을 활용하여 빅데이터 분석에서 어휘 및 텍스트를 분석하고 예측 분류 모델을 구축할 수 있습니다.

물론 빅데이터 분석에서는 확률론에 기초한 정보이론도 일정한 역할을 합니다. 정보 획득, 상호 정보 등의 특징 분석 방법은 모두 정보 이론의 개념입니다.

(2) 선형대수학

수학적 지식의 이 부분은 또한 데이터 기술, 행렬, 전치, 순위 블록 행렬, 벡터, 직교 행렬, 벡터 공간, 고유값 및 고유벡터의 개발과 밀접한 관련이 있습니다. 또한 빅 데이터 모델링 및 분석에서 일반적으로 사용되는 기술적 수단입니다.

인터넷 빅데이터에서 많은 응용 시나리오의 분석 개체는 수많은 웹 페이지와 그 관계, Weibo 사용자와 그 관계, 텍스트 세트의 텍스트와 어휘 간의 관계 등으로 추상화될 수 있습니다. 모두 행렬로 표현될 수 있습니다. 예를 들어, 웹 페이지와 그 관계가 행렬로 표현될 때 행렬 요소는 페이지 a와 다른 페이지 b 사이의 관계를 나타냅니다. 이 관계는 포인팅 관계일 수 있습니다. 1은 a와 b 사이에 하이퍼링크가 있음을 의미하고, 0은 a, b 사이에 하이퍼링크가 없음을 의미합니다. 유명한 PageRank 알고리즘은 이 매트릭스를 기반으로 페이지의 중요성을 정량화하고 수렴을 증명합니다.

행렬 분해와 같은 행렬 기반의 다양한 연산은 분석 대상의 특징을 추출하는 방법입니다. 행렬은 특정 변환이나 매핑을 나타내기 때문에 분해 후 얻은 행렬은 새로운 공간의 분석 대상을 나타냅니다. . 따라서 특이값 분해 SVD, PCA, NMF, MF 등이 빅데이터 분석에 널리 사용됩니다.

(3) 최적화 방법

모델 학습 및 훈련은 많은 분석 마이닝 모델이 매개변수를 해결하는 방법입니다. 기본 문제는 함수 f:A→R이 주어지면 요소 a0∈A를 찾는 것입니다. A의 모든 a에 대해 f(a0) ≤f(a)(최소화) 또는 f(a0)≥f(a)(최대화)입니다. 최적화 방법은 함수의 형태에 따라 달라지는데, 현재 관점에서 볼 때 최적화 방법은 일반적으로 경사하강법, 언덕등반법, 최소제곱법, 공액분포법 등과 같은 미분법과 미분법을 기반으로 합니다.

(4) 이산 수학

이산 수학의 중요성은 자명합니다. 이는 컴퓨터 과학의 모든 분야의 기초이며 당연히 데이터 기술의 중요한 기초입니다. 여기서는 확장되지 않습니다.

마지막으로 많은 사람들이 자신이 수학을 잘하지 못하고 데이터 기술을 개발하고 적용하는 데 능숙하지 않다고 생각하지만 사실은 그렇지 않다는 점을 언급할 필요가 있습니다. 빅데이터 개발 및 적용에서 자신이 어떤 역할을 하는지 명확하게 생각해 보세요. 빅데이터 기술 연구 및 적용을 위해서는 다음 진입점을 참조하세요. 위의 수학적 지식은 주로 데이터 마이닝 및 모델 계층에 반영됩니다.

물론 다른 수준에서도 이러한 수학적 방법을 사용하는 것은 알고리즘을 개선하는 데 매우 의미가 있습니다. 예를 들어 데이터 수집 계층에서는 확률 모델을 사용하여 크롤러가 수집한 페이지의 값을 추정할 수 있습니다. , 더 나은 판단을 내리기 위해. 빅 데이터 컴퓨팅 및 저장 계층에서는 매트릭스 블록 컴퓨팅을 사용하여 병렬 컴퓨팅을 구현합니다.

더 많은 Python 관련 기술 기사를 보려면 Python Tutorial 칼럼을 방문하여 알아보세요!

위 내용은 Python 데이터 분석을 위해 어떤 수학을 배워야 합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!