백엔드 개발 파이썬 튜토리얼 영화 데이터 세트 탐색 및 시각화

영화 데이터 세트 탐색 및 시각화

Sep 11, 2024 pm 04:15 PM

소개

연습이 완벽을 만듭니다.

데이터 과학자라는 직업과 공통점이 많은 것. 이론은 방정식의 한 측면일 뿐입니다. 가장 중요한 측면은 이론을 실제로 적용하는 것입니다. 영화 데이터 세트를 연구하는 캡스톤 프로젝트를 개발하는 오늘의 전체 과정을 기록하도록 노력하겠습니다.

목표는 다음과 같습니다.
목표:

  1. Kaggle에서 영화 데이터세트를 다운로드하거나 TMDb API를 사용하여 검색하세요.
  2. 영화 장르, 평점, 감독 인기, 개봉 연도 동향 등 다양한 측면을 살펴보세요.
  3. 이러한 트렌드를 시각화하고 선택적으로 사용자 선호도에 따라 영화를 추천하는 대시보드를 만듭니다.

1. 데이터 수집
저는 Kaggle을 사용하여 데이터 세트를 찾기로 결정했습니다. 작업 중인 데이터 세트에 대해 원하는 중요한 변수를 염두에 두는 것이 중요합니다. 중요한 것은 내 데이터 세트에 개봉 연도 동향, 감독의 인기, 등급, 영화 장르가 포함되어야 한다는 것입니다. 결과적으로 내가 선택한 데이터세트에 최소한 다음 사항이 포함되어 있는지 확인해야 합니다.
내 데이터 세트는 Kaggle에 있었으며 아래 링크를 제공하겠습니다. 데이터 세트를 다운로드하고 압축을 풀고 추출하여 파일의 CSV 버전을 얻을 수 있습니다. 이를 통해 이미 가지고 있는 것을 이해하고 조사할 데이터에서 얻고자 하는 통찰력이 무엇인지 진정으로 깨달을 수 있습니다.

2. 데이터 설명

먼저 필수 라이브러리를 가져오고 필요한 데이터를 로드해야 합니다. 저는 코드를 더 효율적으로 작성하고 볼 수 있도록 프로젝트에 Python 프로그래밍 언어와 Jupyter Notebook을 사용하고 있습니다.
우리가 사용할 라이브러리를 가져와서 아래와 같이 데이터를 로드하게 됩니다.

Movie Dataset Exploration and Visualization

그런 다음 다음 명령을 실행하여 데이터세트에 대한 자세한 내용을 확인합니다.

data.head() # dispalys the first rows of the dataset.
data.tail() # displays the last rows of the dataset.
data.shape # Shows the total number of rows and columns.
len(data.columns)  # Shows the total number of columns.
data.columns # Describes different column names.
data.dtypes # Describes different data types.


로그인 후 복사

이제 우리는 데이터 세트가 무엇으로 구성되어 있는지, 그리고 필요한 모든 설명을 얻은 후 추출하려는 통찰력을 알고 있습니다. 예: 내 데이터세트를 사용하여 감독의 인기, 평점 분포, 영화 장르의 패턴을 조사하고 싶습니다. 또한 선호하는 감독, 장르 등 사용자가 선택한 선호도에 따라 영화를 추천하고 싶습니다.

3. 데이터 정리

이 단계에는 null 값을 찾아 제거하는 작업이 포함됩니다. 데이터 시각화를 계속 진행하기 위해 데이터 세트에서 중복 항목을 검사하고 발견된 항목을 모두 제거합니다. 이를 위해 다음 코드를 실행합니다.

1. data['show_id'].value_counts().sum() # Checks for the total number of rows in my dataset
2. data.isna().sum() # Checks for null values(I found null values in director, cast and country columns)
3. data[['director', 'cast', 'country']] = data[['director', 'cast', 'country']].replace(np.nan, "Unknown ") # Fill null values with unknown.
로그인 후 복사

그런 다음 알 수 없는 값이 있는 행을 삭제하고 해당 행이 모두 삭제되었는지 확인합니다. 또한 데이터를 정리한 남은 행 수도 확인합니다.

Movie Dataset Exploration and Visualization

다음 코드는 고유한 특성과 중복 항목을 찾습니다. 내 데이터세트에 중복된 항목이 없더라도 향후 데이터세트에 중복되는 경우를 대비해 활용해야 할 수도 있습니다.

data.duplicated().sum() # Checks for duplicates
data.nunique() # Checks for unique features
data.info # Confirms if nan values are present and also shows datatypes.
로그인 후 복사

제 날짜/시간 데이터 타입이 객체인데, 날짜/시간 형식이 맞는지 확인하고 싶어서 사용했습니다
data['date_ added']=data['date_add'].astype('datetime64[ms]')적절한 형식으로 변환하세요.

4. 데이터 시각화

  • 내 데이터 세트에는 TV 쇼와 영화라는 두 가지 유형의 변수가 있으며 막대 그래프를 사용하여 해당 변수가 나타내는 값과 함께 범주형 데이터를 표시했습니다.
    Movie Dataset Exploration and Visualization

  • 저도 위와 같은 내용을 파이차트(Pie Chart)로 표현했습니다. 사용된 코드는 다음과 같으며 예상되는 결과는 아래와 같습니다.

## Pie chart display
plt.figure(figsize=(8, 8))  
data['type'].value_counts().plot(
    kind='pie', 
    autopct='%1.1f%%',  
    colors=['skyblue', 'lightgreen'], 
    startangle=90, 
    explode=(0.05, 0) 
)
plt.title('Distribution of Content Types (Movies vs. TV Shows)')
plt.ylabel('')
plt.show()
로그인 후 복사

Movie Dataset Exploration and Visualization

  • 그런 다음 pd.crosstab(data.type, data.country)를 사용하여 출시 날짜, 국가 및 기타 요소를 기반으로 유형의 표 비교를 생성했습니다(코드에서 열을 변경해 볼 수 있음). 독립적으로). 다음은 사용할 코드와 예상되는 비교입니다. 또한 TV 쇼 제작에 앞장서는 상위 20개 국가를 확인하고 이를 막대 그래프로 시각화했습니다. 이미지의 코드를 복사하면 결과가 나와 거의 유사한지 확인할 수 있습니다.

Movie Dataset Exploration and Visualization

Movie Dataset Exploration and Visualization

  • I then checked for the top 10 movie genre as shown below. You can also use the code to check for TV shows. Just substitute with proper variable names.

Movie Dataset Exploration and Visualization

  • I extracted months and years separately from the dates provided so that I could visualize some histogram plots over the years.

Movie Dataset Exploration and Visualization

Movie Dataset Exploration and Visualization

Movie Dataset Exploration and Visualization

  • Checked for the top 10 directors with the most movies and compared them using a bar graph.

Movie Dataset Exploration and Visualization

  • Checked for the cast with the highest rating and visualized them.

Movie Dataset Exploration and Visualization

5. Recommendation System

I then built a recommendation system that takes in genre or director's name as input and produces a list of movies as per the user's preference. If the input cannot be matched by the algorithm then the user is notified.

Movie Dataset Exploration and Visualization

The code for the above is as follows:

def recommend_movies(genre=None, director=None):
    recommendations = data
    if genre:
        recommendations = recommendations[recommendations['listed_in'].str.contains(genre, case=False, na=False)]
    if director:
        recommendations = recommendations[recommendations['director'].str.contains(director, case=False, na=False)]
    if not recommendations.empty:
        return recommendations[['title', 'director', 'listed_in', 'release_year', 'rating']].head(10)
    else:
        return "No movies found matching your preferences."
print("Welcome to the Movie Recommendation System!")
print("You can filter movies by Genre or Director (or both).")
user_genre = input("Enter your preferred genre (or press Enter to skip): ")
user_director = input("Enter your preferred director (or press Enter to skip): ")
recommendations = recommend_movies(genre=user_genre, director=user_director)
print("\nRecommended Movies:")
print(recommendations)
로그인 후 복사

Conclusion

My goals were achieved, and I had a great time taking on this challenge since it helped me realize that, even though learning is a process, there are days when I succeed and fail. This was definitely a success. Here, we celebrate victories as well as defeats since, in the end, each teach us something. Do let me know if you attempt this.
Till next time!

Note!!
The code is in my GitHub:
https://github.com/MichelleNjeri-scientist/Movie-Dataset-Exploration-and-Visualization

The Kaggle dataset is:
https://www.kaggle.com/datasets/shivamb/netflix-shows

위 내용은 영화 데이터 세트 탐색 및 시각화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

<gum> : Bubble Gum Simulator Infinity- 로얄 키를 얻고 사용하는 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora : 마녀 트리의 속삭임 - Grappling Hook 잠금 해제 방법
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌
Nordhold : Fusion System, 설명
3 몇 주 전 By 尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

파이썬 : 게임, Guis 등 파이썬 : 게임, Guis 등 Apr 13, 2025 am 12:14 AM

Python은 게임 및 GUI 개발에서 탁월합니다. 1) 게임 개발은 Pygame을 사용하여 드로잉, 오디오 및 기타 기능을 제공하며 2D 게임을 만드는 데 적합합니다. 2) GUI 개발은 Tkinter 또는 PYQT를 선택할 수 있습니다. Tkinter는 간단하고 사용하기 쉽고 PYQT는 풍부한 기능을 가지고 있으며 전문 개발에 적합합니다.

Python vs. C : 학습 곡선 및 사용 편의성 Python vs. C : 학습 곡선 및 사용 편의성 Apr 19, 2025 am 12:20 AM

Python은 배우고 사용하기 쉽고 C는 더 강력하지만 복잡합니다. 1. Python Syntax는 간결하며 초보자에게 적합합니다. 동적 타이핑 및 자동 메모리 관리를 사용하면 사용하기 쉽지만 런타임 오류가 발생할 수 있습니다. 2.C는 고성능 응용 프로그램에 적합한 저수준 제어 및 고급 기능을 제공하지만 학습 임계 값이 높고 수동 메모리 및 유형 안전 관리가 필요합니다.

파이썬과 시간 : 공부 시간을 최대한 활용 파이썬과 시간 : 공부 시간을 최대한 활용 Apr 14, 2025 am 12:02 AM

제한된 시간에 Python 학습 효율을 극대화하려면 Python의 DateTime, Time 및 Schedule 모듈을 사용할 수 있습니다. 1. DateTime 모듈은 학습 시간을 기록하고 계획하는 데 사용됩니다. 2. 시간 모듈은 학습과 휴식 시간을 설정하는 데 도움이됩니다. 3. 일정 모듈은 주간 학습 작업을 자동으로 배열합니다.

Python vs. C : 성능과 효율성 탐색 Python vs. C : 성능과 효율성 탐색 Apr 18, 2025 am 12:20 AM

Python은 개발 효율에서 C보다 낫지 만 C는 실행 성능이 높습니다. 1. Python의 간결한 구문 및 풍부한 라이브러리는 개발 효율성을 향상시킵니다. 2.C의 컴파일 유형 특성 및 하드웨어 제어는 실행 성능을 향상시킵니다. 선택할 때는 프로젝트 요구에 따라 개발 속도 및 실행 효율성을 평가해야합니다.

Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Python Standard Library의 일부는 무엇입니까? 목록 또는 배열은 무엇입니까? Apr 27, 2025 am 12:03 AM

Pythonlistsarepartoftsandardlardlibrary, whileraysarenot.listsarebuilt-in, 다재다능하고, 수집 할 수있는 반면, arraysarreprovidedByTearRaymoduledlesscommonlyusedDuetolimitedFunctionality.

파이썬 : 자동화, 스크립팅 및 작업 관리 파이썬 : 자동화, 스크립팅 및 작업 관리 Apr 16, 2025 am 12:14 AM

파이썬은 자동화, 스크립팅 및 작업 관리가 탁월합니다. 1) 자동화 : 파일 백업은 OS 및 Shutil과 같은 표준 라이브러리를 통해 실현됩니다. 2) 스크립트 쓰기 : PSUTIL 라이브러리를 사용하여 시스템 리소스를 모니터링합니다. 3) 작업 관리 : 일정 라이브러리를 사용하여 작업을 예약하십시오. Python의 사용 편의성과 풍부한 라이브러리 지원으로 인해 이러한 영역에서 선호하는 도구가됩니다.

Python 학습 : 2 시간의 일일 연구가 충분합니까? Python 학습 : 2 시간의 일일 연구가 충분합니까? Apr 18, 2025 am 12:22 AM

하루에 2 시간 동안 파이썬을 배우는 것으로 충분합니까? 목표와 학습 방법에 따라 다릅니다. 1) 명확한 학습 계획을 개발, 2) 적절한 학습 자원 및 방법을 선택하고 3) 실습 연습 및 검토 및 통합 연습 및 검토 및 통합,이 기간 동안 Python의 기본 지식과 고급 기능을 점차적으로 마스터 할 수 있습니다.

Python vs. C : 주요 차이점 이해 Python vs. C : 주요 차이점 이해 Apr 21, 2025 am 12:18 AM

Python과 C는 각각 고유 한 장점이 있으며 선택은 프로젝트 요구 사항을 기반으로해야합니다. 1) Python은 간결한 구문 및 동적 타이핑으로 인해 빠른 개발 및 데이터 처리에 적합합니다. 2) C는 정적 타이핑 및 수동 메모리 관리로 인해 고성능 및 시스템 프로그래밍에 적합합니다.

See all articles