인기없는 의견 : 그것은 좋은 데이터 과학자가되기보다 그 어느 때보 다 어렵다-일체 포함-php.cn

데이터 과학 및 AI 엔지니어링의 진화하는 환경 : 도전과 기회를 살펴보십시오

Genai (Genai)와 LLM (Lange Language Models)은 특히 데이터 과학 내에서 전문 세계를 재구성하고 있습니다. 이 Genai 중심 환경은 주목 받고 설립 된 데이터 과학자 모두에게 전례없는 과제를 제시합니다. 이 기사는 6 년 넘게 전통적인 ML 및 Genai와 함께 일한 통찰력과 경험을 공유하며 성공적인 데이터 과학자의 진화하는 역할에 대한 관점을 제공합니다.

면책 조항 :

아래의 일화는 가상화 될 수 있습니다

? 이 기사가 도움이되면 좋아하고 댓글을 달아주세요! 내 블로그에서 원래 게시물을 찾을 수도 있습니다. ? 인기없는 의견 : 데이터 과학자 역할은 그 어느 때보 다 더 까다 롭습니다.

"좋은"데이터 과학자 정의 <:> 챌린지 #1 : 높은 기대치, 제한된 데이터 및 전략 <:> 챌린지 #2 : AI 과대 광고 및 자체 선포 전문가 <:> 챌린지 #3 : 조직 전반의 일관되지 않은 데이터 과학 역할 <:> 챌린지 #4 : 지속적인 데이터 품질 문제 <:> 챌린지 #5 : 도메인 전문 지식에 대한 중요한 요구 <:> 챌린지 #6 : "OPS"풍경 탐색 (DataOps, Mlops, Aiops, Llmops) <:> 챌린지 #7 : 빠른 기술 발전에 적응 결론 참조

1. "좋은"데이터 과학자 정의

> "딥 러닝? 우리는 여기서 학습에 중점을두고 있습니다. 데이터 엔지니어링은 어디에 있는지입니다." - 가상 고용주, 2015

내 여정은 R과 SQL로 시작하여 북유럽 주식 시장 동향을 분석했습니다. 내가 공부 한 최첨단 딥 러닝은 펠트 월드를 멀리했습니다. 이제 LLM, Genai 및 에이전트 워크 플로우에 중점을 둡니다. 이러한 변화는 기존 ML/DL에서 생성 AI 및 LLM에 이르기까지 데이터 전문가에 대한 기대의 광범위한 진화를 반영합니다. "좋은"데이터 과학자의 정의가 확장되었습니다. A/B 테스트 및 통계 모델링에서 엔드 투 엔드 (E2E) ML 파이프 라인 소유권에 이르기까지 역할은 크게 다릅니다. 그러나 핵심 기술은 필수적입니다
내 논문은 빠른 변화의 시대에 성공하기위한 V 자형 스킬 셋을 강조합니다.

프로그래밍 및 시스템 개발

데이터 엔지니어링 비즈니스 아쿠멘 윤리적 고려 및 거버넌스

이 기초를 사용하여 현재의 도전을 탐구합시다

2. 챌린지 #1 : 높은 기대치, 제한된 데이터 및 전략

"우리는 AI, Genai, LLMS가 필요합니다! 경쟁 업체는 chatgpt를 사용하고 있습니다. 챗봇을 구축하십시오! 오, 첫 해에 대한 데이터가 없습니다. 개인 정보 보호 문제." - A 가상 관리자, 2023

ai는 많은 조직에서 최우선 과제입니다. Chatgpt의 부상은 "AI 중심"사업을 향한 서두를 촉발했습니다. LLM을 통해 AI를 통합하는 것은 쉬운 것처럼 보이지만 현실은 복잡합니다.

주요 과제는 기대와 현실 사이의 격차를 강조합니다

데이터 부족 : Unpopular Opinion: It’s Harder Than Ever to Be a Good Data Scientist 강력한 데이터 파이프 라인이 중요합니다. 데이터 과학자들은 종종 데이터 엔지니어링 리소스가 이러한 파이프 라인을 구축하기 위해 옹호하는 데 시간을 소비합니다. 또한 데이터는 종종 흩어져 있고 일관성이 없으며 구조적으로 제한되지 않습니다 데이터 전략 부족 :

명확한 전략이 필요합니다. 데이터 자체가 아니라. 여기에는 민감한 데이터를 다루고, 데이터 과학 노력을 비즈니스 목표와 조정하고, 데이터 중심 문화를 촉진하는 것이 포함됩니다. 이 없으면 데이터 과학자들은 관련없는 문제를 해결하거나 사용하지 않는 솔루션을 만듭니다.

AI 전략의 부재 :

많은 회사들이이를 위해 AI를 채택합니다. 정의 된 사용 사례와 ROI가있는 명확한 AI 전략이 필수적입니다.

이러한 과제는 AI 이니셔티브를 추구하기 전에 기본적인 지원의 필요성을 강조합니다. 3. 챌린지 #2 : AI 과대 광고 및 자체 선언 전문가

"Chatgpt는 2022 년 후반에 나왔습니다. 나는 5 개의 신속한 엔지니어링 과정을 수강했습니다 - 쉽습니다! 내 지역 모델이 작동하므로 확장합시다." - 가상의 비이 동료, 2024 AI 붐으로 인해 자체적으로 선언 된 전문가가 급증했습니다. LLM을 통한 AI의 상품화는 긍정적이지만 전문 지식도 희석됩니다. 신속한 엔지니어링 과정을 수강하면 누군가가 AI 전문가가되지 않습니다. 이 과대 광고는 도전을 만듭니다 :

자체 선언 된 전문가의 상승 : 진정한 전문 지식이 부족하면 진보를 방해 할 수 있습니다. 오정렬 된 기술 :

팀은 AI 도구 기술을 보유 할 수 있지만 모델을 제작, 미세 조정 및 효과적으로 배포 할 전문 지식이 부족합니다. 플러그 앤 플레이 솔루션에 대한

과잉 의존 :

액세스 가능하지만 이러한 솔루션은 종종 사용자 정의, 확장 성 및 주소 보안/규정 준수 문제가 부족합니다. LLM 기능의 오해 :

4. 도전 #3 : 조직 전반의 일관되지 않은 데이터 과학 역할

"데이터 과학자?
?이 SQL 쿼리에 도움을 줄 수 있습니까?" - 가상 동료, 2024 데이터 과학자 역할에는 명확한 정의가 부족합니다. 책임은 매우 다양합니다
제품 분석가 :

A/B 테스트, 사용자 행동 분석에 중점을 둡니다 데이터 엔지니어 :

데이터 파이프 라인 구축 및 유지 관리에 중점을 둡니다 머신 러닝 엔지니어 : Unpopular Opinion: It’s Harder Than Ever to Be a Good Data Scientist 전체 ML 모델 라이프 사이클에 중점을 둡니다.

이 불일치는 다음과 같습니다

직무 응용 프로그램 및 인터뷰 중 혼란 기술 과부하 및 번 아웃 : 다양한 지역에서 능숙해야한다는 압력. AI 엔지니어링으로의 전환 :
구직 과정에서의 선명도는 중요합니다 5. 도전 #4 : 지속적인 데이터 품질 문제 "데이터, 내 친구, 원수 및 파트너. LLM을 사용하여 합성 데이터를 생성해야합니까?" - 가상 데이터 과학자, 2024
쓰레기통, 쓰레기 아웃 (Gigo)은 여전히 중요한 문제로 남아 있습니다. 많은 회사는 데이터에 대한 포괄적 인 이해가 부족하여 데이터를 AI에 효과적으로 사용하는 데 어려움을 겪습니다.

"당신은 과학자가 아닌가? 금융과 법률에 관한 모든 것을 알고 있어야합니까? Chatgpt를 사용하십시오!" - 가상 도메인 전문가, 2022-2023

LLM은 강력하지만 깊은 도메인 전문 지식은 여전히 중요합니다. 도메인 전문가와의 협력은 다음과 같습니다
데이터 분석에서 종종 누락 된 컨텍스트 제공 모델 미세 조정 : 모델이 산업 표준과 일치하는지 확인 위험 완화 및 준수 : 민감한 부문의 규정 탐색 7. 챌린지 #6 : "OPS"풍경 탐색
"데이터 파이프 라인, 모델 배포, LLM 최적화 및 클라우드 인프라는 모델을 교육하고 싶었습니다!" - 가상 데이터 과학자, 2024 AI 시스템 운영이 중요합니다. DataOps, Mlops, AIOP 및 LLMOPS 이해 성공적인 생산 배포에는 필수적입니다.
8. 도전 #7 : 빠른 기술 발전에 적응하는

"새 라이브러리는 스택과 호환되지 않지만 더 빠릅니다. 적합하게 만들 것입니다." - A 가상의 엔지니어링 관리자, 2024
빠른 기술 변화 속도는 기회와 도전을 모두 제시합니다.
압도적 인 도구 선택 :
올바른 도구를 선택하는 데 어려움 조각화 및 통합 : 다른 시스템을 통합하는 데 어려움을 겪습니다
진화하는 기술 :
지속적인 학습 및 적응이 필요합니다
혁신 혁신 및 실용성 균형 : 진정한 혁신을 과대 광고와 구별합니다 프로그래밍 역할의 미래 : AI의 프로그래밍 작업을 자동화 할 수있는 잠재력.
9. 결론적 인 생각