Vision Pro를 사용하여 실시간으로 로봇 개를 훈련시키세요! MIT 박사과정 학생의 오픈소스 프로젝트가 인기를 끌다
Vision Pro에는 또 하나의 핫한 새로운 플레이 방법이 있는데, 이번에는 구체화된 지능과 연동됩니다~
이렇게 MIT 친구는 Vision Pro의 핸드 트래킹 기능을 사용해 로봇견의 실시간 제어에 성공했습니다. .
문을 여는 등의 동작을 정확하게 얻을 수 있을 뿐만 아니라
지연도 거의 없습니다.
데모가 나오자마자 네티즌들은 구스걸을 칭찬했을 뿐만 아니라 다양한 체화지능 연구자들도 열광했습니다.
예를 들어 칭화 대학교의 박사 과정 학생은 다음과 같습니다.
어떤 사람들은 다음과 같이 대담하게 예측합니다. 이것이 우리가 차세대 기계와 상호 작용하는 방식입니다.
프로젝트 구현 방법을 저자인 박영효(박영효)님이 GitHub에 오픈소스로 공개했습니다. 관련 앱은 Vision Pro의 App Store에서 직접 다운로드할 수 있습니다.
Vision Pro를 사용하여 로봇 개 훈련시키기
저자가 개발한 앱인 Tracking Steamer를 자세히 살펴보겠습니다.
이름에서 알 수 있듯이 이 애플리케이션은 Vision Pro를 사용하여 인간의 움직임을 추적하고 이러한 움직임 데이터를 동일한 Wi-Fi를 사용하는 다른 로봇 장치에 실시간으로 전송하도록 설계되었습니다.
모션 추적 부분은 주로 Apple의 ARKit 라이브러리에 의존합니다.
머리 추적은 queryDeviceAnchor를 호출합니다. 사용자는 Digital Crown을 길게 눌러 헤드 프레임을 현재 위치로 재설정할 수 있습니다.
손목 및 손가락 추적은 HandTrackingProvider를 통해 구현됩니다. 지면 프레임을 기준으로 왼쪽 및 오른쪽 손목의 위치와 방향을 추적할 수 있을 뿐만 아니라 손목 프레임을 기준으로 각 손의 25개 손가락 관절의 자세를 추적할 수 있습니다.
네트워크 통신 측면에서 이 앱은 gRPC를 네트워크 통신 프로토콜로 사용하여 데이터를 스트리밍합니다. 이를 통해 Linux, Mac 및 Windows 장치를 포함한 더 많은 장치에 데이터를 구독할 수 있습니다.
또한 데이터 전송을 용이하게 하기 위해 저자는 개발자가 프로그래밍 방식으로 Vision Pro에서 스트리밍되는 추적 데이터를 구독하고 수신할 수 있는 Python API도 준비했습니다.
API가 반환하는 데이터는 머리, 손목, 손가락의 SE(3) 자세 정보, 즉 3차원 위치와 방향을 포함하여 사전 형태입니다. 개발자는 로봇에 대한 추가 분석 및 제어를 위해 Python에서 이 데이터를 직접 처리할 수 있습니다.
많은 전문가들이 지적한 것처럼, 로봇개의 움직임이 여전히 인간에 의해 제어되는지 여부에 관계없이 실제로는 모방 학습 알고리즘과 결합된 "제어" 자체에 비해 인간이 더 많은 능력을 발휘합니다. 이 과정은 로봇 트레이너와 같습니다.
Vision Pro는 사용자의 움직임을 추적하여 직관적이고 간단한 상호 작용 방법을 제공하므로 전문가가 아니더라도 정확한 로봇 훈련 데이터를 제공할 수 있습니다.
저자 자신도 논문에 다음과 같이 썼습니다.
가까운 미래에 사람들은 Vision Pro와 같은 장치를 일상용 안경처럼 착용할 수도 있습니다. 이 과정에서 우리가 얼마나 많은 데이터를 수집할 수 있는지 상상해보세요!
이는 인간이 현실 세계와 상호 작용하는 방식을 로봇이 학습할 수 있는 유망한 데이터 소스입니다.
마지막으로, 이 오픈 소스 프로젝트를 시도하고 싶다면 Vision Pro 외에 다음 사항도 준비해야 한다는 점을 알려드립니다.
- Apple 개발자 계정
- Vision Pro 개발자 액세서리(개발자 스트랩, 가격 $299)
- Xcode가 설치된 Mac 컴퓨터
글쎄, Apple은 여전히 먼저 수익을 내야 하는 것 같습니다.
프로젝트 링크:https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
위 내용은 Vision Pro를 사용하여 실시간으로 로봇 개를 훈련시키세요! MIT 박사과정 학생의 오픈소스 프로젝트가 인기를 끌다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
AI Hentai Generator
AI Hentai를 무료로 생성하십시오.
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7526
15
1378
52
81
11
54
19
21
74
인코더-디코더 아키텍처를 버리고 더 나은 결과를 얻기 위해 확산 모델을 사용하여 더 나은 결과를 얻었습니다.
Feb 07, 2024 pm 10:12 PM
현재 딥 에지 감지 네트워크는 일반적으로 다중 레벨 기능을 더 잘 추출하기 위해 업 및 다운 샘플링 모듈을 포함하는 인코더-디코더 아키텍처를 채택합니다. 그러나 이 구조는 정확하고 상세한 에지 감지 결과를 출력하기 위해 네트워크를 제한합니다. 이 문제에 대한 대응으로 AAAI2024에 대한 논문이 새로운 솔루션을 제공합니다. 논문 제목: DiffusionEdge:DiffusionProbabilisticModelforCrispEdgeDetection 저자: Ye Yunfan(국방기술대학교), Xu Kai(국립국방기술대학교), Huang Yuxing(국립국방기술대학교), Yi Renjiao(국립국방기술대학교), Cai Zhiping (국방기술대학교) 논문링크 : https://ar
오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정!
Apr 03, 2024 pm 12:04 PM
0. 이 글은 어떤 내용을 담고 있나요? 우리는 다재다능하고 빠른 최첨단 생성 단안 깊이 추정 모델인 DepthFM을 제안합니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다. 이 작품을 함께 읽어보아요~ 1. 논문 정보 제목: DepthFM: FastMoncularDepthEstimationwithFlowMatching 저자: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr
Tongyi Qianwen은 다시 오픈 소스이며 Qwen1.5는 6개 볼륨 모델을 제공하며 성능은 GPT3.5를 초과합니다.
Feb 07, 2024 pm 10:15 PM
봄 축제에 맞춰 Tongyi Qianwen Large Model(Qwen) 버전 1.5가 온라인에 출시되었습니다. 오늘 아침, 새 버전 소식이 AI 커뮤니티의 이목을 끌었습니다. 대형 모델의 새 버전에는 0.5B, 1.8B, 4B, 7B, 14B 및 72B의 6가지 모델 크기가 포함됩니다. 그 중 가장 강력한 버전의 성능은 GPT3.5와 Mistral-Medium을 능가합니다. 이 버전에는 기본 모델과 채팅 모델이 포함되어 있으며 다국어 지원을 제공합니다. Alibaba의 Tongyi Qianwen 팀은 관련 기술이 Tongyi Qianwen 공식 웹사이트와 Tongyi Qianwen 앱에도 출시되었다고 밝혔습니다. 또한 오늘의 Qwen 1.5 릴리스에는 다음과 같은 주요 기능이 있습니다. 32K 컨텍스트 길이를 지원하고 Base+Chat 모델의 체크포인트를 엽니다.
대형 모델도 슬라이스할 수 있으며 Microsoft SliceGPT는 LLAMA-2의 계산 효율성을 크게 높입니다.
Jan 31, 2024 am 11:39 AM
LLM(대형 언어 모델)은 일반적으로 수십억 개의 매개변수를 가지며 수조 개의 토큰에 대해 훈련됩니다. 그러나 이러한 모델은 훈련하고 배포하는 데 비용이 매우 많이 듭니다. 계산 요구 사항을 줄이기 위해 다양한 모델 압축 기술이 종종 사용됩니다. 이러한 모델 압축 기술은 일반적으로 증류, 텐서 분해(낮은 순위 인수분해 포함), 가지치기 및 양자화의 네 가지 범주로 나눌 수 있습니다. 가지치기 방법은 한동안 사용되어 왔지만 성능을 유지하기 위해 가지치기 후 RFT(복구 미세 조정)가 필요한 경우가 많아 전체 프로세스에 비용이 많이 들고 확장이 어렵습니다. ETH Zurich와 Microsoft의 연구원들은 SliceGPT라는 이 문제에 대한 솔루션을 제안했습니다. 이 방법의 핵심 아이디어는 가중치 행렬에서 행과 열을 삭제하여 네트워크의 임베딩을 줄이는 것입니다.
안녕하세요, 일렉트릭 아틀라스입니다! 보스턴 다이나믹스 로봇 부활, 180도 이상한 움직임에 겁먹은 머스크
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다
업데이트된 Point Transformer: 더욱 효율적이고 빠르며 강력해졌습니다!
Jan 17, 2024 am 08:27 AM
원제목: PointTransformerV3: Simpler, Faster, Stronger 논문 링크: https://arxiv.org/pdf/2312.10035.pdf 코드 링크: https://github.com/Pointcept/PointTransformerV3 저자 단위: HKUSHAILabMPIPKUMIT 논문 아이디어: 이 기사는 다음과 같습니다. 관심 메커니즘 내에서 혁신 추구에 게시할 의도가 없습니다. 대신, 포인트 클라우드 처리 맥락에서 정확성과 효율성 간의 기존 균형을 극복하기 위해 규모의 힘을 활용하는 데 중점을 둡니다. 3D 대규모 표현 학습의 최근 발전에서 영감을 얻고,
Sora 'Ke Ling'의 Kuaishou 버전이 테스트용으로 공개되었습니다. 120초가 넘는 비디오를 생성하고 물리학을 더 잘 이해하며 복잡한 움직임을 정확하게 모델링할 수 있습니다.
Jun 11, 2024 am 09:51 AM
무엇? 주토피아는 국내 AI로 현실이 되는 걸까? 영상과 함께 노출된 것은 '켈링'이라는 국산 대형 영상세대 신형 모델이다. Sora는 유사한 기술 경로를 사용하고 자체 개발한 여러 기술 혁신을 결합하여 크고 합리적인 움직임뿐만 아니라 물리적 세계의 특성을 시뮬레이션하고 강력한 개념적 결합 능력과 상상력을 갖춘 비디오를 제작합니다. 데이터에 따르면 Keling은 최대 1080p의 해상도로 30fps에서 최대 2분의 초장 영상 생성을 지원하며 다양한 화면비를 지원합니다. 또 다른 중요한 점은 Keling이 실험실에서 공개한 데모나 비디오 결과 시연이 아니라 단편 비디오 분야의 선두주자인 Kuaishou가 출시한 제품 수준 애플리케이션이라는 점입니다. 더욱이 백지 작성이 아닌 실용성에 중점을 두고, 출시되자마자 온라인에 진출하는 데 중점을 두고 있다. 콰이잉에서는 커링의 대형 모델이 출시됐다.
초지능의 생명력이 깨어난다! 하지만 자동 업데이트 AI가 등장하면서 엄마들은 더 이상 데이터 병목 현상을 걱정할 필요가 없습니다.
Apr 29, 2024 pm 06:55 PM
세상은 미친 듯이 큰 모델을 만들고 있습니다. 인터넷의 데이터만으로는 충분하지 않습니다. 훈련 모델은 '헝거게임'처럼 생겼고, 전 세계 AI 연구자들은 이러한 데이터를 탐식하는 사람들에게 어떻게 먹이를 줄지 고민하고 있습니다. 이 문제는 다중 모드 작업에서 특히 두드러집니다. 아무것도 할 수 없던 시기에, 중국 인민대학교 학과의 스타트업 팀은 자체 새로운 모델을 사용하여 중국 최초로 '모델 생성 데이터 피드 자체'를 현실화했습니다. 또한 이해 측면과 생성 측면의 두 가지 접근 방식으로 양측 모두 고품질의 다중 모드 새로운 데이터를 생성하고 모델 자체에 데이터 피드백을 제공할 수 있습니다. 모델이란 무엇입니까? Awaker 1.0은 중관촌 포럼에 최근 등장한 대형 멀티모달 모델입니다. 팀은 누구입니까? 소폰 엔진. 런민대학교 힐하우스 인공지능대학원 박사과정 학생인 Gao Yizhao가 설립했습니다.
