NVIDIA ابزارهای جدید و به روز شده را برای توسعه دهندگان فیزیکی هوش مصنوعی منتشر می کند

امروز در GTC Taipei و Computex، NVIDIA Corp چندین مهارت و ابزار{1}منبع باز هوش مصنوعی را برای کمک به توسعه دهندگان رباتیک، وسایل نقلیه خودران، هوش مصنوعی بصری و دوقلوهای دیجیتال صنعتی معرفی کرد. این شرکت ادعا کرد که آنها می توانند به کاهش هزینه ها، زمان و پیچیدگی ساخت جریان های کاری هوش مصنوعی فیزیکی در مقیاس کمک کنند.

موجود به عنوان بخشی ازNVIDIA Agent Toolkitبه گفته این شرکت، مهارت‌های جدید به عوامل هوش مصنوعی امکان سرعت بخشیدن به تولید داده، شبیه‌سازی، آموزش، ارزیابی و استقرار خطوط لوله در پشت روبات‌ها، وسایل نقلیه خودران (AVs)، کارخانه‌ها و آزمایشگاه‌ها را می‌دهند.

جنسن هوانگ، بنیانگذار و مدیر عامل NVIDIA در GTC Taipei می گوید: «عوامل AI در حال تحول در توسعه نرم افزار هستند و این تغییر اکنون به هوش مصنوعی فیزیکی می رسد و به سیستم هایی گسترش می یابد که حمل و نقل، تولید، مراقبت های بهداشتی و روباتیک را متحول می کند. زمانی که نمایندگان بتوانند مستقیماً از کتابخانه‌ها، مدل‌ها و چارچوب‌های NVIDIA استفاده کنند، توسعه هوش مصنوعی سریع‌تر پیش می‌رود و توسعه‌دهندگان را قادر می‌سازد تا ربات‌ها، وسایل نقلیه خودران و سیستم‌های صنعتی آینده را با سرعتی باورنکردنی بسازند.»

Rev Lebaredian، معاون شبیه‌سازی هوش مصنوعی فیزیکی در NVIDIA، خاطرنشان کرد: «هوش مصنوعی به حجم عظیمی از داده‌های آموزشی در محیط‌های مختلف نیاز دارد. "اطلاعات از راه دور، شبیه‌سازی، و داده‌های مقیاس اینترنت-به مدل‌های بنیاد جهانی برای موارد استفاده از تنوع بی‌نهایت منجر می‌شوند."

NVIDIA عامل پشته هوش مصنوعی فیزیکی-را آماده می‌کند

NVIDIA گفت که با تبدیل کتابخانه‌ها، مدل‌ها و چارچوب‌ها به ابزارهای قابل فراخوانی{0}عامل، کل پشته هوش مصنوعی فیزیکی خود را برای عوامل بهینه می‌کند. این شامل:

NVIDIA Cosmos3 مدل بنیاد جهانی برای استدلال و تولید دنیای فیزیکی

NVIDIA Omniverseکتابخانه های شبیه سازی و دوقلوهای دیجیتال

NVIDIA Isaacبرای شبیه سازی رباتیک و یادگیری ربات

NVIDIA Metropolisبرای ویژن AI

NVIDIA Alpamayoبرایرانندگی مستقل

NVIDIA Jetsonپلتفرم برای توسعه هوش مصنوعی لبه

لباردیان گفت: «کیهان 3 مدل پایه مرزی برای هوش مصنوعی فیزیکی است. "این فیلم ها و متن ها را درک می کند و می تواند موارد مهم را علامت گذاری کند. Cosmos یک شبیه سازی فیزیکی دقیق است و قادر است اتفاقات بعدی را پیش بینی کند و اقداماتی را ایجاد کند."

برای کمک به اعمال این ابزارها، NVIDIA در حال راه اندازی استمهارت های جدیدتبدیل فرآیندهای توسعه هوش مصنوعی فیزیکی به دستورالعمل‌های تکرارپذیر که عوامل کدگذاری می‌توانند از آن پیروی کنند. این شامل ابزارهایی است که باید فراخوانی شوند، چه خروجی هایی باید تولید شوند و چگونه توسعه دهندگان می توانند نتایج را تأیید کنند.

توسعه‌دهندگان همچنین می‌توانند با استفاده از این مهارت‌ها، عوامل مستقلی را با خیال راحت بسازند و مستقر کنندNVIDIA NemoClawنقشه وNVIDIA OpenShellزمان اجرا، که امنیت و حریم خصوصی مبتنی بر سیاست{0}} را بر روی سخت افزار محلی یا ابری ارائه می کند. Lebaredian گفت که عوامل در لبه Jetson اجرا خواهند شد و قبلاً بهبودهایی را در uptime نشان داده اند.

NVIDIA گفت که مهارت‌ها و ابزارهای فیزیکی هوش مصنوعی آن، توسعه عامل را در سراسر جهان تسریع می‌کنند:

رباتیک و هوش مصنوعی لبه:توسعه‌دهندگان ربات می‌توانند از مهارت‌هایی برای تسریع در کل خط لوله توسعه رباتیک، از تولید داده‌های آموزش درک و تحرک گرفته تا شبیه‌سازی، خودکارسازی آموزش ناوبری، پیشرفت یادگیری ربات، و تنظیم سیستم‌های لبه مبتنی بر Jetson- برای استقرار استفاده کنند.

وسایل نقلیه خودران:برای توسعه‌دهندگان AV، مهارت‌ها می‌توانند عوامل را به بازسازی داده‌های گرفته‌شده توسط ناوگان در محیط‌های شبیه‌سازی هدایت کنند، سناریوهای رانندگی واقعی را در مقیاس تولید کنند، و یادگیری تقویتی حلقه بسته را برای گسترش پوشش آموزشی و ارزیابی اجرا کنند.

عوامل-هوش مصنوعی با دید واقعی:برای بازرسی خودکار و هوش ویدیویی، NVIDIA گفت که مهارت‌های عاملش می‌تواند به تیم‌ها کمک کند داده‌های آموزشی مصنوعی،-مدل‌ها را تنظیم کنند، برچسب‌گذاری خودکار، و عوامل هوش مصنوعی ویدیویی بسازند که ویدیوهای زنده یا ضبط‌شده را جستجو، خلاصه و تجزیه و تحلیل کنند.

هوش مصنوعی صنعتی:توسعه‌دهندگان نرم‌افزار صنعتی می‌توانند از این مهارت‌ها برای تبدیل داده‌های مهندسی به دارایی‌های طراحی به کمک رایانه (CAD) برای شبیه‌سازی دوقلوی دیجیتال، بهینه‌سازی صحنه‌های OpenUSD بزرگ با تنظیم دستی کمتر استفاده کنند.

بهداشت و درمان:قبل از استقرار اتوماسیون در محیط‌های بالینی، تیم‌های مراقبت بهداشتی می‌توانند عوامل را از طریق ایجاد دوقلوهای دیجیتالی محیط‌های بیمارستانی، سیم‌سازی-به-تولید واقعی داده‌ها، و نرم‌افزار-در--آزمایش خط‌مشی حلقه راهنمایی کنند.

به گفته انویدیا، این مهارت ها را می توان با سیستم های عامل بزرگتر ترکیب و ادغام کرد. این به توسعه دهندگان امکان می دهد تا گردش های کاری پیچیده مانند تولید داده، شبیه سازی، بهینه سازی، تنظیم استنتاج، ارزیابی مستمر و غیره را هماهنگ و خودکار کنند.

توسعه دهندگان رباتیک پشته هوش مصنوعی فیزیکی را انتخاب می کنند

1X Technologies، Agile Robots، Agility، FieldAI، Hexagon Robotics، NEURA Robotics، Skild AI، و Universal Robots از جمله شرکت‌های روباتیکی هستند که قبلاً از پشته هوش مصنوعی آماده انویدیا استفاده می‌کنند.

Lebaredian گفت: «با به‌روزرسانی‌های پشته‌ای در NVIDIA Isaac GR00T، می‌توان جریان‌های کاری جدید-تا-پایان را در چند ساعت در مقابل هفته تنظیم کرد. "Omni-modal" به این معنی است که با حالت‌های مختلف - ویدئو، حسگرها، متن و صدا برای ورودی‌ها و خروجی‌های اقدام کار می‌کند."

علاوه بر این، Foxconn و Compal از NVIDIA Isaac for Healthcare برای سرعت بخشیدن به رباتیک بیمارستان ها استفاده می کنند. Compal در حال پیشبرد روند توسعه ربات PolyMedX خود به سمت یک پلت فرم هماهنگ سازی گسترده بیمارستانی است که شبیه سازی، هوش مصنوعی و عملیات های دنیای واقعی را ادغام می کند.

Foxconn در حال گسترش Nurabot در چندین بیمارستان و محیط‌های مراقبت طولانی‌مدت-، رباتیک-با هوش مصنوعی برای مراقبت از بیمار است، و همچنین ربات جدید Scrub Nurse را برای کمک به بهینه‌سازی گردش کار اتاق عمل معرفی می‌کند.

رهبران صنعت با فناوری‌های NVIDIA می‌سازند

شرکا و مشتریان NVIDIA در بخش های تولید، حمل و نقل، مراقبت های بهداشتی و نرم افزارهای صنعتی از کتابخانه های فیزیکی هوش مصنوعی آن برای پیشبرد توسعه سیستم های مستقل و هوش مصنوعی صنعتی استفاده می کنند.

وقتی این کتابخانه‌ها آماده-عامل می‌شوند، توسعه‌دهندگان می‌توانند از مهارت‌های NVIDIA برای کمک به عامل‌ها برای خودکارسازی راه‌اندازی، اجرا و تکرار در جریان‌های کاری پیچیده فیزیکی هوش مصنوعی استفاده کنند.

در تولید لوازم الکترونیکی، TSMC و Pegatron مدل‌های بازرسی بصری{0}} را به خوبی تنظیم می‌کنند. گزارش شده است که Pegatron با استفاده از داده های مصنوعی تولید شده از مهارت Defect Image Generation، زمان آموزش و استقرار مدل را تا 67 درصد کاهش داد.

Delta Electronics داده‌های نقص مصنوعی تولید کرد و از این مهارت برای گرفتن لحیم کاری اضافی روی شینه‌های فلزی استفاده کرد و نرخ تشخیص را تا 17% بهبود بخشید. Inventec خط لوله بازرسی بصری Observation Agent خود را با ادغام مهارت Defect Image Generation توسعه داد و تلاش جمع آوری داده های نقص را برای تولید شاسی لپ تاپ تا 30% کاهش داد.

فاکسکان، با همکاری DeepHow، از این مهارت برای بهبود کارایی تولید با تشخیص زودهنگام خطاها استفاده کرد و بازده پاس اول را تا حدود 3 درصد افزایش داد.

در هوش مصنوعی صنعتی، Cadence، Dassault Systèmes، Siemens و Synopsys از کتابخانه ها و مهارت های NVIDIA Omniverse برای بازرسی داده های مهندسی، شبیه سازی و دوقلوهای دیجیتال تعاملی استفاده می کنند. PTC، MetAI و Lightwheel از چارچوب NVIDIA Isaac Sim و گردش‌های کاری مبتنی بر OpenUSD{1}}برای تبدیل داده‌های CAD به دارایی‌ها و محیط‌های آماده برای شبیه‌سازی{2}}استفاده می‌کنند.

به عنوان بخشی از نقشه راه "Autonomous Fab 2030"، SK hynix در حال پیاده سازی دوقلوهای دیجیتال نیمه هادی fab با استفاده از NVIDIA Omniverse است. سازنده تراشه همچنین با NVIDIA و SK Telecom همکاری می‌کند تا ابزار NVIDIA Agent Toolkit را برای تولید-هوش مصنوعی فیزیکی خاص تأیید کند.

توسعه‌دهندگان خود{0} Li Auto، Afari، و DeepRoute.ai از مدل‌های NVIDIA Omniverse NuRec برای بازسازی و رندر صحنه عصبی استفاده می‌کنند. آنها بیش از 1000 بازسازی و بیش از 300000 رندر و شبیه سازی در روز ایجاد کرده اند.

علاوه بر این، شرکت‌های AV از مخزن مهارت‌های عامل جدید برای تسریع و ارتقای توسعه سیستم‌های رانندگی خودران ایمن‌تر و توانمندتر استفاده می‌کنند. Foxconn، VinFast، Uber، و HUMAIN به اکوسیستم NVIDIA DRIVE Hyperion پیوسته اند تا رباتاکسی سطح 4 SAE را توسعه دهند و به کار گیرند.

اسپنسر هوانگ، مدیر بخش روباتیک NVIDIA، گفت که Alpamayo 2 Super تاکنون بیش از 500000 بار دانلود شده و در Computex به عنوان "بهترین فناوری" شناخته شده است.

ابزارهای عامل هوش مصنوعی فیزیکی اکنون در دسترس هستند

NVIDIA گفت ابزارها و مهارت های عامل هوش مصنوعی فیزیکی آن از طریق در دسترس هستندGitHubومهارت ها.شبرای استفاده با هر عامل کدنویسی

مهارت‌ها و ابزارهای عامل برای تولید داده‌های مصنوعی -بازسازی عصبی, افزایش ویدئو, نقص تولید تصویر- در NVIDIA Brev as نیز موجود استقابلیت راه اندازی هوش مصنوعی فیزیکی، محیط های از پیش پیکربندی شده ای که مهارت ها و ابزارهای عامل را برای تولید و ارزیابی سریعتر داده های مصنوعی ترکیب می کند.

مایکروسافت،CoreWeave، ونبیوسدر حال ادغام این مهارت‌ها و ابزارها با سرویس‌های ابری خود هستند تا توسعه‌دهندگان را قادر به ساده‌سازی و مقیاس‌بندی تولید و استقرار داده‌های مصنوعی کنند.

انسان نمای Unitree مرجع NVIDIA Isaac GR00T

انویدیا همچنین ربات انسانی مرجع NVIDIA Isaac GR00T را معرفی کرد، یک طراحی مرجع ربات انسان نما باز که بر روی NVIDIA Jetson Thor و پلتفرم توسعه NVIDIA Isaac GR00T ساخته شده است. این شرکت گفت که این به دموکراتیک کردن دسترسی به سخت افزار و نرم افزار پیشرفته بدون نیاز به پلتفرم های گران قیمت و اختصاصی کمک می کند.انسان نمای-منظوره عمومیافزایش می یابد.

NVIDIA یک بدنه ربات{0}}در اندازه کامل را با دستکاری، سنجش، کنترل و محاسبات هوش مصنوعی هوشمند ترکیب کرد:

شاسی انسان نمای Unitree H2،تقریباً 6 فوت (1.8 متر) قد و 150 پوند (68 کیلوگرم) وزن، با 31 درجه آزادی برای آزمایش مقیاس انسانی-.

دوگانهموج شارپالمس پنج-دست،امکان دستکاری ماهرانه با 22 درجه آزادی و رساندن ربات به 75 درجه آزادی در سراسر بدن و دست.

حسگر چند-نما،شامل یک دوربین استریوی سر-با میدان دید وسیع (140 درجه افقی، 102 درجه عمودی)، دوربین‌های مچی برای دستکاری برد نزدیک و یک واحد اندازه‌گیری اینرسی برای ردیابی حرکت.

کنترل کل بدن،-با گشتاور بازو تا 120 نیوتن-متر، گشتاور پا تا 360 نیوتن{3}}متر، بار نامی بازو 7 کیلوگرم (15.4 پوند) و اوج بار 15 کیلوگرم (33 پوند)، باز کردن قفل با قابلیت بلند کردن و دستیابی.

محاسبات داخلی NVIDIA Jetson AGX Thor T5000،دارای پردازنده گرافیکی بلک ول NVIDIA با عملکرد هوش مصنوعی 2070 ترافلاپس FP4، پردازنده مرکزی بازویی 14 هسته ای، 128 گیگابایت حافظه یکپارچه و محدوده توان 40 تا 130 وات قابل تنظیم برای پردازش حسگر در زمان واقعی و استنتاج ربات.

قابلیت اتصالدر سراسر اترنت، Wi{0}}Fi 6، بلوتوث 5.2، USB و مجموعه‌ای از میکروفون‌ها و بلندگوها برای تعامل صوتی.

باتری برای عملکرد طولانی،با ظرفیت 15 آمپر ساعت، 0.972 کیلووات ساعت و حدود سه ساعت عمر مفید.

در{0}}ایست اضطراری راه دورعملکردی برای جدا کردن سریع ربات و ایمن.

پلت فرم Isaac GR00T شامل:

NVIDIA Isaac Teleopبرای گرفتن-داده های نمایش ربات با کیفیت بالا برای آموزش و توسعه خط مشی.

مدل های پایه باز NVIDIA Isaac GR00Tبرای حمایت از استدلال انسان نما، یادگیری و رفتار چند وظیفه ای.

NVIDIA Isaac Sim وآزمایشگاه آیزاکبرای شبیه سازی، آموزش، آزمایش و ارزیابی خط مشی های ربات قبل از استقرار در دنیای واقعی-.

میان افزار شتاب یافته NVIDIA Isaac ROSبرای انتقال سیاست های آموزش دیده به روبات ها.

NVIDIA Jetson Thorبرای اجرای-زمان واقعی، بر روی-استنتاج و کنترل ربات.

این سیستم به گونه‌ای طراحی شده است که ماژولار باشد، بنابراین تیم‌های رباتیک می‌توانند از پلتفرم کامل استفاده کنند یا قابلیت‌های انتخاب شده را در خطوط لوله توسعه موجود ادغام کنند و به آن‌ها کمک کند تا توسعه انسان‌نما را بدون بازسازی زیرساخت‌های مشابه برای هر ربات یا کار انجام دهند.

موسسات تحقیقاتی پیشرو از جمله Ai2، ETH زوریخ، مرکز رباتیک استانفورد، و آزمایشگاه رباتیک و کنترل پیشرفته UC San Diego قصد دارند از این طرح مرجع برای پیشبرد تحقیقات رباتیک انسان نما استفاده کنند.

دیپاک پاتاک، یکی از بنیانگذاران و مدیرعامل Skild AI، گفت: «برای پیشرفت به سمت ربات‌های{0}منظوره عمومی، محققان به پلتفرم‌هایی نیاز دارند که هم توانا و هم در دسترس باشند.» "طراحی مرجع به محققان بیشتری اجازه می‌دهد در تحقیقات انسان‌نمای مرزی شرکت کنند و سریع‌تر از ایده‌ها به آزمایش‌ها حرکت کنند. این به جلو بردن کل اکوسیستم تحقیقاتی روباتیک کمک می‌کند."