figure-01-pick-and-place-highlight
figure-01-pick-and-place-highlight
برای مشاهدهٔ جزئیات، تصویر را باز کنید

این راهنمای گام‌به‌گام یک وظیفه برداشتن و گذاشتن قوطی نوشیدنی را نشان می‌دهد که در آن از بازوی UR17G، گیره Robotiq 2F-140 و قوطی نوشیدنی برای چیدن صحنه در Isaac Sim، بررسی رفتار آن‌ها و اجرای یک نمونه برداشتن و گذاشتن با کنترل‌های تولیدشده توسط عامل هوش مصنوعی استفاده می‌شود.

در گردش‌کارهای رباتیک، SimReady یعنی یک دارایی OpenUSD با ویژگی‌های لازم برای یک کاربرد شبیه‌سازی مشخص، مانند برخورد، جرم، مفاصل و محرک‌های مفصل، آماده شده است. SimReady Central، کتابخانه دارایی باز روی Hugging Face، به شما امکان می‌دهد دارایی‌های ربات و اشیا را با ویژگی‌های شبیه‌سازی تعریف‌شده و شواهد اعتبارسنجی پروفایل دوباره استفاده کنید. برای آشنایی بیشتر با این کتابخانه و زمان راه‌اندازی آن، مطلب اعلان را بخوانید.

چه چیزی یک دارایی ربات را SimReady می‌کند؟

SimReady Foundation مشخص می‌کند که دارایی OpenUSD برای یک کاربرد شبیه‌سازی به چه ویژگی‌هایی نیاز دارد. مشخصات آن سه سطح را به هم مرتبط می‌کند:

پروفایل: گروهی از ویژگی‌ها برای یک کاربرد، مانند بدنه ربات.

ویژگی‌ها: قابلیت‌های لازم برای آن کاربرد، مانند مفاصلی که می‌توان کنترلشان کرد.

الزامات: بررسی تنظیمات لازم برای هر ویژگی، مانند تنظیمات محرک یک مفصل.

برای این وظیفه، این ویژگی‌ها شامل مفاصل بازو و گیره و برخورد و جرم دارایی قوطی نوشیدنی است. اعتبارسنجی این تنظیمات را با الزامات پروفایل می‌سنجد. سپس شبیه‌سازی بررسی می‌کند که آیا ربات مونتاژشده می‌تواند از این ویژگی‌ها برای برداشتن و جابه‌جایی قوطی استفاده کند.

دارایی چه چیزهایی همراه دارد و شما چه چیزهایی اضافه می‌کنید؟

بسته‌های UR17G، Robotiq 2F-140 و قوطی نوشیدنی شامل مدل‌ها و تنظیمات شبیه‌سازی آن‌ها هستند. شما صحنه را می‌چینید و کد وظیفه را اضافه می‌کنید تا مجموعه بازو–گیره، سطح کار، موقعیت‌های شروع و کنترل‌های حرکت بازو و باز و بسته کردن گیره را تعریف کنید.

شکل ۲
شکل ۲
برای مشاهدهٔ جزئیات، تصویر را باز کنید

شکل ۲. SimReady Central مدل‌های دارایی و تنظیمات شبیه‌سازی را فراهم می‌کند و صحنه و کنترل‌های نمونه، وظیفه برداشتن و گذاشتن را تعریف می‌کنند.

پیش از اجرای وظیفه برداشتن و گذاشتن چه چیزهایی را باید بررسی کنید؟

یک ربات ممکن است در حالت سکون در Isaac Sim از نظر ظاهری درست به نظر برسد، اما هنگام اجرای شبیه‌سازی به‌درستی حرکت نکند یا به‌درستی با اشیا تعامل نداشته باشد. پیش از اجرای برداشتن و گذاشتن، مفاصل، حرکت و رفتار برخورد آن را آزمایش کنید. می‌توانید از عامل هوش مصنوعی بخواهید این آزمون‌ها را انجام دهد یا خودتان آن‌ها را به‌صورت دستی در Isaac Sim انجام دهید.

تنظیمات مفصل: محدودیت‌های مفصل و تنظیمات محرک بازو و گیره را بررسی کنید.

حرکت: یک حرکت کوچک بازو را آزمایش کنید و گیره را باز و بسته کنید.

برخورد: تأیید کنید که قوطی روی سطح کار قرار می‌گیرد و از آن عبور نمی‌کند.

در طول برداشتن و گذاشتن، توجه کنید که آیا قوطی نوشیدنی هنگام حرکت بازو در گیره می‌ماند یا نه. ساختار دارایی‌ها متفاوت است، پس تنظیمات صحنه بارگذاری‌شده خود را نقطه شروع در نظر بگیرید. در گام‌های زیر، فرایند کلی دانلود دارایی‌ها و چیدن صحنه را مرور می‌کنیم.

ساخت شبیه‌سازی برداشتن و گذاشتن در Isaac Sim

این نمونه، بازوی UR17G، گیره Robotiq 2F-140 و قوطی نوشیدنی را در Isaac Sim ترکیب می‌کند. وظیفه این است که قوطی گرفته، بلند، به یک مقصد منتقل و رها شود. همچنین می‌توانید از نقطه پایانی سرویس جست‌وجوی SimReady Central Space برای یافتن محتوای گردآوری‌شده توسط سازندگان اصلی (OEM) استفاده کنید.

ما همچنین از یک مدل هوش مصنوعی پیشرو برای کمک به تولید و اجرای کد وظیفه در یک صحنه باز Isaac Sim استفاده می‌کنیم. در این نمونه از GPT-6 Sol استفاده می‌کنیم، اما ترکیب عامل و مدل دیگری هم ممکن است کار کند، به شرط آنکه بتواند مهارت‌های لازم را بارگذاری کند و پایتون را روی Isaac Sim اجرا کند (کد و نتایج تولیدشده می‌تواند متفاوت باشد). پرامپت یک نقطه شروع فراهم می‌کند. پیش از تطبیق دادن وظیفه، کد تولیدشده را بررسی کنید و رفتار حاصل را بسنجید.

نرم‌افزارهای لازم:

Isaac Sim 6.2، نسخه‌ای که در این نمونه استفاده شده، را نصب کنید و الزامات سیستم آن را بررسی کنید.

یک عامل به انتخاب خود راه‌اندازی کنید که بتواند از مهارت‌های Isaac Sim استفاده کند. برای در دسترس قرار دادن مهارت‌های همراه با نصب برای عامل خود، مستندات Agent Skills را دنبال کنید.

فقط اگر گزینه دانلود دارایی از خط فرمان را انتخاب می‌کنید، Hugging Face CLI را نصب کنید.

از نقطه پایانی USD Search استفاده کنید.

گام ۱: دانلود دارایی‌های بازوی ربات، گیره و قوطی نوشیدنی

SimReady Central را باز کنید و بازوی UR17G، گیره Robotiq 2F-140 و قوطی نوشیدنی استفاده‌شده در اینجا را پیدا کنید. روی هر دارایی گزینه Download را انتخاب کنید، سپس از Save to folder یا فرمان Hugging Face ارائه‌شده استفاده کنید. هر سه پوشه کامل دارایی را دست‌نخورده نگه دارید تا Isaac Sim بتواند فایل‌های پشتیبان آن‌ها را پیدا کند.

از نسخه‌های دارایی که در این نمونه پیوند داده شده‌اند استفاده کنید و مسیرهای محلی فایل USD بازو، گیره و قوطی نوشیدنی را در اختیار عامل خود بگذارید. یک نمونه مسیر گیره در ادامه آمده است؛ محل دانلود شما ممکن است متفاوت باشد.

~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda
figure-05-find-robotiq
figure-05-find-robotiq
برای مشاهدهٔ جزئیات، تصویر را باز کنید

شکل ۳. جست‌وجو و پیش‌نمایش‌های تعاملی SimReady Central به شناسایی گیره Robotiq 2F-140 و قوطی نوشیدنی استفاده‌شده در این نمونه کمک می‌کنند.

figure-04-download-assets
figure-04-download-assets
برای مشاهدهٔ جزئیات، تصویر را باز کنید

شکل ۴. گزینه‌های دانلود قوطی نوشیدنی شامل ذخیره بسته دارایی در یک پوشه یا استفاده از Hugging Face CLI است.

اعتبارسنجی دارایی چه چیزی به شما می‌گوید؟

گزارش اعتبارسنجی بازو از پروفایل Robot-Body 4.0.0 و گزارش اعتبارسنجی گیره از پروفایل Robot-Gripper 3.0.0 استفاده می‌کند. هر دو، بررسی‌های موفق مفصل محرک‌شده با PhysX را ثبت می‌کنند که تنظیمات محرک مفصل را می‌سنجند.

اعتبارسنجی پروفایل SimReady یک مبنای مشترک برای استفاده دوباره از این دارایی‌ها فراهم می‌کند. سپس اجرای برداشتن و گذاشتن می‌سنجد که بازو، گیره، قوطی و کنترل‌کننده چگونه در صحنه مونتاژشده با هم کار می‌کنند.

گام ۲: مونتاژ ربات و چیدن صحنه برای برداشتن و گذاشتن

با دانلود دارایی‌ها، از عامل خود همراه با مهارت‌های Isaac Sim برای کمک به مونتاژ ربات، اجرای ابزارهای اعتبارسنجی و ساخت کنترل‌های برداشتن و گذاشتن استفاده کنید. می‌توانید این گام‌ها را به‌صورت دستی و با مستندات پیوند داده‌شده هم انجام دهید.

Isaac Sim را از پوشه نصب خود و با فعال بودن سرور پایتون راه دور اجرا کنید تا عامل بتواند از طریق پایتون با شبیه‌سازی تعامل داشته باشد:

./isaac-sim.sh --enable isaacsim.code_editor.python_server

اگر از یک عامل استفاده می‌کنید، مطمئن شوید که آن را از پوشه Isaac Sim اجرا می‌کنید تا در طول گام‌های زیر به مهارت‌های لازم دسترسی داشته باشد.

تأیید کنید که هر سه دارایی بدون خطای فایل گم‌شده نمایش داده می‌شوند. از عامل بخواهید محدودیت‌های مفصل و تنظیمات محرک بازو و گیره را بررسی کند، یا خودتان آن‌ها را در Isaac Sim مرور کنید. ربات و گیره دارای مفاصل فیزیکی هستند که می‌توان آن‌ها را در رابط گرافیکی Isaac Sim هم آزمایش و اعتبارسنجی کرد. حالا بازو و گیره را مونتاژ می‌کنیم تا بتوانیم مجموعه را به‌عنوان یک مفصل‌بندی واحد کنترل کنیم.

برای مونتاژ دستی می‌توانید آموزش Robot Assembler را دنبال کنید. در اینجا از عامل خود می‌خواهیم مونتاژ را انجام دهد و آن را برای ما اعتبارسنجی کند:

نمونه پرامپت استفاده‌شده در این مثال:

Assemble the robot arm <local path to Simready ur17g robot usd>
with the gripper <local path to downloded simready Robotiq_2F_140 gripper usd>
using the Robot Assembly tutorial in Isaac Sim
https://docs.isaacsim.omniverse.nvidia.com/6.2.0/robot_setup/assemble_robots.html.

Validate the assembly on completion.

عامل در نهایت از مهارت‌های «isaac-sim-remote» و «usd-articulation» که همراه با Isaac Sim ارائه شده‌اند استفاده می‌کند تا مونتاژ را کامل و فیزیک ربات را اعتبارسنجی کند. اکنون همه دارایی‌های لازم برای اجرای برداشتن و گذاشتن را داریم: ربات مونتاژشده و قوطی نوشابه. حالا به بخش پایانی گردش‌کار می‌رویم.

figure-05-joint-settings
figure-05-joint-settings
برای مشاهدهٔ جزئیات، تصویر را باز کنید

شکل ۵. تنظیمات مفصل برای بازوی UR17G و گیره Robotiq 2F-140 در Isaac Sim.

با قرار گرفتن ربات مونتاژشده و قوطی در صحنه، از عامل بخواهید وظیفه را اجرا کند. رفتار شبیه‌سازی را با بررسی‌های گام بعدی ارزیابی کنید.

گام ۳: آزمودن کنترل‌ها و اجرای برداشتن و گذاشتن

اکنون که دارایی‌ها ویژگی‌های شبیه‌سازی و اعتبارسنجی پروفایل را شامل می‌شوند، می‌توانیم آن‌ها را در یک صحنه مونتاژشده و همراه با کنترل‌کننده آزمایش کنیم. کنترل‌کننده حرکت بازوی UR17G را با باز و بسته شدن گیره Robotiq 2F-140 هماهنگ می‌کند. برای ارزیابی وظیفه تولیدشده توسط عامل، از بررسی‌های رفتار در ادامه استفاده کنید. برای درک یا تطبیق دادن خودِ کنترل‌کننده، آموزش Adding a Manipulator Robot را ببینید.

نمونه پرامپت استفاده‌شده در این مثال:

Run pick and place with the assembled robot and soda can
<path to soda can USD from SimReady library> in Isaac Sim.

Ensure you do a contact based grasp for picking up the can and validate
the accuracy/placement error for the pick and place as well.

مهارت‌های استفاده‌شده: «isaac-sim-remote»، «manipulaiton-ik» و «physics-simulation»

وظیفه کامل می‌سنجد که آیا گیره در طول حرکت قوطی را نگه می‌دارد و آن را در مقصد رها می‌کند. صحنه را بازنشانی کنید، سپس توالی نزدیک شدن، گرفتن، بلند کردن، نگه داشتن، انتقال و رها کردن را اجرا کنید. اجرای خود را با ویدیوی ابتدای مطلب و معیارهای موفقیت زیر مقایسه کنید.

figure-06-pick-and-place-landscape
figure-06-pick-and-place-landscape
برای مشاهدهٔ جزئیات، تصویر را باز کنید

شکل ۶. بازوی UR17G و گیره Robotiq 2F-140 قوطی نوشیدنی را از نشانگر زرد برداشتن به مقصد سبز در Isaac Sim منتقل می‌کنند. نمایش با سرعت ۴ برابر.

اگر اجرای شما متفاوت بود، جایی که توالی شکست می‌خورد را یادداشت کنید و از عامل بخواهید صحنه را بررسی و کنترل‌ها را تولید کند. پیش از تلاش دوباره، قوطی و ربات را به همان حالت شروع بازنشانی کنید تا بتوانید نتایج را مقایسه کنید.

فرض‌های شبیه‌سازی:

تنظیمات ثابت: قوطی از یک موقعیت مشخص شروع می‌شود، ربات ثابت است و فضای کار روشن و مسطح است. از بینایی ماشین استفاده نشده و بررسی‌های برخورد محدود بوده است.

قوطی ساده‌شده: تغییرشکل و حرکت مایع مدل‌سازی نشده‌اند، بنابراین این نمونه خرد شدن را آزمایش نمی‌کند.

گرفتن و حرکت اسکریپت‌شده: یک گرفتن افقی با سقف گشتاور محرک ۲ نیوتن‌متر انجام می‌شود که از طریق آزمون‌های شبیه‌سازی انتخاب شده است، نه بر اساس نیروهای نوک انگشت کالیبره شده و نه توسط سازنده توصیه شده است. برخورد و اصطکاک قوطی نوشیدنی را نگه می‌دارند تا بازو بدون برنامه‌ریزی دوباره از نقاط مسیر ثابت پیروی کند. برای مشخصات نیروی گرفتن در سخت‌افزار، برگه مشخصات محصول Robotiq را ببینید.

این نتایج برای همین تنظیمات اسکریپت‌شده معتبرند. آن‌ها استحکام در برابر موقعیت‌های نامطمئن اشیا، بارهای متفاوت یا سخت‌افزار واقعی را اثبات نمی‌کنند.

شبیه‌سازی بعدی خود را با دارایی‌های SimReady بسازید

وظیفه برداشتن و گذاشتن خود را با دارایی‌هایی از SimReady Central بسازید، سپس از عامل به انتخاب خود برای کمک به چیدن صحنه و اجرای آن در Isaac Sim استفاده کنید.

کشف دارایی‌ها

یافتن ربات‌ها و اشیا: SimReady Central را روی Hugging Face مرور کنید.

بررسی پشتیبانی یک دارایی: پروفایل‌ها و الزامات را در SimReady Foundation در کنار گزارش‌های اعتبارسنجی دارایی مرور کنید.

ساخت صحنه برداشتن و گذاشتن

راه‌اندازی شبیه‌ساز: برای نسخه استفاده‌شده در این نمونه، راهنمای نصب Isaac Sim را دنبال کنید.

اتصال عامل: برای در دسترس قرار دادن مهارت‌های همراه با نصب برای عامل خود، مستندات Isaac Sim Agent Skills را دنبال کنید.

مونتاژ ربات: اگر ترجیح می‌دهید بازو و گیره را دستی متصل کنید، آموزش Robot Assembler را دنبال کنید.

آماده‌سازی و مشارکت محتوا

شروع از CAD: برای آماده‌سازی دارایی‌های رباتیک خود، 5 Steps to Create SimReady Assets for Robotics را دنبال کنید.

اعتبارسنجی و ارسال دارایی‌ها: برای در دسترس قرار دادن دارایی‌های خود برای سایر توسعه‌دهندگان، راهنمای ارسال SimReady Central را دنبال کنید.

برای الهام گرفتن، دموی واقعیت مجازی کنترل صوتی Michael Wagner (Michael Wagner) یا شبیه‌سازی Microduck ساخته Maziyar Panahi (Maziyar Panahi) را ببینید. هر دو نشان می‌دهند که توسعه‌دهندگان چگونه از دارایی‌های SimReady در پروژه‌های خود استفاده می‌کنند.

شما چه چیزی می‌سازید؟ صحنه و نتایج خود را همراه با دارایی‌ها و نسخه Isaac Sim استفاده‌شده در بخش نظرات Hugging Face به اشتراک بگذارید.

ساخت خوبی داشته باشید!

منبع: Hugging Face

متن و تصاویر اصلی از منبع بالا. ترجمه و ویرایش در دیجیتال سرآمد.