هواوی از محصولات جدید ذخیره‌سازی هوش مصنوعی در عصر مدل‌های بزرگ رونمایی کرد

[چین، شنژن، 14 ژوئیه 2023] امروز، هوآوی راه حل جدید ذخیره سازی هوش مصنوعی خود را برای عصر مدل های در مقیاس بزرگ، ارائه راه حل های ذخیره سازی بهینه برای آموزش مدل های پایه، آموزش مدل های خاص صنعت، و استنتاج در سناریوهای تقسیم بندی شده، رونمایی کرد. رها کردن قابلیت های جدید هوش مصنوعی

در توسعه و اجرای برنامه های کاربردی مدل در مقیاس بزرگ، شرکت ها با چهار چالش عمده روبرو هستند:

اولاً، زمان مورد نیاز برای آماده‌سازی داده‌ها طولانی است، منابع داده پراکنده هستند، و تجمیع کند است و پیش‌پردازش صدها ترابایت داده حدود 10 روز طول می‌کشد. ثانیا، برای مدل‌های بزرگ چند وجهی با مجموعه داده‌های متنی و تصویری عظیم، سرعت بارگذاری فعلی برای فایل‌های کوچک عظیم کمتر از 100 مگابایت بر ثانیه است که در نتیجه کارایی پایین برای بارگذاری مجموعه آموزشی دارد. ثالثاً، تنظیمات مکرر پارامتر برای مدل‌های بزرگ، همراه با سکوهای تمرینی ناپایدار، تقریباً هر 2 روز یک‌بار باعث وقفه در تمرین می‌شوند و مکانیزم Checkpoint را برای از سرگیری تمرین، با طول مدت زمان ریکاوری یک روز، ضروری می‌سازد. در نهایت، آستانه پیاده‌سازی بالا برای مدل‌های بزرگ، راه‌اندازی سیستم پیچیده، چالش‌های زمان‌بندی منابع، و استفاده از منابع GPU اغلب زیر ۴۰ درصد است.

هواوی با روند توسعه هوش مصنوعی در عصر مدل‌های بزرگ همسو می‌شود و راه‌حل‌هایی را برای صنایع و سناریوهای مختلف ارائه می‌دهد. OceanStor A310 Deep Learning Data Lake Storage و FusionCube A3000 Training/Inference Super-Converged Appliance را معرفی می کند. OceanStor A310 Deep Learning Data Lake Storage هم سناریوهای دریاچه داده مدل بزرگ در سطح صنعتی و هم در سطح صنعتی را هدف قرار می دهد و به مدیریت داده های هوش مصنوعی جامع از تجمیع داده ها، پیش پردازش تا آموزش مدل و کاربردهای استنتاج دست می یابد. OceanStor A310، در یک رک 5U، از پهنای باند 400 گیگابایت در ثانیه و تا 12 میلیون IOPS با مقیاس‌پذیری خطی تا 4096 گره پشتیبانی می‌کند و ارتباطات متقابل پروتکلی بدون درز را امکان‌پذیر می‌سازد. سیستم فایل جهانی (GFS) بافت هوشمند داده ها را در مناطق مختلف تسهیل می کند و فرآیندهای تجمیع داده ها را ساده می کند. محاسبات نزدیک به ذخیره‌سازی، پیش‌پردازش نزدیک به داده‌ها، کاهش حرکت داده‌ها و بهبود راندمان پیش‌پردازش را تا 30 درصد انجام می‌دهد.

دستگاه فوق همگرا FusionCube A3000 Training/Inference، که برای سناریوهای آموزش/استنتاج مدل های بزرگ در سطح صنعت طراحی شده است، به برنامه های کاربردی شامل مدل هایی با میلیاردها پارامتر پاسخ می دهد. گره‌های ذخیره‌سازی با کارایی بالا OceanStor A300، گره‌های آموزشی/استنتاجی، تجهیزات سوئیچینگ، نرم‌افزار پلت‌فرم هوش مصنوعی و نرم‌افزار مدیریت و عملیات را ادغام می‌کند و به شرکای مدل بزرگ تجربه استقرار plug-and-play را برای تحویل یک مرحله‌ای ارائه می‌دهد. آماده استفاده است، می توان آن را در عرض 2 ساعت مستقر کرد. هر دو گره آموزشی/استنتاجی و ذخیره سازی را می توان به طور مستقل و افقی برای مطابقت با نیازهای مقیاس مدل مختلف گسترش داد. در همین حال، FusionCube A3000 از کانتینرهای با کارایی بالا برای فعال کردن چندین مدل آموزش و وظایف استنتاج برای به اشتراک گذاشتن GPUها استفاده می کند و استفاده از منابع را از 40٪ به بیش از 70٪ افزایش می دهد. FusionCube A3000 از دو مدل تجاری انعطاف‌پذیر پشتیبانی می‌کند: Huawei Ascend One-Stop Solution و شریک شخص ثالث راه حل یک مرحله‌ای با محاسبات باز، شبکه و نرم‌افزار پلت فرم هوش مصنوعی.

رئیس خط تولید ذخیره‌سازی داده هوآوی، ژو یوفنگ، اظهار داشت: «در عصر مدل‌های بزرگ، داده‌ها ارتفاع هوش مصنوعی را تعیین می‌کنند. به عنوان حامل داده، ذخیره سازی داده ها به زیرساخت اصلی و اساسی برای مدل های در مقیاس بزرگ هوش مصنوعی تبدیل می شود. Huawei Data Storage به نوآوری ادامه خواهد داد و راه حل ها و محصولات متنوعی را برای عصر مدل های بزرگ هوش مصنوعی ارائه می دهد و با شرکای خود برای تقویت هوش مصنوعی در طیف گسترده ای از صنایع همکاری می کند.