===معرفی کوتاه از ابزار توسعه CUDA 6.5===

[magiteq]

به نام خدا
دوستان امروز قصد یک معرفی کوتاه از 6.5 CUDA Toolkit رو دارم که اخیرا ریلیز شده. نسخه 6.5 CUDA حاوی ویژگی ها و بهینه سازی هایی برای پلتفرم CUDA است که شامل پشتیبانی از فورترنCUDA در ابزارهای توسعه، توابع فراخوانی تعریف شده توسط کاربر در API , cuFFT های جدید محاسبه فضای اشغال شده، و غیره...

CUDA در ARM64
سال گذشته به معرفی CUDA روی معماری ARM پرداخته شد و در ماه مارس، بورد توسعه دهنده Jetson TK1 , ارائه داده شد که امکان توسعه CUDA روی چیپ SOC Tegra K1 را میسر نمود که حاوی یک پردازنده ARM 32bit با 4 هسته و یک پردازنده گرافیکی Kepler انویدیا می باشد. توسعه برنامه های کاربردی مربوط به پردازش موازی و پردازش سیار روی Jetson K1، بسیار هیجان انگیز است. علاوه بر این لازم به ذکر است در کنفرانس Hot Chips، جزئیات بیشتری درباره معماری پردازنده 64 بیتی Denver ARM که بزودی ارائه خواهد شد، نمایان گردید.
نسخه 6.5 CUDA یک گام جلو رفته و CUDA را روی پلتفرم های 64 بیتی ARM فعال کرده است. میراث ARM64 در مصرف پایین، مرکز داده های مقیاس کوچک و microservers نهفته است، ضمن آنکه GPUهایی برای عملکرد محاسباتی فوق سریع ساخته شده اند. وقتی این دو را با هم ترکیب می کنیم، راهکاری گریزناپذیر برای HPC در اختیار خواهیم داشت. معماری ARM64 ارائه دهنده راندمان مصرفی بهتر، تنظیم پذیری سیستم و یک اکوسیستم بزرگ و باز است. GPUها، بار کاری بالا، عملکرد محاسباتی پر بازده از نظر توان مصرفی، یک اکوسیستم HPC بزرگ و صدها برنامه کاربردی مبتنی بر CUDA را همراه با خود به میدان آورده اند. در زمینه کاربردی های HPC، پردازنده های ARM64 می توانند بهبود چشمگیر وظایف محاسباتی را برای GPU ها به ارمغان بیاورند. CUDA و GPUها باعث شده اند که معماری ARM64 از اولین روز معرفی، در HPC توان رقابت داشته باشد.
پلتفرم های توسعه ای که در حال حاضر برای CUDA روی ARM64 تعبیه شده است عبارتند از پلتفرم توسعه HPC Cirrascale RM1905D و E4 ARKA EK003. شرکت Eurotech اعلام کرده که تا آخر سال، سیستم دیگری را نیز ارائه خواهد نمود. این پلتفرم ها روی پردازنده های Appied Micro X-Gene هشت هسته ای با فرکانس GHz 4/2 و معماری GPU، ARM64 های برپایه Tesla K20 و نسخه 6.5 CUDA ساخته شده اند. همانطور که شکل 1 نشان می دهد، عملکرد برنامه های کاربردی مبتنی بر CUDA روی سیستم های دارای معماری ARM64+GPU با سیستم های دارای معماری x86+GPU رقابت می کند.

برنامه های کاربردی مبتنی بر CUDA، عملکرد بالایی را روی سیستم های دارای معماری ARM64+GPU از خود نشان می دهند.

فراخوان های دستگاه cuFFT

کاربران cuFFT اغلب اوقات نیاز دارند قبل از اجرای یک FFT روی داده های ورودی، آنها را تبدیل کنند و یا پس از انجام FFT داده های خروجی را تبدیل کنند. انجام این کار تا قبل از ارائه CUDA 6.5، نیازمند اجرای کرنل های اضافی CUDA جهت بارگذاری، تبدیل و ذخیره داده ها بود. به این دلیل روی بارگذاری و ذخیره داده ها تأکید می کنم که این کرنل های تبدیل موجب افزایش پهنای باند مورد استفاده برنامه های کاربردی می شوند و این درست همان جایی است که فرخوان های دستگاه cuFFT وارد صحنه می شوند.

فراخوان های cuFFT می توانند الزامات پهنای باند محاسبات مبتنی بر FFT را کاهش دهند

CUDA 6.5 به شما اجازه می دهد توابع فراخوانی دستگاه CUDA را طوری مشخص کنید که داده ها به نحوی هدایت یا دستکاری شوند که گویی پیش از پردازش FFT بارگذاری شده اند، و یا بعد از انجام FFT ذخیره گردیده اند. این بدان معناست که همانطور که شکل 2 نشان می دهد، cuFFT می تواند داده های ورودی و خروجی را بدون استفاده از پهنای باند بیشتر نسبت به آنچه خود FFT مصرف می کند، تبدیل نماید. این می تواند یک مزیت عملکردی چشمگیر بحساب بیاید.

پشتیبانی CUDA از ابزارهای فورتن

نسخه 6.5 CUDA در بخش های اشکال زدایی cuda-gdb، خط فرمان nvprof، cuda-memcheck و پروفایل NVIDIA Visual پشتیبانی بیشتری ارائه کرده است (شکل 3). این شامل پشتیبانی از آرایه های فورترن (تنها در لینوکس)، همبستگی بهتر در تبدیل زبان مبدآ به زبان اسمبلی و مستندات بهتر می شود. پشتیبانی از ابزارهای فورترن در نرم افزار CUDA، جزء ویژگی های بتای نسخه 6.5 CUDA بوده و اجرای آن نیازمند داشتن نسخه 14.4 یا بالاتر کامپایلر PGI می باشد.

نسخه 6.5 CUDA پشتیبانی از کد فورترن CUDA در ابزارهای اشکال زدایی و پروفایل سازی CUDA را بهبود بخشیده است. در اینجا برای بررسی رایج ترین دستورالعملها در یک برنامه فورترن CUDA، از پروفایل ساز بصری انویدیا استفاده می کنیم.

API های محاسبه میزان اشغال فضای CUDA

نسخه 6.5 CUDA دارای محاسبه گر فضای اشغال شده جدید CUDA و رابط های API تازه ای برای تنظیمات اجرای مبتنی بر میزان فضای اشغال شده است. این توابع به مشخص کردن تنظیمات اجرا با میزان اشغال مشخص کمک می کنند. در مقاله ای تحت عنوان ترفند حرفه ای CUDA: ساده سازی تنظیمات اجرا با API اشغال فضای جدید CUDA درباره این عملکرد مطلبی نوشته شده است. همچنین CUDA 6.5 حاوی یک ماشین حساب کاربردی بنام cuda_occupancy.h برای محاسبه میزان اشغال فضا بشکل برنامه نویسی شده و مجزاست که به میزان قابل ملاحظه ای بازنویسی شده است. این فایل شامل پیاده سازی محاسبه گر میزان اشغال و توابع تنظیمات اجرای مبتنی بر میزان اشغال می باشد، بطوریکه برنامه های کاربردی می توانند بدون وابستگی به کل بسته نرم افزاری CUDA از آنها استفاده کند.

سایر بهبودها

بهبودهای متعدد دیگری در زمینه عملکرد و بازده داشته و ویژگی های جدیدی به همراه دارد که معدودی از آنها در اینجا ارائه شده اند.

پشتیبانی از Visual Studio 2013

CUDA 6.5 میزان پشتیبانی از کامپایلر میزبان را گسترش داده و برای ویندوز آن را به Microsof Visual Studio 2013 آورده است.






بهبود عملکرد در Double PREC***ON

هسته کتابخانه های ریاضی در CUDA 6.5 , بهبودهای چشمگیری را برای بسیاری از توابع DP مانند ()sqrt() , rsqrt() , hypot() , log به ارمغان آورده است. این بهینه سازی ها می تواند به بهبود واقعی عملکرد برنامه های کاربردی بیانجامد.به عنوان مثال اجرای کد double prec***on شبیه سازی گرانش n-body روی یک پردازنده گرافیکی انویدیا Tesla K40، با استفاده از CUDA 6.5 به fp64 GFLOP/s 801 دست یافت، درحالیکه این مقدار برای CUDA 6.0 برابر با GFLOP/s 698 بود. این به معنای حدود 15% بهینه سازی بدون تغییر کد برنامه کاربردی و به لطف بهینه سازی های صورت گرفته در نخوه بکارگیری fp64 در تابع ()rsqrt کتابخانه ریاضی CUDA است

کتابخانه های استاتیک CUDA


حالا دیگر CUDA 6.5 (روی سیستم های عامل Mac و لینوکس) حاوی نسخه های استاتیک کتابخانه های cuBLAS، cuSPASE، cuFFT، cuRAND و NPP می باشد. این می تواند موجب کاهش وابستگی و کم شدن تعداد کتابخانه های دینامیکی شود که شما باید در برنامه های کاربردی خود بگنجانید. این کتابخانه های استاتیک جدید به یک لایه کتابخانه انتزاعی مشترک بنام (cuLIBOS (libculibos.a وابسته اند که به عنوان بخشی از جعبه ابزار CUDA ارائه می شود.

یک ابزار جدید: NVPRUNE


nvprune یک ابزار باینری حدید است که فایل ها و کتابخانه های شیئیِ میزبان را طوری ساده می کند که تنها حاوی کد های دستگاهی مختص به معماری هدف مورد نظر باشند. به عنوان مثال، خط فرمان زیر موجب ساده شدن کد libcublas_static.a به نحوی می شود که تنها حاوی کد sm_35 شود و همه اهداف دیگر در کتابخانه حذف شوند.

nvprune -arch sm_35 libcublas_static.a -o libcublas_static35.a

فایده nvprune برای توسعه دهندگان نرم افزاری، کاهش اندازه فایلهای شیئیِ GPU در برنامه های کاربردی آنها، بویژه در صورتیست که از کتابخانه های ثالث یا کتابخانه های انویدیا استفاده کرده باشند.


بهبود عملکردی MPS

سرویس پردازش چندگانه (CUDA (MPS بشکل نامحسوس امکان ساخت برنامه های CUDA با پردازش چندگانه اشتراکی که معمولاً به آنها اعمال MPI گفته می شود را برای اجرای همزمان کرنل هایی از چندین پردازش روی GPUهای مجزا فراهم می آورد. CUDA 6 سرویس MPS را معرفی کرد و CUDA 6.5 به طور چشمگیری به بهینه سازی عملکرد MPS پرداخته است: کاهش تأخیر اجرا از 7 میکروثانیه به 5 میکروثانیه و کاهش تأخیر اجرا و همگام سازی از 35 میکروثانیه به 15 میکروثانیه.

بهینه سازی گزارش خطای XID

درایور گزارش خطای Xid انویدیا، خطاهای کلی GPU را از طریق کرنل سیستم عامل یا نگاره های ثبت وقابع، گزارش می دهد. پیام ثبت شده ممکن است بیانگر مشکلات سخت افزاری، مشکلات نرم افزاری انویدیا و یا وجود مشکل در برنامه کاربردی کاربر باشد. CUDA 6.5 گزارش خطای 13 Xid روی لینوکس را طوری بهبود بخشیده که جزئیات بیشتری درباره خطا بدست آمده و نوع علت خطای 13 Xid را نشان دهد. در اینجا نمونه ای از پیام خطا از نسخه های پیشین CUDA ارائه شده است.

GPU at 0000:07:00: GPU-b850f46d-d5ea-c752-ddf3-c4453e44d3f7


Xid (0000:07:00): 13, 0003 00000000 0000a1c0 000002bc 00000003 00000000

این پیام خطا می توانند به علت های مختلفی نمایش داده شود. همانطور که در اینجا نشان داده شده، CUDA 6.5 بین خطاهای 13 Xid، بر اساس نوع علتشان تمایز قائل می شود.

Xid (0000:07:00): 13, Graphics SM Warp Exception on (GPC 0, TPC 4
Stack Error
Xid (0000:07:00): 13, Graphics Exception: ESR - 0x506648=0x2000d
0x506650=0x0, 0x506644=0xd3eff2, 0x50664c=0x7f
Xid (0000:07:00): 13, Graphics Exception: ChID 0002, Class 0000a1c0
Offset 000002bc, Data 00000003

همین امروز می توان اقدام به دانلود CUDA 6.5 کنید
نسخه 6.5 CUDA همه این ویژگی های جدید و بهبود ویژگیهای پیشین را به همراه ویژگیها و بهبودهای دیگر در بر دارد که از جمله آنها می توان به پشتیبانی از ماتریس هایی با فرمت BSR در cuSparse , و حالت تکرار برنامه در پروفایل ساز بصری انویدیا اشاره کرد که امکان آنالیز سریعتر سناریوهای پیچیده دربرگیرنده چندین سخت افزار را فراهم آورده اند.
دوستان در آینده اگر فرصتی شد , در خصوص سایر ابزارهای CUDA , در ادامه این تاپیک قرار خواهد گرفت.


نویسنده: عطا
مبنع:NVidia

[MR.POORSUNI]

عالی بود اقا عطا ممنون حالا کودا قشنگ روشن شد @};-
فقط الان مسئله ای که باقی میمونه اینه که انویدیا کودا رو به نظر میاد که از درایورهای 340.52 وبه بالاتر حذف کرده چون بعد از نصب 340.52 سیستم کودا توی برنامه ها Off میشه به طور مثال برنامه Xilisoft Video Converter Ultimate گزینه cuda خاموش و ارور درایور را میدهد ولی این مشکل در سری قبل از 340.52 نبود >>> !

[magiteq]

عالی بود اقا عطا ممنون حالا کودا قشنگ روشن شد @};-
فقط الان مسئله ای که باقی میمونه اینه که انویدیا کودا رو به نظر میاد که از درایورهای 340.52 وبه بالاتر حذف کرده چون بعد از نصب 340.52 سیستم کودا توی برنامه ها Off میشه به طور مثال برنامه Xilisoft Video Converter Ultimate گزینه cuda خاموش و ارور درایور را میدهد ولی این مشکل در سری قبل از 340.52 نبود >>> !

من با این Converter کار نکردم , SDK کودا تنها برای developer هاست. اینکه میگی cuda رو حذف کرده رو متوجه نمیشم.

[MR.POORSUNI]

من با این Converter کار نکردم , SDK کودا تنها برای developer هاست. اینکه میگی cuda رو حذف کرده رو متوجه نمیشم.

اهان ... سوالو یک جور دیگه میگم درایور کودا یا همون برنامه کودا پیشفرض تو درایور های انویدیا بود و کار میکرد ولی از 340.52 دیگه حذف شده به نظر میرسه ... حالا این برنامه Cuda 6.5 همون برنامه هست که به صورت جداگانه خارج از درایور قرار داده شده ؟ نیاز به نصبش هست اگر همونه ؟

[magiteq]

اهان ... سوالو یک جور دیگه میگم درایور کودا یا همون برنامه کودا پیشفرض تو درایور های انویدیا بود و کار میکرد ولی از 340.52 دیگه حذف شده به نظر میرسه ... حالا این برنامه Cuda 6.5 همون برنامه هست که به صورت جداگانه خارج از درایور قرار داده شده ؟ نیاز به نصبش هست اگر همونه ؟

cuda 6.5 , هنوز در وضعیت بتا هست و همراه با maxwell معرفی شده و اصلا ربطی به این وضعیت شما نداره , این SDK رو باید مجزا دانلود کرد و همراه درایور نیست.
باید درایور از اون

Converter پشتیبانی بکنه