PRECISION ON DEMAND: A NOVEL LOSSLES MIXED-PRECISION COMPUTATION TECHNIQUE | ||||
| Journal of Al-Azhar University Engineering Sector | ||||
| Article 19, Volume 15, Issue 57, October 2020, Page 1146-1156 PDF (530.17 K) | ||||
| Document Type: Original Article | ||||
| DOI: 10.21608/auej.2020.120378 | ||||
 View on SCiNiTO | ||||
| Author | ||||
A Al-Marakeby
| ||||
| Systems and Computers Engineering Dept. , Faculty of Engineering , Al-Azhar University, Cairo, Egypt. | ||||
| Abstract | ||||
| Nowadays, there are wide range of computing-intensive applications that require a powerful computing platform. This computational complexity can be reduced significantly using lower precision, but certainly the accuracy will be affected. In this work, a novel lossless mixed-precision computation technique is used to reduce the computational complexity for such problems while keeping the same accuracy of higher precision. The “precision on demand” technique depends on iterative computation method, which utilizes discarding stages. The discarding stages are commonly used in many applications where some intermediate results are discarded, and they do not contribute to the final results. Max, min, threshold, and ReLU -operations are examples of such discarding stages. Lower precision is used to compute all intermediate results, then non-discarded values are recomputed using higher precisions. This technique enhances performance, improves power-consumption, reduces memory requirements, and allows implementing heavy computational systems on low resources and low-cost platforms. This work presents the decision on demand concept, and discuss many details related to hardware architecture implementations and optimizations. CNN inference is used as a case study, and speed is improved by a factor of 1.6x- 3.5x. یوجد فی هذه الأیام نطاق عریض من التطبیقات التی تحتاج إلى قوة حاسوبیة کبیرة. هذه التعقیدات الحسابیة یمکن تقلیلها بشدة عند استخدام الدقة المنخفضة ولکن بالطبع ستتأثر دقة المخرجات. فی هذا البحث تم استخدام طریقة مبتکرة لا ستخدام الدقة المختلطة مع المحافظة على نفس المخرجات التی تم الحصول علیها باستخدام الدقة المرتفعة. طریقة الدقة عند الاحتیاج تعتمد على طریقة حسابیة تکراریة تستفید من المراحل التجاهلیة. تستخدم المراحل التجاهلیة بکثرة فی تطبیقات کثیرة حیث یتم تجاهل بعض النتائج الوسیطة ولا یتم استخدامها فی حساب النتائج النهائیة . القیمة العظمى والقیمة الصغرى وحساب التقویم الخطی والتقویم الحدی یمثل بعض أمثلة على المراحل التجاهلیة. فی هذه الطریقة یتم حساب جمیع القیم الوسیطة بدقة أقل وبعد ذلک یتم استخدام الدقة الأعلى فی إعادة حساب القیم التی لن یتم تجاهلها. هذه الطریقة تحسن الأداء وتحسن استهلاک الطاقة وتقلل الذاکرة المطلوبة وتتیح تنفیذ عملیات حسابیة معقدة على أجهزة حاسوبیة محدودة الإمکانیات ورخیصة الثمن . فی هذا البحث سیتم تقدیم مفهوم الدقة عند الاحتیاج کما سیتم مناقشة تفاصیل تتعلق بمعماریة العتاد المستخدم فی تنفیذ هذه الفکرة وطرق تحسینه. الشبکات العصبیة الالتفافیة تم استخدامها کحالة للدراسة وتم تحقیق تحسین فی السرعة من من 1.5 إلى 3.6 أضعاف السرعة بالطرق التقلیدیة. | ||||
| Keywords | ||||
| Mixed Precision; Floating Point; Convolutional Neural Networks; Computational Complexity; Field Programmable Gate Arrays; Image Classification. الدقة المختلطة ، الأرقام العشریة ، الشبکات العصبیة الالتفافیة، التعقیدات الحسابیة، مصفوفات بوابات المجال الم | ||||
|
Statistics Article View: 166 PDF Download: 275 |
||||
