Many scientific computations require a considerable amount of computing time. This computing time can be reduced by distributing a problem over several processors. Multiprocessor computers used to be quite expensive, and not everybody had access to them. Since 2005, x86-compatible CPUs designed for desktop computers are available with two "cores", which essentially makes them dual processor systems. More cores per CPU are to follow

This cheap extra computing power has to be used efficiently, which requires parallel programming. Parallel programming methods that work on dual-core PCs also work on larger shared memory systems, and a program designed for a cluster or other type of distributed memory system will also perform well on your dual-core (or multi-core) PC

The goal of this tutorial is to give an introduction into all aspects of parallel programming that are necessary to write ones own parallel programs. To achieve this, it explains

the various existing architectures of parallel computers

the software needed for parallel programming, and how to install and configure it

how to analyse software and find the points where parallelisation might be helpful

how to write parallel programs for shared memory computers using OpenMP

how to write parallel programs for or distributed memory computers using MPI and ScaLA-PACK

This tutorial mainly aims at writing parallel programs for solving linear equation systems. Hopefully it is also useful to give some help for parallelising programs for other applications

معرفی کتاب

مقدمه‌ای بر برنامه‌­نویسی موازی

بسیاری از محاسبات علمی به مدت­ زمان محاسبه قابل توجهی نیازمند است که می‌­تواند توسط تقسیم  مسئله به روی چند پردازنده کاهش یابد. کامپیوترهای چندپردازنده­‌ای در گذشته گران قیمت بودند و هرکسی توانایی استفاده از آنان را نداشت، تا اینکه در سال 2005 ، سی ­پی ­یو­های 64 بیتی با دو هسته برای کامپیوترهای رومیزی معرفی شدند که آنها را به­ نوعی به سیستم­های دوپردازنده­ ای تبدیل می­ کرد و همچنان با پیشرفت تکنولوژی هسته­‌های بیشتری به ازای هر سی­ پی­ یو در راه بود.

این توان محاسباتی در دسترس باید به طور موثر به کار گرفته شود که از طریق برنامه‌­نویسی موازی میسر است. روش­های برنامه‌­نویسی موازی که بر روی رایانه ­های شخصی دو هسته‌ای کار می­کند، می­تواند در سیستم­‌های حافظه اشتراکی بزرگتر نیز استفاده گردد و برنامه­‌ای که برای یک خوشه و یا انواع دیگر سیستم‌­های توزیع حافظه طراحی شده، در رایانه شخصی دو یا چند هسته‌­ای شما نیز می‌­تواند به خوبی عمل کند.

هدف این کتاب، ارائه مقدم‌ه­ای بر تمامی جنبه­‌های برنامه ­نویسی موازی است تا فرد بتواند با خواندن آن برنامه­ های موازی خود را بنویسد و طراحی کند که بدین منظور در مورد سرفصل های زیر توضیح داده خواهد شد:

معماری­ های مختلف موجود رایانه ­های موازی

نرم ­افزار موردنیاز برای برنامه ­نویسی موازی و نحوه نصب و تنظیم آن

نحوه آنالیز نرم­ افزار و پیدا کردن نقاطی که موازی سازی در آنها می­تواند مفید باشد

نحوه نوشتن برنامه ­های موازی برای رایانه­ های با حافظه مشترک با استفاده از OpenMP

طریقه نوشتن برنامه ­های موازی برای رایانه­ های با حافظه توزیع­ شده توسط MPI و ScaLA-PACK

تمرکز اصلی این راهنما، بر نوشتن برنامه­ های موازی برای حل سیستم­ معادلات خطی است و امید است تا در موازی­‌سازی برنامه ­ها برای  کاربرد­های محاسباتی دیگر نیز مفید واقع شود.