Równoległe kwerendy danych

Prezentacja na temat: "Równoległe kwerendy danych"— Zapis prezentacji:

1 Równoległe kwerendy danych
Jarosław Kuchta Programowanie Współbieżne Równoległe kwerendy danych

2 Podstawy LINQ – Language-Integrated Query PLINQ – Parallel LINQ
język zapytań wbudowany w C# począwszy od wersji 3. PLINQ – Parallel LINQ równoległa wersja LINQ PLINQ

3 Przykład wyrażenia LINQ
// The Three Parts of a LINQ Query: // 1. Data source. int[] numbers = new int[7] { 0, 1, 2, 3, 4, 5, 6 }; // 2. Query creation.// numQuery is an IEnumerable<int> var numQuery = from num in numbers where (num % 2) == 0 select num; // 3. Query execution. foreach (int num in numQuery) Console.Write("{0,1} ", num); PLINQ

4 Źródła danych dla LINQ tablice C# łańcuchy znaków
kolekcje i listy .NET bazy danych SQL zbiory danych ADO.NET dokumenty XML … PLINQ

5 Równoległa wersja wyrażenia LINQ
// The Three Parts of a LINQ Query: // 1. Data source. int[] numbers = new int[7] { 0, 1, 2, 3, 4, 5, 6 }; // 2. Query creation.// numQuery is an IEnumerable<int> var numQuery = from num in numbers.AsParallel() where (num % 2) == 0 select num; // 3. Query execution. foreach (int num in numQuery) Console.Write("{0,1} ", num); PLINQ

6 foreach a ForAll foreach (int num in numQuery)
aBag.Add(Compute(num))); numQuery.ForAll ( (num) => aBag.Add(Compute(num)) ); PLINQ

7 Porównanie foreach i ForAll
PLINQ

8 Zalety i wady PLINQ PLINQ dobrze się sprawdza, gdy:
elementy kolekcji są niezależne od siebie operacje łatwo dzielą się na niezależne wątki pojedyncza operacja jest "dość długotrwała" Kosztem PLINQ jest narzut na: podział danych ze źródła danych podział zadań na wątki zebranie danych z wątków scalenie wyników PLINQ

9 Przykłady Opłacalne: Nieopłacalne:
var queryA = from num in numberList.AsParallel() select ExpensiveFunction(num); Nieopłacalne: var queryB = from num in numberList.AsParallel() where num % 2 > 0 select num; PLINQ

10 Sekwencyjne wykonanie PLINQ
PLINQ próbuje wykonać kwerendę przynajmniej tak samo szybko, jak LINQ. Przełącza się na wykonanie sekwencyjne, gdy zawiera klauzule: Select, indeksowaną Where, indeksowaną SelectMany lub ElementAt po zmianie kolejności lub filtrowaniu kolekcji wejściowej, Take, TakeWhile, Skip lub SkipWhile po zmianie kolejności kolekcji wejściowej, Concat, Reverse, Zip lub SequenceEquals, chyba że kolekcja wejściowa jest oryginalnie indeksowana PLINQ

11 Wymuszone wykonanie równoległe
static void ForceParallel() { var customers = GetCustomers(); var parallelQuery = (from cust in customers.AsParallel() WithExecutionMode(ParallelExecutionMode.ForceParallelism) where cust.City == "Berlin" select cust.CustomerName) .ToList(); } PLINQ

12 Określenie liczby procesorów
var query = from item in source.AsParallel() .WithDegreeOfParallelism(2) where Compute(item) > 42 select item; PLINQ

13 Kwerenda równoległa z uporządkowaniem
var orderedCities = (from city in cities.AsParallel().AsOrdered() where city.Population > 10000 select city) .Take(1000); PLINQ

14 Samodzielne partycjonowanie danych
/ Static partitioning requires indexable source. Load balancing can use any IEnumerable. var nums = Enumerable.Range(0, ).ToArray(); // Create a load-balancing partitioner. Or specify false for static partitioning. Partitioner<int> customPartitioner = Partitioner.Create(nums, true); // The partitioner is the query's data source. var q = from x in customPartitioner.AsParallel() select x * Math.PI; q.ForAll((x) => { ProcessData(x); }); PLINQ

15 Wizualizacja równoległości
PLINQ

16 Literatura PLINQ