Hackathon dla PO PC

Zwycięzcy hackathonu zorganizowanego przez ICM UW "Wielkie Wyzwania Programistyczne – Map the Gap" przedstawili rozwiązanie podłączenia do szybkiego Internetu wszystkich 2,7 mln lokalizacji z dostępowych "białych plam" przy użyciu 650 tys. km światłowodu.

Ilustracje
Wielkie Wyzwania Programistyczne – Map the Gap (http://wwp.icm.edu.pl)
Obecnie w Polsce stałe łącze wykorzystuje 7,1 mln osób, czyli 18,5% populacji. To poniżej średniej europejskiej penetracji rynku, która sięga 32,7%. W Polsce mniej jest także osób, które korzystają z Internetu o bardzo wysokiej prędkości (co najmniej 100 Mbps) – niespełna 14% wobec 15,5% w Europie. Warto dodać, że w Unii liderem pod tym względem Rumunia, gdzie jest ponad 57,1% szybkich łączy stacjonarnych powyżej 100 Mbps.

RYS. 1 Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Polsce (na podstawie listy białych plam). 
Wykres pokazuje obszary o dużym zagęszczeniu punktów (kolor żółty i czerwony) w otoczeniu dużych aglomeracji (np. Warszawa, Kraków, oraz na południu Polski). W tych obszarach może okazać się, że wsparcie publiczne nie jest niezbędne, ze względu na dużą liczbę potencjalnych klientów. 
Kliknij, aby powiększyćRYS. 1 Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Polsce (na podstawie listy białych plam). Wykres pokazuje obszary o dużym zagęszczeniu punktów (kolor żółty i czerwony) w otoczeniu dużych aglomeracji (np. Warszawa, Kraków, oraz na południu Polski). W tych obszarach może okazać się, że wsparcie publiczne nie jest niezbędne, ze względu na dużą liczbę potencjalnych klientów.

Scenariusz dla PO PC

Rozbudowa sieci światłowodowej, pozwalającej na zaoferowanie połączeń internetowych o dużej przepustowości, jest jednym z wyzwań, przed którymi stoją operatorzy telekomunikacji oraz instytucje rządowe. Zwrot z inwestycji w infrastrukturę teleinformatyczną jest liczony w dziesiątkach lat (przeciętnie 20 lat) i angażuję środki firm telekomunikacyjnych i środki publiczne, np. w ramach Programu Operacyjnego Polska Cyfrowa (PO PC). Zakończony nabór wniosków w PO PC zakłada dofinansowanie podłączenia 880 tys. lokalizacji z listy białych plam oraz szkół.

Zobacz również:

Dotychczasowe metody projektowania rozwoju sieci światłowodowej opierają się na danych statystycznych, takich jak ilość potencjalnych klientów na jednostkowym obszarze. Metody te uwzględniają także potencjalne zainteresowanie i ewentualne preferencje odbiorców. Dostępne są również rozwiązania pozwalające na projektowanie i optymalizację układu sieci światłowodowej na niewielkich obszarach, obejmujących jedną lub kilka sąsiednich gmin.

Brak jednak dotychczas metod pozwalających na analizę lokalizacji i optymalizację rozwoju sieci światłowodowej w szerszym ujęciu, umożliwiającej obniżenie kosztów inwestycji lub podłączenie większej liczby odbiorców. Nowe podejście do problemu pozwala dokonać w skali całego kraju optymalizacji połączeń światłowodowych w oparciu o listę adresów oraz inne dostępne informacje.

RYS. 2. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Warszawie i okolicy (na podstawie listy białych plam).
Wyraźnie widoczne obszary gęsto zamieszkałe,  z ubogą infrastrukturą światłowodową w miejscowościach podwarszawskich (Wawer, Jabłonna).
Kliknij, aby powiększyćRYS. 2. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Warszawie i okolicy (na podstawie listy białych plam). Wyraźnie widoczne obszary gęsto zamieszkałe, z ubogą infrastrukturą światłowodową w miejscowościach podwarszawskich (Wawer, Jabłonna).

Skąd dane, skąd moc?

Informacje te obejmują listę punktów dostępowych, do których mogą być podłączane rozbudowywane sieci światłowodowe oraz listę ulic i dróg, wzdłuż których powinny być prowadzone inwestycje światłowodowe. Ze względu na niedostępność listy punktów styku z istniejącą siecią światłowodową, jako najbliższe rzeczywistości przybliżenie wykorzystano listę BTSów LTE1800, dostępną na stronach Urzędu Komunikacji Elektronicznej (lista z dn. 25.01.2017). Lista ta może być łatwo zastąpiona listą punktów styku z istniejącą siecią światłowodową jednego lub wielu operatorów.

Analiza danych w skali kraju wymaga użycia dużych mocy obliczeniowych, obejmujących wiele procesorów. To z kolei wymaga odpowiednich algorytmów i aplikacji.. Niestety wiedza na temat ich stosowania jest ograniczona i dostępna jedynie w nielicznych instytucjach, takich jak ICM. Nawet w centrach superkomputerowych większość prowadzonych obliczeń wykorzystuje jedynie pojedyncze procesory, a możliwości komputerów wieloprocesorowych potrafi wykorzystać w pełni niewiele osób. Efektywne wykorzystanie zasobów obliczeniowych było więc jednym z zadań uczestników hackathonu Wielkie Wyzwania Programistyczne.

RYS. 3. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Warszawie i okolicy (na podstawie listy białych plam, kolor czerwony oznacza wysoką gęstość lokalizacji).Kliknij, aby powiększyćRYS. 3. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Warszawie i okolicy (na podstawie listy białych plam, kolor czerwony oznacza wysoką gęstość lokalizacji).

Wyniki hackathonu

3 zespoły zaprezentowały rozwiązania postawionego problemu, tj. podłączenia jak największej liczby punktów adresowych z listy białych plam. Zespoły rozwiązywały problem w dwóch wariantach:

1) połączenia punktów są realizowane za pomocą geometrycznie najkrótszych odcinków i

2) odcinki światłowodów muszą być prowadzone jedynie wzdłuż dróg (na podstawie OpenStreetMap).

RYS. 4. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Krakowie i okolicy (na podstawie listy białych plam, kolor czerwony oznacza wysoką gęstość lokalizacji).Kliknij, aby powiększyćRYS. 4. Gęstość lokalizacji bez szerokopasmowego dostępu do internetu w Krakowie i okolicy (na podstawie listy białych plam, kolor czerwony oznacza wysoką gęstość lokalizacji).

Zwycięski zespół w składzie: Aleksandra Kardaś, Rafał Kowalczyk, Piotr Konorski i Piotr Witkiewicz (studenci inżynierii obliczeniowej ICM UW) przedstawił sposób połączenia wszystkich punktów adresowych z listy białych plam (ponad 2,7 mln lokalizacji) z punktami dostępowymi (BTS) w wariancie pierwszym (najkrótsza droga) przy wykorzystaniu około 650 tys. km światłowodów (mniej niż podany w zadaniu limit 1 mln km światłowodów, oszacowany na podstawie środków przeznaczanych w POPC na ten cel wg średniego kosztu kilometra sieci światłowodowej). Zespół przedstawił wstępną propozycję poprowadzenia światłowodów wzdłuż dróg, zdefiniowanych w OpenStreet Map. Jednym z interesujących aspektów zaproponowanego rozwiązania była analiza gęstości punktów z listy białych plam. Oprogramowanie zostało wykonane w języku Java z wykorzystaniem biblioteki PCJ. Do obliczeń wykorzystano 60 węzłów komputera Okeanos (2880 rdzeni obliczeniowych). Jednorazowa analiza danych z wykorzystaniem wszystkich zasobów trwała 5-10 minut (przy wykorzystaniu jednego procesora wymagałaby to 250 godzin!).

RYS. 5. Przykładowe połączenia światłowodowe w modelu najkrótszych odległości (zielone linie). Punkty oznaczone kolorem czerwonym oznaczają lokalizacje z listy białych plam, niebieskie punkty oznaczają lokalizacje BTSów. 
Przedstawiony obszar obejmuje okolice węzła drogowego Konotopa w Warszawie.
Kliknij, aby powiększyćRYS. 5. Przykładowe połączenia światłowodowe w modelu najkrótszych odległości (zielone linie). Punkty oznaczone kolorem czerwonym oznaczają lokalizacje z listy białych plam, niebieskie punkty oznaczają lokalizacje BTSów. Przedstawiony obszar obejmuje okolice węzła drogowego Konotopa w Warszawie.

Zespół Marianny Zadrożnej (inżynieria obliczeniowa ICM UW) i Adama Zadrożnego (NCBJ) wykonał szereg analiz, opartych o mapę rozmieszczenia punktów bez Internetu w poszczególnych gminach (lub kilku sąsiednich gminach). Analizy pozwoliły oszacować długość światłowodu, niezbędną do podłączenia punktów na rozpatrywanym terenie. Na przykładowym obszarze 8 gmin można było podłączyć ponad 39 tys. lokalizacji. Oprogramowanie, przygotowane przez zespół, pozwala na optymalizację połączeń na wybranym obszarze oraz na wyznaczenie całkowitej długości połączeń.

Zespół Michała Żaka i Kamila Żyły (studenci 4. roku informatyki MIM UW) wykonał analizy opartych o wyszukiwanie lokalizacji znajdujących się najbliżej siebie. Ostatecznie zespół przedstawił koncepcję podłączenia około 90 tys. lokalizacji z wykorzystaniem 1 mln km światłowodów. Lokalizacje bez internetu zostały podłączone do najbliższego punktu dostępowego (BTS) bezpośrednim połączeniem światłowodowym. Projekt pokazuje istotność krajowej optymalizacji połączeń, pozwalającej, jak udowodniły prace innych zespołów, na znaczące zmniejszenie całkowitej długości światłowodów.

Można? Można!

Hackaton pokazał, że analiza dużych danych obejmujących ponad 2,7 mln lokalizacji jest możliwa z wykorzystaniem istniejących zasobów obliczeniowych, narzędzi programistycznych i kompetencji posiadanych przez studentów i pracowników ICM UW. Analiza i optymalizacja dużych sieci połączeń może być przeprowadzona w skali całego kraju z dowolną precyzją, w tym wypadku do pojedynczego budynku.

Hackathon pokazał potencjał ukryty w publicznie dostępnych bazach danych, pochodzących z różnych źródeł (Ministerstwo Cyfryzacji, UKE, domena publiczna). Niestety, dane są udostępniane w różnych formatach, co utrudnia ich komplementarne wykorzystanie (jednym z wyzwań była konwersja danych do wspólnego formatu). Hackathon pokazał, że choć bariery te można pokonać, to byłoby wskazane podjęcie działań zmierzających do ujednolicenia danych i zmniejszenia liczby formatów wykorzystywanych przez jednostki administracji publicznej.

Zespoły miały do dyspozycji szeroką gamę narzędzi programistycznych. Najbardziej efektywne rozwiązania powstały przy wykorzystaniu narzędzi rozwijanych w ICM UW (biblioteka PCJ do obliczeń równoległych, napisana w języku Java) oraz z wykorzystaniem języka Java, który pozwolił na wykorzystanie dostępnych bibliotek do czytania plików w różnych formatach, w tym danych OpenStreet Map zapisanych w formacie XML. Użycie tradycyjnych narzędzi takich jak biblioteka MPI (w języku C++) okazało się znacznie trudniejsze i powodowało wiele problemów z napisaniem poprawnego kodu i jego uruchomieniem (problemy te są dobrze znane i stanowią motywację do szukania innych rozwiązań w zakresie metod i języków programowania).

21 września 2017 r. Do dziś tytułem Lidera Informatyki poszczycić się może blisko 100 firm. W konkursie wyłaniamy firmy i instytucje, które wykorzystują innowacyjne rozwiązania IT, aby zwiększyć efektywność swoich działań. Już 21 września poznamy laureatów Konkursu Lider Informatyki 2017.

28-29 września 2017 r. Zarejestruj się Konferencja E-commerce Standard to jedna z najbardziej rozpoznawalnych i posiadająca najdłuższą historię konferencja poświęcona tematyce sprzedaży produktów i usług przez Internet.Jak co roku, konferencji będzie towarzyszyła premiera raportu z ogólnopolskiego badania branży e-commerce.E-commerce Standard 2017 to nie tylko wiedza i nowe doświadczenie, to także możliwość networkingu i nawiązania nowych relacji w branży...