From 409a2489d7acbf6550f40f063c143bc0fbd02f8d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Pawe=C5=82=20Skurzy=C5=84ski?= Date: Fri, 5 Apr 2024 17:25:06 +0200 Subject: [PATCH] update --- .DS_Store | Bin 6148 -> 6148 bytes lab/LAB_01.md | 6 +++--- mr/.DS_Store | Bin 6148 -> 6148 bytes mr/python/wordcount.sh | 8 ++++---- 4 files changed, 7 insertions(+), 7 deletions(-) diff --git a/.DS_Store b/.DS_Store index b8ac28e6e0c47886bde131b0b27570c310d3439b..202195e8c630b9fe1b38dc4be4c04ab069deaf8e 100644 GIT binary patch delta 17 YcmZoMXfc?uo{@3m#xVBHY#jgi0XfMAHvj+t delta 15 WcmZoMXfc?ue&fb4_RXvu|M>wlVg@w; diff --git a/lab/LAB_01.md b/lab/LAB_01.md index b23cedd..bd5bdf7 100644 --- a/lab/LAB_01.md +++ b/lab/LAB_01.md @@ -2,7 +2,7 @@ Do wykonania ćwiczeń należy skopiować repozytorium: ```shell -git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_zaliczenie +git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_sorted.git ``` Celem ćwiczenia jest zaprezentowanie aplikacji w oparciu o algorytm MapReduce z wykorzystaniem: @@ -18,7 +18,7 @@ WordCount jest „odpowiednikiem Hello World” w świecie Big Data. Ćwiczenie Aby wykonać ćwiczenia, należy skopiować folder _books_ do systemu HDFS: ``` hdfs dfs -mkdir -p tmp -hdfs dfs -copyFromLocal ~/hadoop_zaliczenie/mr/books tmp/books +hdfs dfs -copyFromLocal ~/hadoop_sorted/mr/books tmp/books ``` ## 1.WordCount – Hadoop Streaming Hadoop streaming umożliwia użytkownikom wykorzystanie mappera i reducera napisanego w dowolnym języku programowania. Jedynym wymaganiem jest obecność interpretera na każdym z węzłów. @@ -36,7 +36,7 @@ Mapper i reducer napisane w języku Python znajdują się w folderze _~/apache_h #### 1.1.2.Uruchomienie algorytmu Aplikację można uruchomić poprzez wykonanie komendy: ``` -bash ~/hadoop_zaliczenie/mr/python/wordcount.sh +bash ~/hadoop_sorted/mr/python/wordcount.sh ``` Uruchom aplikację i wyjaśnij co jest wynikiem działania tego algorytmu? diff --git a/mr/.DS_Store b/mr/.DS_Store index 5117ba30fa365d4e4e0f636e8dc6a53c5a0c7254..0f95520c8457be0ea69fa299c1f93c06a59a0143 100644 GIT binary patch delta 18 acmZoMXfc?uWMYc?#sfC&o7p-3@&f=!F9$mS delta 20 ccmZoMXfc?ugpqOM#xVAY2Y5EKbNuB808nuUi2wiq diff --git a/mr/python/wordcount.sh b/mr/python/wordcount.sh index afdc3ea..455cb59 100644 --- a/mr/python/wordcount.sh +++ b/mr/python/wordcount.sh @@ -4,9 +4,9 @@ yarn jar /usr/lib/hadoop/hadoop-streaming.jar \ -D mapred.reduce.tasks=2 \ -input tmp/books \ -output tmp/python/output \ - -mapper ~/hadoop_zaliczenie/mr/python/mapper.py \ - -reducer ~/hadoop_zaliczenie/mr/python/reducer.py \ - -file ~/hadoop_zaliczenie/mr/python/mapper.py \ - -file ~/hadoop_zaliczenie/mr/python/reducer.py + -mapper ~/hadoop_sorted/mr/python/mapper.py \ + -reducer ~/hadoop_sorted/mr/python/reducer.py \ + -file ~/hadoop_sorted/mr/python/mapper.py \ + -file ~/hadoop_sorted/mr/python/reducer.py hdfs dfs -cat tmp/python/output/part-*