diff --git a/.DS_Store b/.DS_Store index b8ac28e..202195e 100644 Binary files a/.DS_Store and b/.DS_Store differ diff --git a/lab/LAB_01.md b/lab/LAB_01.md index b23cedd..bd5bdf7 100644 --- a/lab/LAB_01.md +++ b/lab/LAB_01.md @@ -2,7 +2,7 @@ Do wykonania ćwiczeń należy skopiować repozytorium: ```shell -git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_zaliczenie +git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_sorted.git ``` Celem ćwiczenia jest zaprezentowanie aplikacji w oparciu o algorytm MapReduce z wykorzystaniem: @@ -18,7 +18,7 @@ WordCount jest „odpowiednikiem Hello World” w świecie Big Data. Ćwiczenie Aby wykonać ćwiczenia, należy skopiować folder _books_ do systemu HDFS: ``` hdfs dfs -mkdir -p tmp -hdfs dfs -copyFromLocal ~/hadoop_zaliczenie/mr/books tmp/books +hdfs dfs -copyFromLocal ~/hadoop_sorted/mr/books tmp/books ``` ## 1.WordCount – Hadoop Streaming Hadoop streaming umożliwia użytkownikom wykorzystanie mappera i reducera napisanego w dowolnym języku programowania. Jedynym wymaganiem jest obecność interpretera na każdym z węzłów. @@ -36,7 +36,7 @@ Mapper i reducer napisane w języku Python znajdują się w folderze _~/apache_h #### 1.1.2.Uruchomienie algorytmu Aplikację można uruchomić poprzez wykonanie komendy: ``` -bash ~/hadoop_zaliczenie/mr/python/wordcount.sh +bash ~/hadoop_sorted/mr/python/wordcount.sh ``` Uruchom aplikację i wyjaśnij co jest wynikiem działania tego algorytmu? diff --git a/mr/.DS_Store b/mr/.DS_Store index 5117ba3..0f95520 100644 Binary files a/mr/.DS_Store and b/mr/.DS_Store differ diff --git a/mr/python/wordcount.sh b/mr/python/wordcount.sh index afdc3ea..455cb59 100644 --- a/mr/python/wordcount.sh +++ b/mr/python/wordcount.sh @@ -4,9 +4,9 @@ yarn jar /usr/lib/hadoop/hadoop-streaming.jar \ -D mapred.reduce.tasks=2 \ -input tmp/books \ -output tmp/python/output \ - -mapper ~/hadoop_zaliczenie/mr/python/mapper.py \ - -reducer ~/hadoop_zaliczenie/mr/python/reducer.py \ - -file ~/hadoop_zaliczenie/mr/python/mapper.py \ - -file ~/hadoop_zaliczenie/mr/python/reducer.py + -mapper ~/hadoop_sorted/mr/python/mapper.py \ + -reducer ~/hadoop_sorted/mr/python/reducer.py \ + -file ~/hadoop_sorted/mr/python/mapper.py \ + -file ~/hadoop_sorted/mr/python/reducer.py hdfs dfs -cat tmp/python/output/part-*