This commit is contained in:
Paweł Skurzyński 2024-04-05 17:25:06 +02:00
parent 75238b5071
commit 409a2489d7
4 changed files with 7 additions and 7 deletions

BIN
.DS_Store vendored

Binary file not shown.

View File

@ -2,7 +2,7 @@
Do wykonania ćwiczeń należy skopiować repozytorium:
```shell
git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_zaliczenie
git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_sorted.git
```
Celem ćwiczenia jest zaprezentowanie aplikacji w oparciu o algorytm MapReduce z wykorzystaniem:
@ -18,7 +18,7 @@ WordCount jest „odpowiednikiem Hello World” w świecie Big Data. Ćwiczenie
Aby wykonać ćwiczenia, należy skopiować folder _books_ do systemu HDFS:
```
hdfs dfs -mkdir -p tmp
hdfs dfs -copyFromLocal ~/hadoop_zaliczenie/mr/books tmp/books
hdfs dfs -copyFromLocal ~/hadoop_sorted/mr/books tmp/books
```
## 1.WordCount Hadoop Streaming
Hadoop streaming umożliwia użytkownikom wykorzystanie mappera i reducera napisanego w dowolnym języku programowania. Jedynym wymaganiem jest obecność interpretera na każdym z węzłów.
@ -36,7 +36,7 @@ Mapper i reducer napisane w języku Python znajdują się w folderze _~/apache_h
#### 1.1.2.Uruchomienie algorytmu
Aplikację można uruchomić poprzez wykonanie komendy:
```
bash ~/hadoop_zaliczenie/mr/python/wordcount.sh
bash ~/hadoop_sorted/mr/python/wordcount.sh
```
Uruchom aplikację i wyjaśnij co jest wynikiem działania tego algorytmu?

BIN
mr/.DS_Store vendored

Binary file not shown.

View File

@ -4,9 +4,9 @@ yarn jar /usr/lib/hadoop/hadoop-streaming.jar \
-D mapred.reduce.tasks=2 \
-input tmp/books \
-output tmp/python/output \
-mapper ~/hadoop_zaliczenie/mr/python/mapper.py \
-reducer ~/hadoop_zaliczenie/mr/python/reducer.py \
-file ~/hadoop_zaliczenie/mr/python/mapper.py \
-file ~/hadoop_zaliczenie/mr/python/reducer.py
-mapper ~/hadoop_sorted/mr/python/mapper.py \
-reducer ~/hadoop_sorted/mr/python/reducer.py \
-file ~/hadoop_sorted/mr/python/mapper.py \
-file ~/hadoop_sorted/mr/python/reducer.py
hdfs dfs -cat tmp/python/output/part-*