update
This commit is contained in:
parent
75238b5071
commit
409a2489d7
@ -2,7 +2,7 @@
|
||||
|
||||
Do wykonania ćwiczeń należy skopiować repozytorium:
|
||||
```shell
|
||||
git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_zaliczenie
|
||||
git clone https://git.wmi.amu.edu.pl/s1201683/hadoop_sorted.git
|
||||
```
|
||||
Celem ćwiczenia jest zaprezentowanie aplikacji w oparciu o algorytm MapReduce z wykorzystaniem:
|
||||
|
||||
@ -18,7 +18,7 @@ WordCount jest „odpowiednikiem Hello World” w świecie Big Data. Ćwiczenie
|
||||
Aby wykonać ćwiczenia, należy skopiować folder _books_ do systemu HDFS:
|
||||
```
|
||||
hdfs dfs -mkdir -p tmp
|
||||
hdfs dfs -copyFromLocal ~/hadoop_zaliczenie/mr/books tmp/books
|
||||
hdfs dfs -copyFromLocal ~/hadoop_sorted/mr/books tmp/books
|
||||
```
|
||||
## 1.WordCount – Hadoop Streaming
|
||||
Hadoop streaming umożliwia użytkownikom wykorzystanie mappera i reducera napisanego w dowolnym języku programowania. Jedynym wymaganiem jest obecność interpretera na każdym z węzłów.
|
||||
@ -36,7 +36,7 @@ Mapper i reducer napisane w języku Python znajdują się w folderze _~/apache_h
|
||||
#### 1.1.2.Uruchomienie algorytmu
|
||||
Aplikację można uruchomić poprzez wykonanie komendy:
|
||||
```
|
||||
bash ~/hadoop_zaliczenie/mr/python/wordcount.sh
|
||||
bash ~/hadoop_sorted/mr/python/wordcount.sh
|
||||
```
|
||||
Uruchom aplikację i wyjaśnij co jest wynikiem działania tego algorytmu?
|
||||
|
||||
|
BIN
mr/.DS_Store
vendored
BIN
mr/.DS_Store
vendored
Binary file not shown.
@ -4,9 +4,9 @@ yarn jar /usr/lib/hadoop/hadoop-streaming.jar \
|
||||
-D mapred.reduce.tasks=2 \
|
||||
-input tmp/books \
|
||||
-output tmp/python/output \
|
||||
-mapper ~/hadoop_zaliczenie/mr/python/mapper.py \
|
||||
-reducer ~/hadoop_zaliczenie/mr/python/reducer.py \
|
||||
-file ~/hadoop_zaliczenie/mr/python/mapper.py \
|
||||
-file ~/hadoop_zaliczenie/mr/python/reducer.py
|
||||
-mapper ~/hadoop_sorted/mr/python/mapper.py \
|
||||
-reducer ~/hadoop_sorted/mr/python/reducer.py \
|
||||
-file ~/hadoop_sorted/mr/python/mapper.py \
|
||||
-file ~/hadoop_sorted/mr/python/reducer.py
|
||||
|
||||
hdfs dfs -cat tmp/python/output/part-*
|
||||
|
Loading…
Reference in New Issue
Block a user