๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กterasort (1)

data_lab

[Hadoop] Hadoop 3.1.1 ๋ฒ„์ „ ํ…Œ์ŠคํŠธ / ํ•˜๋‘ก ํ…Œ์ŠคํŠธ ๋ฐฉ๋ฒ•

ํ•˜๋‘ก์„ ์„ค์น˜ํ•˜๊ณ  ํ™˜๊ฒฝ์— ๋งž๊ฒŒ ์„ธํŒ…ํ•œ ํ›„ ์ •์ƒ์ ์œผ๋กœ ์„ค์น˜๊ฐ€ ๋˜์—ˆ๋Š”์ง€ ํ™•์ธํ•  ํ•„์š”๊ฐ€ ์žˆ๋‹ค. ๊ธฐ๋ณธ์ ์œผ๋กœ ์ œ๊ณตํ•˜๋Š” example.jar ํŒŒ์ผ์„ ํ†ตํ•ด ์ž„์˜์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ์„ฑํ•˜๊ณ  ๋ณ‘๋ ฌ์ฒ˜๋ฆฌํ•˜์—ฌ ์ •๋ ฌ, ์ •๋ ฌ๋œ ๋ฐ์ดํ„ฐ์˜ ์œ ํšจ์„ฑ์„ ๊ฒ€์‚ฌํ•˜์—ฌ ๊ธฐ๋ณธ์ ์ธ ์„ฑ๋Šฅ์„ ํ…Œ์ŠคํŠธํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. ๊ณต์‹์‚ฌ์ดํŠธ์—์„œ๋Š” ์˜ˆ์ œ ์ฐพ๊ธฐ ํž˜๋“ค์—ˆ๊ณ , microsoft azure๋ฅผ ์ฐธ๊ณ ํ•˜์—ฌ ํ…Œ์ŠคํŠธ๋ฅผ ์ง„ํ–‰ํ–ˆ๋‹ค. https://docs.microsoft.com/ko-kr/azure/hdinsight/hadoop/apache-hadoop-run-samples-linux HDInsight์—์„œ Apache Hadoop MapReduce ์˜ˆ์ œ ์‹คํ–‰ - Azure HDInsight์— ํฌํ•จ๋œ jar ํŒŒ์ผ์˜ MapReduce ์ƒ˜ํ”Œ์„ ์‚ฌ์šฉํ•˜์—ฌ ์‹œ์ž‘ํ•˜์„ธ์š”. SSH๋ฅผ ํ†ตํ•ด ํด๋Ÿฌ์Šคํ„ฐ์—..