Kubernetes Spark, Hadoop 설치하기

2020. 8. 18. 17:29System/Beginner

출처: https://tlsdmstn56.github.io/spark-on-kubernetes/

 

[정리] Kubernetes에서 Spark 실행하기

Running Spark on Kubernetes를 보고 정리해보았습니다. Spark 2.3+ 이상에서만 지원되며 pyspark 나 자동 스케일업 등의 기능들은 아직 개발 중인 것으로 알고 있습니다.

tlsdmstn56.github.io

쿠버네티스 작동원리 이해:

https://bcho.tistory.com/1255?category=731548

 

쿠버네티스 #1 - 소개

Kubernetes #1 - 소개 조대협 (http://bcho.tistory.com) 배경 도커와 쿠버네티스를 알게 된건 수년전인데, 근래에 들어서 다시 쿠버네티스를 보기 시작하였다. 컨테이너 기반의 환경은 배포에 장점이 있고

bcho.tistory.com

컨테이너 운영환경 중 가장 활발히 이용되는 것이 쿠버네티스.

구글은 내부 서비스를 클라우드 환경에서 운영하고 있으며, 일찌감치 컨테이너 환경을 사용해왔다. 구글의 내부 컨테이너 서비스를 Borg라고 하는데, 이 구조를 오픈소스화한것이 쿠버네티스이다.

https://m.blog.naver.com/acornedu/221083892521

 

[빅데이터] 하둡(Hadoop)과 아파치 스파크(Spark) 파헤치기

안녕하세요, 정말 오랜만에 돌아온 블로그 에디터 미라미 입니다. (ㆁᴗㆁ✿) 오늘은 오랜만에 ...

blog.naver.com

 

'System > Beginner' 카테고리의 다른 글

sudo kubectl get nodes 에러 해결법  (0) 2020.08.21
쿠버네티스-하둡 설치  (0) 2020.08.19
Kubernetes 에러났을 때  (0) 2020.08.18
쿠버네티스 알아보기  (0) 2020.07.22
가장 빨리 만나는 Docker 챕터 tutorial  (0) 2020.07.14