🥞 BE
home

Windows 기반 Spark 기초 환경 설정

Date
2023/06/23
Category
Data Engineering
Tag
Apache Spark
Detail
1.
파이썬
2.
주피터
3.
JAVA
4.
SPARK
5.
PYSPARK
파이썬과 주피터는 아나콘다로 기존에 모두 설치해뒀었기에, 345만 새로 설치했다.
JAVA는 오라클 홈페이지에서 JDK Development Kit 20.0.1 downloads 눌러서 설치했다.
SPARK는 install spark 검색해서 아래 사이트에 들어간 후,
위 버전과 같이 설치했다.
해당 버전 설치 후, C드라이브에 Spark 폴더와 함께 위의 tgz 파일 압축해제한 거 복붙, https://github.com/cdarlint/winutils 들어가서 파일 다운로드 후 Hadoop 버전 확인. 똑같이 C드라이브에 bin 파일 복붙하면 Spark 설치도 끝난다.
PYSPARK는 아나콘다 프롬프트에서 pip install pyspark 명령어로 설치.
이후 환경변수를 모두 지정해준다.