- Spark大数据处理与分析
- 雷擎编著
- 184字
- 2021-03-27 00:15:36
1.5 环境部署
针对本教材的内容,Spark开发环境的部署基于Docker容器的技术,可以直接下载预先编译的Docker镜像,此镜像已经发布到https://hub.docker.com/r/leeivan/spark-lab-env/。然后通过镜像文件创建和运行Spark开发环境的容器,其前提条件是首先安装Docker客户端程序,然后执行如下命令:
![](https://epubservercos.yuewen.com/70A2A8/19549640908915106/epubprivate/OEBPS/Images/Figure-P56_5054.jpg?sign=1739485331-3L8DvwzitPLDvsQY0OZxQ6r6d81HXoFq-0-5ae5b0bd70ce20bf6e55834955ad904a)
命令1-42
本教材涉及的部分代码已经上传到Github,地址为https://github.com/leeivan/spark-app。进入上面命令创建的容器内,下载代码程序,执行命令如下:
![](https://epubservercos.yuewen.com/70A2A8/19549640908915106/epubprivate/OEBPS/Images/Figure-P56_5062.jpg?sign=1739485331-nqaogYrjxQCXcNngdivlWcsRQNhzIAt7-0-e918bbb2e6e4e9e600af0efc7d14b4de)
命令1-43
这样就会在root目录中创建spark-app目录,其中包括了代码程序。