当前位置: 首页 > news >正文

安微建设厅网站查架子工真假百度关键词代做排名

安微建设厅网站查架子工真假,百度关键词代做排名,网站开发工程师证书有用吗,iis网站下载系列文章目录 spark第一章:环境安装 文章目录系列文章目录前言一、文件准备1.文件上传2.文件解压3.修改配置4.启动环境二、历史服务器1.修改配置2.启动历史服务器总结前言 spark在大数据环境的重要程度就不必细说了,直接开始吧。 一、文件准备 1.文件…

系列文章目录

spark第一章:环境安装


文章目录

  • 系列文章目录
  • 前言
  • 一、文件准备
    • 1.文件上传
    • 2.文件解压
    • 3.修改配置
    • 4.启动环境
  • 二、历史服务器
    • 1.修改配置
    • 2.启动历史服务器
  • 总结


前言

spark在大数据环境的重要程度就不必细说了,直接开始吧。


一、文件准备

1.文件上传

spark3.2.3官网下载地址。
在这里插入图片描述
本次学习spark使用稳定版3.2.3.
spark一般有3种部署模式。
Local一般用于测试。
Standalone用于学习
Yarn生产环境常用部署。
我们直接模拟生产环境。

2.文件解压

tar -xvf spark-3.3.2-bin-hadoop3.tgz -C /opt/module/
cd /opt/module/
mv spark-3.3.2-bin-hadoop3/ spark-yarn

3.修改配置

spark是基于hadoop允许的,所以我们要修改hadoop的配置文件。

vim /opt/module/hadoop-3.2.3/etc/hadoop/yarn-site.xml
<!--是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>
</property><!--是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是 true -->
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>
</property>

将这个文件分发到集群

xsync hadoop-3.2.3/etc/hadoop/

修改spark的conf文件
在这里插入图片描述

mv spark-env.sh.template spark-env.sh

在最后边追加两行内容

export JAVA_HOME=/opt/module/jdk8u282-b08
YARN_CONF_DIR=/opt/module/hadoop-3.2.3/etc/hadoop

在这里插入图片描述

4.启动环境

先启动hadoop
在这里插入图片描述
提交spark任务。

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster ./examples/jars/spark-examples_2.12-3.3.2.jar 10

在浏览器查看结果
hadoop103:8088
在这里插入图片描述

二、历史服务器

1.修改配置

在这里插入图片描述

mv spark-defaults.conf.template spark-defaults.conf

在文件后边追加。

spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/directory

在集群上创建需要的目录

 hadoop fs -mkdir /directory

修改spark-env.sh
在后边追加如下内容

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

修改 spark-defaults.conf
继续追加

spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080

2.启动历史服务器

sbin/start-history-server.sh

再次提交应用

bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client ./examples/jars/spark-examples_2.12-3.3.2.jar 10

在这里插入图片描述
继续在hadoop103上查看结果。
在这里插入图片描述
最后边点击history
在这里插入图片描述
自动跳转到历史服务器。
在这里插入图片描述


总结

spark第一章的环境搭建就到这里,现在可以将3个虚拟机保存快照。

http://www.hengruixuexiao.com/news/42624.html

相关文章:

  • 政府单位门户网站开发文档谷歌浏览器安卓版下载
  • 百度云服务器一年多少钱如何优化网络环境
  • 做网站必须要虚拟主机吗怎么优化整站
  • 南阳建网站企业有哪些百度广告位价格表
  • 我在日本做动画视频网站独立网站和平台网站
  • 洛阳万悦网站建设如何提高网站的搜索排名
  • 购物网站开发案例教程成人技能培训机构
  • 专业网站制作需要多少钱东莞seo培训
  • 导航网站制作 zhihu打广告去哪个平台
  • wordpress的登录密码青岛网站seo公司
  • 秦皇岛手机网站看b站二十四小时直播间
  • 夏天做啥网站能致富seo实战
  • 芜湖做网站设计的公司重庆电子商务网站seo
  • 政府网站开发的目的seo技术团队
  • 大连龙采做网站外链代发2分一条
  • 教学互动网站开发背景安徽百度推广怎么做
  • 汕头网站建设只需要800谷歌搜索为什么用不了
  • 佛山制作手机网站外贸网站平台有哪些
  • 北京网站制作公司seo海外
  • 柳林网站建设广州网站制作服务
  • 有些公司做网站比较好的品牌运营
  • 建设一个地方门户网站公司推广方案
  • 长春专业做网站的公司有哪些长沙本地推广平台
  • java开发做网站武汉seo全网营销
  • 网站seo诊断的主要内容网站seo培训
  • dremwear做网站网站一级域名和二级域名
  • wordpress做物流网站株洲seo推广
  • 各大网站做推广广告百度指数专业版价格
  • 网站做曲线的源代码做seo推广公司
  • 网站建设中遇到的问题搜索引擎优化 简历