博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark-Day2
阅读量:6628 次
发布时间:2019-06-25

本文共 1340 字,大约阅读时间需要 4 分钟。

1、在虚拟机上安装IDE

首先将将scala-intellij-bin-1.4.15.zip移至虚拟机的用户主目录下

cd idea-IC-141.178.9/

打开idea ide

bin/idea.sh

开始设置ide:

ok->Darcula->Next:Default plugins->Start using intellij IDEA->Start using intellij IDEA

进入主界面点下面的Configure按钮中的Plugins-》Install plugin from disk

->ok

在主目录的scala-intellij-bin-1.4.15.zip下选ok->ok->ok->restart

2、新建工程

主界面选择 creat progject(填名字)->Scala->Scala->ok->ScalaSDK:creat->Browse(Scala2.10.4)->ok->ProjectSDK:New(1.7java version1.7.0.71)->ok

file->project Structure->Modules -> + ->src中创建main再在main下创建java、scala、resource,然后将java和scala分别右键点选source,将resource右键点选resource

再Libraries中添加java右键选第二个,找到主文件夹下的spark-1.4.0-bin-hadoop2.4下的lib中找到前五个jar包选中点ok再ok再ok,这样一个基本路径创建成功,

进入到刚刚创建的工程的src下的scala中右键点new->package(写名字)

在点刚创建好的package右键scala class,创建时将kind改为object

就可以进入的一个你刚刚创建的idea写入代码.

写好的代码可以在hdfs中打包运行。注意路径:1.hdfs://cloud01:9000/打包文件路径;2.spark://192.168.136.129:7077(此id为master所在路径)

3、打包运行

File中点projectStructure的Artifacts,+JAR右键From modules with...

找到 Main class中的文件后点ok

注意1.修改Output Layout为自己的主文件夹,不然运行hdfs是不好找打包的jar的路径

2.将jar中除了最后一个compile output包保留之外其他全部删除,避免运行缓慢,

设置后点选aplly然后点ok

回到idea中找到主界面的Build按钮点选Build Artifacts然后jar包点右键选Build,如果打包后修改代码就点Rebuild

4、hdfs中运行

在idea和hadoop集群还有spark打开的情况下

Ctrl+Alt+t打开新的终端输入:

cd ~/spark-1.4.0-bin-hadoop2.4

bin/spark-submit ~/你的jar包

即可运行

5、案例

 

转载于:https://www.cnblogs.com/Jenny89/p/6659888.html

你可能感兴趣的文章
JQuery读取XML文件
查看>>
正向代理与反向代理
查看>>
图解设计模式-Strategy模式
查看>>
C++ Virtual 关键字
查看>>
兩個集合之間的全體部分函數可以形成一個集合
查看>>
subline 快捷键与功能解释
查看>>
关于informatica的Dynamic Lookup组件使用中遇到的一个问题的思考
查看>>
[转]模拟频率与数字频率
查看>>
转 Spring Security 简介
查看>>
DP ZOJ 3735 Josephina and RPG
查看>>
数位DP GYM 100827 E Hill Number
查看>>
有关SQLite的substr函数的笔记
查看>>
Kafka 配置参数汇总及相关说明
查看>>
Joel在耶鲁大学的演讲
查看>>
【C语言】类型限定词
查看>>
TypeScript 素描-变量声明
查看>>
AMF序列化为对象和AMF序列化为二进制字节流
查看>>
Python3 学习
查看>>
python之路day12--装饰器的进阶
查看>>
[LeetCode] Two Sum III - Data Structure Design
查看>>