1、在虚拟机上安装IDE
首先将将scala-intellij-bin-1.4.15.zip移至虚拟机的用户主目录下
cd idea-IC-141.178.9/
打开idea ide
bin/idea.sh
开始设置ide:
ok->Darcula->Next:Default plugins->Start using intellij IDEA->Start using intellij IDEA
进入主界面点下面的Configure按钮中的Plugins-》Install plugin from disk
->ok
在主目录的scala-intellij-bin-1.4.15.zip下选ok->ok->ok->restart
2、新建工程
主界面选择 creat progject(填名字)->Scala->Scala->ok->ScalaSDK:creat->Browse(Scala2.10.4)->ok->ProjectSDK:New(1.7java version1.7.0.71)->ok
file->project Structure->Modules -> + ->src中创建main再在main下创建java、scala、resource,然后将java和scala分别右键点选source,将resource右键点选resource
再Libraries中添加java右键选第二个,找到主文件夹下的spark-1.4.0-bin-hadoop2.4下的lib中找到前五个jar包选中点ok再ok再ok,这样一个基本路径创建成功,
进入到刚刚创建的工程的src下的scala中右键点new->package(写名字)
在点刚创建好的package右键scala class,创建时将kind改为object
就可以进入的一个你刚刚创建的idea写入代码.
写好的代码可以在hdfs中打包运行。注意路径:1.hdfs://cloud01:9000/打包文件路径;2.spark://192.168.136.129:7077(此id为master所在路径)
3、打包运行
File中点projectStructure的Artifacts,+JAR右键From modules with...
找到 Main class中的文件后点ok
注意1.修改Output Layout为自己的主文件夹,不然运行hdfs是不好找打包的jar的路径
2.将jar中除了最后一个compile output包保留之外其他全部删除,避免运行缓慢,
设置后点选aplly然后点ok
回到idea中找到主界面的Build按钮点选Build Artifacts然后jar包点右键选Build,如果打包后修改代码就点Rebuild
4、hdfs中运行
在idea和hadoop集群还有spark打开的情况下
Ctrl+Alt+t打开新的终端输入:
cd ~/spark-1.4.0-bin-hadoop2.4
bin/spark-submit ~/你的jar包
即可运行
5、案例