idea操作hdfs


准备工作:
1.把hadoop的jar放在一个文件

idea操作hdfs

2.idea的导包

idea操作hdfs

idea操作hdfs
idea操作hdfs
idea操作hdfs

3.点击ok我们就完成了idea的hadoop的jar导入工作
一、在HDFS上创建目录或文件
1.获取HDFS配置 hdfs namenode

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://ip地址:9000");

2.根据配置连接HDFS

FileSystem fileSystem = FileSystem.get(configuration);

3.用HDFS创建目录

fileSystem.create(new Path("/shangdongqinggong"));
fileSystem.mkdirs(new Path("/shangdongqinggong02"));

4.关闭资源

fileSystem.close();

5.如果抛出异常:

​ 我们可以修改hadoop的配置文件 hdfs-site.xml

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0vhIYRoy-1601095079060)(C:\Users\陈同学\AppData\Roaming\Typora\typora-user-images\image-20200926122028181.png)]

二、在HDFS上传文件
1.获取HDFS配置 hdfs namenode

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip地址:9000");

2.根据配置连接HDFS

FileSystem fileSystem = FileSystem.get(configuration);

3.读取硬板上的数据

InputStream inputStream=new FileInputStream(new File("本地文件的路径"));

4.规划上传文件的位置

OutputStream outputStream =fileSystem.create(new Path("/上传路径"));

5.上传

IOUtils.copyBytes(inputStream,outputStream,configuration);

6.关闭资源

outputStream.close();
inputStream.close();
fileSystem.close();

三、下载文件到本地
1.获取HDFS配置 hdfs namenode

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip地址:9000");

2.根据配置连接HDFS

FileSystem fileSystem = FileSystem.get(configuration);

3.读取HDFS上的数据

InputStream inputStream=fileSystem.open(new Path("文件路径名"));

4.规划硬盘上的存储位置

OutputStream outputStream=new FileOutputStream(new File("E:\\apps\\"));

5.下载

IOUtils.copyBytes(inputStream,outputStream,configuration);

6.关闭资源

outputStream.close();
inputStream.close();
fileSystem.close();

四、删除HDFS的文件
1.获取HDFS配置 hdfs namenode

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip地址:9000");

2.根据配置连接HDFS

FileSystem fileSystem = FileSystem.get(configuration);

3.删除 true 如果是文件夹,有子文件夹,同时删除

fileSystem.delete(new Path("/文件名"),true);
fileSystem.delete(new Path("/文件名"), false);

4.关闭资源

fileSystem.close();

五、查看文件
1.获取HDFS配置 hdfs namenode

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip地址:9000");

2.根据配置连接HDFS

FileSystem fileSystem = FileSystem.get(configuration);

3.查看文件系统中文件

RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(new Path("/"), true);
while (iterator.hasNext()){
LocatedFileStatus fileStatus=iterator.next();
System.out.println(fileStatus.getPath());
System.out.println(fileStatus.getLen());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getOwner());
}

4.关闭资源

fileSystem.close();

六、完整代码

intln(fileStatus.getLen());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getOwner());
}


## 4.关闭资源

```java
fileSystem.close();

六、完整代码

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vj5oWsZ9-1601095079062)(C:\Users\陈同学\AppData\Roaming\Typora\typora-user-images\image-20200926122217224.png)]

原创:https://www.panoramacn.com
源码网提供WordPress源码,帝国CMS源码discuz源码,微信小程序,小说源码,杰奇源码,thinkphp源码,ecshop模板源码,微擎模板源码,dede源码,织梦源码等。

专业搭建小说网站,小说程序,杰奇系列,微信小说系列,app系列小说

idea操作hdfs

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。

您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可-> 联系客服 投诉资源
www.panoramacn.com资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:2640602276@qq.com
未经允许不得转载:书荒源码源码网每日更新网站源码模板! » idea操作hdfs
关注我们小说电影免费看
关注我们,获取更多的全网素材资源,有趣有料!
120000+人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

您的打赏就是我分享的动力!

支付宝扫一扫打赏

微信扫一扫打赏