`

hadoop 基本文件操作命令

阅读更多
1.将本地文件拷贝到 hdfs 文件系统中

bin/hadoop fs -copyFromLocal /server/bin/nutch/urls/url.txt   urls

2.将hdfs中的文件拷贝到本地路径

bin/hadoop fs -copyToLocal  urls(hdfs文件)  /opt/index (本地路径)

2.查看hdfs文件系统内文件列表

bin/hadoop dfs -ls

3.删除hdfs文件系统中的文件

bin/hadoop dfs -rmr urls

4.进入hdfs 目录

bin/hadoop fs -ls /user/admin/aaron

5. 创建目录

bin/hadoop fs -mkdir /user/suse/newDir

6.删除文件

bin/hadoop fs -rm /user/suse/crawl/needDelete

7.删除目录下所有文件

bin/hadoop fs -rmr /user/suse/

8.查看文件内容

bin/hadoop fs –cat /user/suse/newFile



2
11
分享到:
评论
1 楼 在水伊方 2011-08-18  
顶你,虽然看不懂

相关推荐

    Java操作Hadoop Mapreduce基本实践源码

    Java操作Hadoop Mapreduce基本实践源码.

    数据科学导论实验报告 实验2:熟悉常用的HDFS操作

    1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream”,要求如下:实现按行读取 HDFS 中指定...

    Hadoop原理与技术Linus命令行基本操作

    Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作,为顺利开展后续其他实验奠定基础。 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 ...

    实验二:熟悉常用的HDFS操作

    (2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2) Hadoop版本:2.7.1。 (3)JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。

    Hadoop从入门到上手企业开发

    003 Linux 环境下基本命令使用及Linux系统中文件的类型和权限 004 Linux 环境下基本命令讲解二 005 Linux 系统远程FTP工具与桌面工具XManager使用和培养三大能力 006 Linux 系统基本命令和基本配置的复习讲解 007 ...

    Hadoop原理与技术hdfs命令行基本操作

    熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1:hdfs常见命令: (1)查看帮助:hdfs dfs -help (2)查看当前目录信息:hdfs dfs -ls / (3...

    Hadoop实战中文版

    3.1 HDFS 文件操作 3.1.1 基本文件命令 3.1.2 编程读写HDFS 3.2 剖析MapReduce 程序 3.2.1 Hadoop数据类型 3.2.2 Mapper 3.2.3 Reducer 3.2.4 Partitioner:重定向Mapper输出 3.2.5 Combiner:本地reduce ...

    HDFS文件系统基本文件命令、编程读写HDFS

    本文档时Hadoop云计算平台下运用Hadoop API对HDFS进行相关的操作,详细的记录了程序在eclipse中的应用,代码内容和运行结果,是学习Hadoop非常有用的资料。

    (1)Hadoop伪分布模式安装.docx

    此步为可选项,建议用户创建一个新用户及用户组,后续的操作基本都是在此用户下来操作。但是用户亦可在自己当前非root用户下进行操作。 创建一个用户,名为hadoop,并为此用户创建home目录,此时会默认创建一个与...

    Hadoop实战中文版.PDF

    30第3章 Hadoop组件 313.1 HDFS文件操作 313.1.1 基本文件命令 323.1.2 编程读写HDFS 353.2 剖析MapReduce程序 373.2.1 Hadoop数据类型 393.2.2 Mapper 403.2.3 Reducer 413.2.4 Partitioner:...

    Hadoop实战(第2版)

    背景和基本原理1 跳跃中的Hadoop1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件1.1.2 Hadoop 生态圈1.1.3 物理架构1.1.4 谁在使用...1.2.1 下载并安装Hadoop1.2.2 Hadoop 的配置1.2.3 CLI 基本命令...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    分布式文件存储系统:HDFS 分布式计算框架:MapReduce 集群资源管理器:YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 ...

    大数据实验二-HDFS编程实践

    2)利用Hadoop提供的Java API进行基本的文件操作。 二.实验目的 1、理解HDFS在Hadoop体系结构中的角色。 2、熟练使用HDFS操作常用的Shell命令。 3、熟悉HDFS操作常用的JavaAPI。 三.实验过程截图及说明 ...... ...

    Hadoop实战

    313.1 HDFS文件操作 313.1.1 基本文件命令 323.1.2 编程读写HDFS 353.2 剖析MapReduce程序 373.2.1 Hadoop数据类型 393.2.2 Mapper 403.2.3 Reducer 413.2.4 Partitioner:重定向Mapper输出 413.2.5 Combiner:本地...

    Hadoop实战(陆嘉恒)译

    Hadoop组件3.1 HDFS 文件操作3.1.1 基本文件命令3.1.2 编程读写HDFS3.2 剖析MapReduce 程序3.2.1 Hadoop数据类型3.2.2 Mapper3.2.3 Reducer3.2.4 Partitioner:重定向Mapper输出3.2.5 Combiner:本地reduce3.2.6 ...

    Python+Spark+Hadoop实现的大数据基于用户画像电影推荐系统+源代码+文档说明+sql文件

    本系统是以Django作为基础框架,采用MTV模式,数据库使用MySQL和Redis,以从豆瓣平台爬取的电影数据作为基础数据源,主要基于用户的基本信息和使用操作记录等行为信息来开发用户标签,并使用Hadoop、Spark大数据组件...

    基于CentOS7平台的Hadoop安装及环境搭建全教程(不断更新)+源代码+文档说明

    **在操作过程中,如果遇到权限相关的问题,基本上在代码前面加sudo就可以解决(这样可以暂时获取权限)** ### 1.1 Hadoop用户的创建 如果你安装 CentOS 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 ...

    hadoop中文文档

    hadoop 中文文档index Prefetch chain 预处理链 Pre selector Precondition Enforcer Fetch chain 提取链 Fetch DNS Fetch Http Extractor chain抽取链 Extractor HTML Extractor JS Write Chain 写链 ARC ...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— YARN Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop ...

    java大数据内容_2HDFS

    HDFS基本操作命令: -help [cmd] // 显示命令的帮助信息 -ls(r) <path> // 显示当前目录下的所有文件 -du(s) <path> // 显示目录中所有文件大小 -count[-q] <path> // 显示目录中文件数量 -mv <src> <dst> // 移动多...

Global site tag (gtag.js) - Google Analytics