一、fs.defaultfs是什么

fs.defaultfs是Hadoop分布式文件系統(tǒng)中默認(rèn)的文件系統(tǒng)URI。

在Hadoop集群中，有許多不同的文件系統(tǒng)可供選擇，包括HDFS（Hadoop分布式文件系統(tǒng)）、S3、本地文件系統(tǒng)等等。fs.defaultfs指定我們?cè)谑褂肏adoop分布式文件系統(tǒng)API時(shí)使用哪個(gè)文件系統(tǒng)。

例如，在以下示例代碼中，如果我們未指定URI，則所使用的文件系統(tǒng)將為fs.defaultfs所配置的文件系統(tǒng)：

FileSystem fs = FileSystem.get(conf);

二、fs.defaultfs與Spark Jar文件處理

當(dāng)我們使用Spark處理Hadoop文件系統(tǒng)中的Jar文件時(shí)，需要使用fs.defaultfs指定所選文件系統(tǒng)而不是本地文件系統(tǒng)。

以下是示例代碼：

SparkConf conf = new SparkConf().setAppName("MyApp")
                                 .setMaster("local")
                                 .set("spark.jars", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.driver.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("spark.executor.extraClassPath", "hdfs://localhost:9000/path/to/your.jar")
                                 .set("fs.defaultfs", "hdfs://localhost:9000");
JavaSparkContext jsc = new JavaSparkContext(conf);

三、fs.defaultfs未設(shè)置的影響

如果您沒有設(shè)置fs.defaultfs，則可能會(huì)在使用HDFS之外的文件系統(tǒng)時(shí)遇到問題。

例如，如果您試圖使用以下代碼創(chuàng)建一個(gè)在本地文件系統(tǒng)上的文件：

FileSystem fs = FileSystem.get(new Configuration());
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);

你可能會(huì)遇到如下異常：

java.lang.IllegalArgumentException: Wrong FS: file:/path/to/file, expected: hdfs://localhost:9000

這個(gè)異常是因?yàn)槭褂昧伺渲脼椤癴s.defaultfs”所描述的默認(rèn)文件系統(tǒng)（在本例中為HDFS）。

四、使用fs.defaultfs創(chuàng)建ViewFS中的文件

ViewFS是一個(gè)允許用戶將多個(gè)Hadoop文件系統(tǒng)視為單個(gè)文件系統(tǒng)的軟件.

如果您想要在ViewFS中創(chuàng)建文件，請(qǐng)使用以下代碼示例:

Configuration conf = new Configuration();
conf.set("fs.defaultfs", "viewfs://cmbc/");
FileSystem fs = FileSystem.get(conf);
Path path = new Path("/path/to/file");
FSDataOutputStream out = fs.create(path);
out.writeBytes("Hello World!");
out.close();

這里，“fs.defaultfs”指向ViewFS的默認(rèn)文件系統(tǒng)。

請(qǐng)注意，“cmbc”是所需的ViewFs mount table的名稱。mount table是一個(gè)XML文件，描述了如何將Hadoop文件系統(tǒng)掛在到ViewFS的命名空間。

五、fs.defaultfs和fs.defaultFs的區(qū)別

請(qǐng)注意，fs.defaultfs和fs.defaultFs是不同的配置屬性。

fs.defaultFs是舊版的配置屬性，而fs.defaultfs是新版的配置屬性。

fs.defaultFs 提供了與fs.defaultfs相同的功能，但它已被棄用，不建議使用。

因此，為了保持兼容性，請(qǐng)使用fs.defaultfs而不是fs.defaultFs。

六、結(jié)論

在Hadoop分布式集群中，選擇正確的文件系統(tǒng)非常重要。fs.defaultfs設(shè)置用于指定使用哪個(gè)文件系統(tǒng)，它可以與HDFS、ViewFS等文件系統(tǒng)一起使用。

Spark用戶需要指定fs.defaultfs來確保能夠使用Spark處理Hadoop文件系統(tǒng)中的jar文件。fs.defaultfs未設(shè)置可能會(huì)在使用HDFS之外的文件系統(tǒng)時(shí)遇到問題。

fs.defaultfs與fs.defaultFs是不同的配置屬性，建議使用新版fs.defaultfs。