hdfs性能测试
hadoop自带TestDFSIO测试
1 | cd /tmp |
–结果
1 | 21/01/19 15:29:04 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write |
结果说明:
Total MBytes processed : 总共需要写入的数据量 ==》 256*1000
Throughput mb/sec :总共需要写入的数据量/(每个map任务实际写入数据的执行时间之和(这个时间会远小于Test exec time sec))==》256000/(map1写时间+map2写时间+…)
Average IO rate mb/sec :(每个map需要写入的数据量/每个map任务实际写入数据的执行时间)之和/任务数==》(1000/map1写时间+1000/map2写时间+…)/256,所以这个值跟上面一个值总是存在差异。
IO rate std deviation :上一个值的标准差
Test exec time sec :整个job的执行时间
testDFSIO的参数如下:
read | 读测试。执行该测试之前,需要先做write测试 |
---|---|
write | 写测试 |
nfFiles | 文件个数,默认为1 |
fileSize | 文件大小,默认为1MB |
resFile | 结果文件名,默认为” TestDFSIO_results.log” |
bufferSize | 设置缓存大小,默认为1000000 |
clean | 清理数据 |
seq | 数据是否有序,默认无序 |
备注: