fio使用文档

一、fio简介

​ fio是一种I / O工具，用于基准测试和压力/硬件验证。它支持19种不同类型的I / O引擎(sync，mmap，libaio，posixaio，SG v3，splice，null，network，syslet，guasi，solarisaio等)，I / O优先级(适用于较新的Linux内核) ，评估I / O，分叉或线程作业等等。它可以在块设备和文件上工作。fio以简单易懂的文本格式接受职位描述。包含几个示例作业文件。fio显示各种I / O性能信息，包括完整的IO延迟和百分位数。Fio广泛用于许多地方，包括基准测试，QA和验证目的。它支持Linux，FreeBSD，NetBSD，OpenBSD，OS X，OpenSolaris，AIX，HP-UX，Android和Windows。

二、fio安装

1. ​ 进入openharmony的third_party目录,clone本仓和fio的仓

   cd third_party
   git clone https://gitee.com/halley5/third_tools.git
   cd third_tools
   git clone https://gitee.com/halley5/fio.git

2. 进行外部配置改动

   productdefine/common/products目录Hi3516DV300.json文件添加对应的部件。

   #包围的为新增部分

   {
     "product_name": "Hi3516DV300",
     "product_company": "hisilicon",
     "product_device": "hi3516dv300",
     "version": "2.0",
     "type": "standard",
     "product_build_path": "device/board/hisilicon/hispark_taurus/linux",
     "parts":{
       "ace:ace_engine_standard":{},
       "ace:napi":{},
   ##############################################
       "third_tools:tools":{},
   ##############################################
       "account:os_account_standard":{},
       "distributeddatamgr:native_appdatamgr":{},

   productdefine/common/products目录rk3568.json文件添加对应的部件。

   #包围的为新增部分

   {
     "product_name": "rk3568",
     "product_company": "hihope",
     "product_device": "rk3568",
     "version": "2.0",
     "type": "standard",
     "product_build_path": "device/board/hihope/rk3568",
     "parts":{
       "ace:ace_engine_standard":{},
       "ace:napi":{},
   ################################################
       "third_tools:tools":{},
   ################################################
       "account:os_account_standard":{},
       "barrierfree:accessibility":{},

   build目录下的subsystem_config.json文件添加新建的子系统的配置。

   #包围的为新增部分

   {
     "ace": {
       "path": "foundation/ace",
       "name": "ace"
     },
   ############################################
     "third_tools": {
       "path": "third_party/third_tools",
       "name": "third_tools"
     },
   ############################################
     "ai": {
       "path": "foundation/ai",
       "name": "ai"
     },

   修改third_party/musl/include/endian.h文件使编译通过

   #包围的为新增部分

   #ifndef _ENDIAN_H
   #define _ENDIAN_H
   
   ####################################################################
   #pragma clang diagnostic ignored "-Wbitwise-op-parentheses"
   #pragma clang diagnostic ignored "-Wshift-op-parentheses"
   ####################################################################
   
   #include <features.h>

3. 进行编译

   命令参照下方编译命令操作，结果可在out/hi3516dv300/和out/rk3568/下看到编译成功的fio。

三、编译命令

3.1基于hi3516dv300编译选项

hb set
//HI3516DV300
hb build -T third_party/third_tools/fio:fio

3.2基于RK3568编译选项

hb set
//RK3568
hb build -T third_party/third_tools/fio:fio

3.3 hdc命令操作

1. 将编译好的不同选项的移植工具可执行文件下载到windows的文件夹中

   (例：fio的可执行文件放入（D:\test\fio) ）中

2. 打开windows命令行，在data中创建test

   mkdir data\test

3. 在windows命令行上输入命令，从host端将fio可执行文件发送到设备端

   hdc file send D:\test\fio /data/test/

4. 在windows命令行上输入命令，进行板子的环境命令行

   hdc shell

5. 进入test文件，并执行

   cd data/test/
   ./fio

四、fio中的参数

​ fio是可以根据测试要求配置不同参数进行io性能测试的工具，可配置的参数有上百个，几乎可以覆盖所有的io模型，详细参数可查询fio的官网获取：（https://fio.readthedocs.io/en/latest/fio_doc.html）。存储性能测试中常用的参数如下所示。

4.1主要的参数

其他相关参数：

使用参数：

五、测试示例

5.1fio在hi3516dv300的测试示例：

5.1.1fio [-name] [-filename] [-direct N] [-iodepth=N] [-thread] [-rw] [-ioengine] [-bs=N] [-size=N] [-numjobs=N] [-runtime=N] [-group_reporting]

测试1：

./fio -name=mytest -directory=fiotest -direct=1 -iodepth=20 -thread -rw=read -ioengine=null -bs=16k -size=500M -numjobs=2 -runtime=300 -group_reporting

name=mytest 本次测试的名称mytest，自已定义。 filename 测试裸盘的名称，通常选择需要测试的盘的data目录，是没有文件系统的裸盘。directory: 设置filename的路径前缀。 direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。 iodepth=20 每个线程每次下发20个io任务。 rw=read 测试读的I/O。 ioengine=libaio io引擎使用libaio模式。 bs=16k 单次io的块文件大小为16k。 size=5G 本次的测试文件大小为5G，以每次16k的io进行测试。 numjobs=2 本次的测试线程为2。 runtime=300 测试时间为300秒，如果不写则一直将5G文件分16k每次写完为止。 group_reporting 关于显示结果的，汇总每个进程的信息。

测试结果：

FIO_VERSION
Starting 2 threads
Jobs: 2 (f=2): [R(2)][100.0%][r=22.7MiB/s][r=1453 IOPS][eta 00m:00s]
mytest: (groupid=0, jobs=2): err= 0: pid=2078: Thu Jan  1 21:15:38 1970
  read: IOPS=1444, BW=22.6MiB/s (23.7MB/s)(1000MiB/44298msec)
    slat (usec): min=22, max=7521, avg=36.31, stdev=45.11
    clat (usec): min=1953, max=58344, avg=27622.75, stdev=1290.04
     lat (usec): min=2050, max=58443, avg=27662.83, stdev=1288.58
    clat percentiles (usec):
     |  1.00th=[26870],  5.00th=[27395], 10.00th=[27395], 20.00th=[27395],
     | 30.00th=[27657], 40.00th=[27657], 50.00th=[27657], 60.00th=[27657],
     | 70.00th=[27657], 80.00th=[27657], 90.00th=[27657], 95.00th=[27919],
     | 99.00th=[30278], 99.50th=[34341], 99.90th=[46400], 99.95th=[48497],
     | 99.99th=[52691]
   bw (  KiB/s): min=21845, max=24248, per=100.00%, avg=23137.23, stdev=201.09, samples=176
   iops        : min= 1365, max= 1515, avg=1445.56, stdev=12.57, samples=176
  lat (msec)   : 2=0.01%, 10=0.02%, 20=0.35%, 50=99.60%, 100=0.03%
  cpu          : usr=2.84%, sys=6.25%, ctx=24938, majf=0, minf=326
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=64000,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=20

Run status group 0 (all jobs):
   READ: bw=22.6MiB/s (23.7MB/s), 22.6MiB/s-22.6MiB/s (23.7MB/s-23.7MB/s), io=1000MiB (1049MB), run=44298-44298msec

Disk stats (read/write):
  mmcblk0: ios=5951/48, merge=57778/38, ticks=163690/1300, in_queue=165100, util=99.95%

5.2fio在rk3516的测试示例：

5.1.1fio [-name] [-filename] [-direct N] [-iodepth=N] [-thread] [-rw] [-ioengine] [-bs=N] [-size=N] [-numjobs=N] [-runtime=N] [-group_reporting]

测试2：

./fio -name=mytest -directory=fiotest -direct=1 -iodepth=20 -thread -rw=randread -ioengine=libaio -bs=16k -size=500M -numjobs=2 -runtime=300 -group_reporting

name=mytest 本次测试的名称mytest，自已定义。 filename 测试裸盘的名称，通常选择需要测试的盘的data目录，是没有文件系统的裸盘。directory: 设置filename的路径前缀。 direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。 iodepth=20 每个线程每次下发20个io任务。 rw=randread 测试随机读的I/O。 ioengine=libaio io引擎使用libaio模式。 bs=16k 单次io的块文件大小为16k。 size=5G 本次的测试文件大小为5G，以每次16k的io进行测试。 numjobs=2 本次的测试线程为2。 runtime=300 测试时间为300秒，如果不写则一直将5G文件分16k每次写完为止。 group_reporting 关于显示结果的，汇总每个进程的信息。

测试结果：

mytest: (g=0): rw=randread, bs=(R) 16.0KiB-16.0KiB, (W) 16.0KiB-16.0KiB, (T) 16.0KiB-16.0KiB, ioengine=libaio, iodepth=20
...
FIO_VERSION
Starting 2 threads
mytest: Laying out IO file (1 file / 500MiB)
mytest: Laying out IO file (1 file / 500MiB)
Jobs: 1 (f=1): [r(1),_(1)][96.2%][r=41.9MiB/s][r=2684 IOPS][eta 00m:01s]
mytest: (groupid=0, jobs=2): err= 0: pid=1747: Sat Aug  5 10:00:12 2017
  read: IOPS=2514, BW=39.3MiB/s (41.2MB/s)(1000MiB/25452msec)
    slat (usec): min=48, max=1367, avg=164.98, stdev=53.96
    clat (usec): min=979, max=33497, avg=15318.06, stdev=6021.51
     lat (usec): min=1119, max=33649, avg=15495.87, stdev=6022.96
    clat percentiles (usec):
     |  1.00th=[ 2802],  5.00th=[ 5080], 10.00th=[ 7046], 20.00th=[10159],
     | 30.00th=[12387], 40.00th=[14091], 50.00th=[15270], 60.00th=[16450],
     | 70.00th=[17957], 80.00th=[20317], 90.00th=[23987], 95.00th=[26084],
     | 99.00th=[28443], 99.50th=[29230], 99.90th=[30278], 99.95th=[30802],
     | 99.99th=[31327]
   bw (  KiB/s): min=38386, max=64389, per=100.00%, avg=40832.26, stdev=2668.31, samples=98
   iops        : min= 2398, max= 4024, avg=2551.53, stdev=166.77, samples=98
  lat (usec)   : 1000=0.01%
  lat (msec)   : 2=0.28%, 4=2.50%, 10=16.75%, 20=59.75%, 50=20.71%
  cpu          : usr=20.00%, sys=58.51%, ctx=75744, majf=0, minf=330
  IO depths    : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.1%, 16=100.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.1%, 64=0.0%, >=64=0.0%
     issued rwts: total=64000,0,0,0 short=0,0,0,0 dropped=0,0,0,0
     latency   : target=0, window=0, percentile=100.00%, depth=20

Run status group 0 (all jobs):
   READ: bw=39.3MiB/s (41.2MB/s), 39.3MiB/s-39.3MiB/s (41.2MB/s-41.2MB/s), io=1000MiB (1049MB), run=25452-25452msec

Disk stats (read/write):
  mmcblk0: ios=63163/28, merge=582/25, ticks=970545/570, in_queue=971131, util=99.79%

六、注意事项

6.1测试注意事项

1. fio测试会对系统的硬盘进行读写，会存在破坏客户数据的风险，因此在生产环境上要谨慎使用，不建议对生产环境的硬盘进行裸盘读写测试。
2. 如果需要进行测试，最好创建一个文件，然后对指定的文件进行读写。
3. 如果需要做性能分析或调优，测试过程中需要收集iostat信息，例如：iostat -xd 1 1000 > result.log

6.2性能调优注意事项

1. FIO进行性能对比测试的时候，一定要保持参数一致，否则参数差异会导致结果差异。
2. 在测试文件系统时，要先写一个大文件，然后再做硬盘IO读写测试。避免小数据块IO模型下读取不到文件而读到其他地方去。
3. 如果是SSD，测试过程中最好进行绑核设置，因为IOPS太大，如果线程运行在CPU0或者是有其他应用占用的核，那么可能会达不到最佳性能。绑核使用taskset -c 31 ./fio…命令实现。对应使用哪个核，可以执行numactl -H查询核的信息。