pikesaku’s blog

個人的な勉強メモです。記載内容について一切の責任は持ちません。

NWスループットの検証

以下URL記載内容の検証メモ

NWスループットについて - pikesaku’s blog

こんな環境


2台のUbuntuのスペックは以下

CPU: Intel(R) Xeon(R) CPU E3-1220 V2 @ 3.10GHz
MEM: 4GB
NIC: 1Gb×2

準備メモ

【Ubuntu】UEFIでUSBブートして設定変更保存も可能にする方法 | SEの道標

①2台分のUbuntu USB作成

②USBからUbuntu起動し以下設定を実施

0) IP設定
ip addr add X.X.X.X/X dev XXXX
1) ubuntuユーザーPW設定
2) PKGインスト
apt update
apt install openssh-server net-tools 

/etc/apt/sources.listの下3行にuniverse入れて ※詳細は参考URLを参照

apt update
apt install iperf3 tcpdump iftop
3) ホスト名設定
nmcli general hostname ホスト名
4) IPv6無効化

UbuntuでIPv6を無効にする - Qiita

sudo sysctl -w net.ipv6.conf.all.disable_ipv6=1
sudo sysctl -w net.ipv6.conf.default.disable_ipv6=1
sudo sysctl -w net.ipv6.conf.lo.disable_ipv6=1
5) オフロード無効化
ethtool -K enp0s25 rx off tx off tso off
ethtool -K enp0s25 rx off tx off gso off
ethtool -K enp0s25 rx off tx off gro off

検証メモ) 1Gb/sのスループットの確認

UDP

Ubuntu BからAに対し、直結Cat5eのリンク間で、iperfでスループット測定
実行コマンドは以下

iperf3 -c 192.168.0.250 -l [ペイロードサイズ] -u -b [回線速度] --logfile ./udpペイロードサイズ-P[並列数].log -P [並列数] -t 30

カッコ内の値は、以下表と対応。
ペイロード以外=最小フレーム間バイト(12)+プリアンブル(8)+イーサネットヘッダ(14)+IPヘッダ(20)+UDPヘッダ(8)+FCS(4)=66バイト
DG=データグラム
以下表の※1の計算式は以下の通り。

B列/8*1000*1000/E列

以下表の※2の計算式は以下の通り。データグラムのペイロードサイズ×処理数。

D列*F列/1000/1000*8


ABCDEFGHIJKLMNOPQR
1
No実行環境SenderReceiver利用率
2
速度
(Mb/s)
ペイロード
以外
ペイロードB列・C列
合計
DG数/秒
(理論値)※1
スループット
(理論値Mb/s)※2
並列数DG数
(Lost)
DG数
(Total)
DG数/秒
(Total)
エラー率DG数
(Lost)
DG数
(Total)
DG数/秒
(Total)
エラー率スループット
(Mb/s)
F列/K列*100
3
1100066100166753,012.05602.41109407662313,588.73030099407662313,488.430.0320%25141.63
4
22011852356395,078.530213511852356395,007.370.0180%31652.46
5
34013923688464,122.930354813923688464,004.670.0250%37161.62
6
48015226552507,551.7302651815226552506,667.800.1700%40567.29
7
516015704507523,483.57051698315704507506,250.803.3000%40567.23
8
6100066200266469,924.81751.88109435900314,530.00050859435900314,360.500.0540%50366.90
9
72011886386396,212.8701761011886382395,625.730.1500%63384.19
10
84013628703454,290.100239013628537454,204.900.0180%72796.65
11
98013649524454,984.130013648904454,963.470.0000%72896.82
12
1016013644978454,832.600013643674454,789.130.0000%72896.78
13
11100066400466268,240.34858.37107887301262,910.03033107887245262,797.830.0420%84197.97
14
12207880129262,670.9704147880002262,652.930.0053%84097.92
15
13407880099262,669.970667879862262,659.870.0008%84197.92
16
14807877839262,594.63007877244262,574.800.0000%84097.89
17
151607883898262,796.60007882600262,753.330.0000%84197.95
18
16100066800866144,341.80923.79104274012142,467.0704714273983142,450.400.0110%91298.69
19
17204271511142,383.70004271440142,381.330.0000%91198.64
20
18404275768142,525.60004275611142,520.370.0000%91298.74
21
19804276418142,547.27004276085142,536.170.0000%91298.75
22
201604281298142,709.9306364280576142,664.670.0150%91398.84
23
211000661472153881,274.38957.0910241968580,656.1700241968480,656.130.0000%95099.24
24
2220241995980,665.3000241989680,663.200.0000%95099.25
25
2340241997980,665.9700241983880,661.270.0000%95099.25
26
2480242046880,682.2700242016780,672.230.0000%95099.26
27
25160275981991,993.970341081275913180,601.6712.0000%94999.17
28
261000661473153981,221.57957.1210229450676,483.530109229448276,479.100.0048%90194.16
29
2720229423876,474.6000229418076,472.670.0000%90194.15
30
2840229270376,423.4300229257876,419.270.0000%90194.09
31
2980229305276,435.0700229279776,426.570.0000%90194.10
32
30160232148677,382.87045202180007,116.000.1900%83.98.76
33
261100661472153889,401.821052.8010242007980,669.30035242006880,667.770.0014%95090.23
34
2720242018980,672.9700242014780,671.570.0000%95090.23
35
26100006614721538812,743.829570.8710242005580,668.50055242004280,666.230.0023%9509.93
36
2720242012780,670.9000242011180,670.370.0000%9509.93

得られた知識

NWスループットについて - pikesaku’s blog

ネットワーク機器や回線速度としてのスループットは、パケットのヘッダーやプリアンブル、最小フレーム間隔も含めたフレームの全体サイズで計算したもの。データ部(ペイロード)の転送速度ではない。
なので、データ部(ペイロード)の転送速度でスループットを計算すると、データ部のサイズにより、最大スループットは変わる。

例)1Gb/sの回線の場合
ペイロードが100バイトのUDP→602Mb/s
ペイロードか1472バイトのUDP→957Mb/s

→この考えは正しいだろう。

TCP

Ubuntu BからAに対し、直結Cat5eのリンク間で、iperfでスループット測定
実行コマンドは以下

iperf3 -c 192.168.0.250 -M [ペイロードサイズ] ---logfile ./tcpペイロードサイズ-P[並列数].log -P [並列数] -t 10

カッコ内の値は、以下表と対応。
ペイロード以外=最小フレーム間バイト(12)+プリアンブル(8)+イーサネットヘッダ(14)+IPヘッダ(20)+TCPヘッダ(32)+FCS(4)=90バイト
SG=セグメント
以下表の※1の計算式は以下の通り。パケロスなしの前提で、かつデータ送信 & 応答以外のパケットは考慮してない。

B列/8*1000*1000/E列

以下表の※2の計算式は以下の通り。セグメントのペイロードサイズ×処理数。パケロスなしの前提で、かつデータ送信 & 応答以外のパケットは考慮してない。

D列*F列/1000/1000*8

ペイロードは-Mオプションで指定した値よりも、12バイト少ない値になる。理由はTCPオプション(12バイト)が付与されてるため。
以下のK列のスループット値は、TCPペイロードサイズ(-M100の場合、88)×データ送信パケット数÷10(秒)×8(Bit変換)で算出されてると想定される。※パケットキャプチャし確認。


ABCDEFGHIJK
1
No実行環境SenderReceiver
2
速度
(Mb/s)
ペイロード
以外
ペイロードB列・C列
合計
SG数/秒
(理論値)※1
スループット
(理論値Mb/s)※2
並列数再送回数転送スループット
(Mb/s)
3
110009088178702,247.19494.3810357MB299
4
243366MB307
5
3100090788878142,369.02897.49101.04GB891
6
4401.04GB891
7
51000901448153881,274.38941.48101.09GB934
8
6401.09GB934

得られた知識

UDPと基本的には同じ考えでOK。

最大スループットを超えた場合の動作は?

たとえば、こんな構成

Ubuntu1→3に最大スループットで通信中に、Ubuntu2→3への最大スループットの通信を開始したら、どうなる?
スイッチのバッファがあふれパケットロスが発生するのでは?

TCPの場合

①Ubuntu3でiperfサーバをポート5201で起動
②Ubuntu3でiperfサーバをポート15201で起動
③Ubuntu1からUbuntu3のポート5201に対し、TCPモードで4並列で通信開始
④Ubuntu2からUbuntu3のポート15201に対し、TCPモードで4並列で通信開始
※③、④実行時のオプションは以下
 iperf3 -c 192.168.0.252 -M 1460 -t 180 -P 4 -p ポート番号

以下動作を確認
・③を実行後、④開始前まではポート5201に対し935Mb/sの通信が発生したことを確認
・④を実行後、ポート5201へのトラフィックは471Mb/sになり、ポート15201も471Mb/sになった。
・ポート5201、15201ともに再送は0

何回かやっても同じ結果。
TCPは応答確認が来ないと、次のパケットを送らないので、この動きになったのだろう。★誤り!後述★
UDPならパケロスがたくさん出るのでは?★誤り!後述★

UDPの場合

①Ubuntu3でiperfサーバをポート5201で起動
②Ubuntu3でiperfサーバをポート15201で起動
③Ubuntu1からUbuntu3のポート5201に対し、UDPモードで4並列で通信開始
 iperf3 -c 192.168.0.252 -l 1472 -u -b 1000M -P 4 -t 60
④Ubuntu2からUbuntu3のポート15201に対し、UDPモードで4並列で通信開始
 iperf3 -c 192.168.0.252 -l 1472 -u -b 1000M -P 4 -t 60 -p 15201

以下動作を確認
・③を実行後、④開始前まではポート5201に対し950Mb/sの通信が発生したことを確認
・④を実行後、ポート5201へのトラフィックは479Mb/sになり、ポート15201も479Mb/sになった。
・ポート5201、15201ともにエラーは0

何故?????と思い送信側のパケットキャプチャを見ると、、、、

第9回 イーサネット(その4) - フロー制御とVLAN、トラブルシューティング:詳説 TCP/IPプロトコル(1/5 ページ) - @IT

MAC制御プロトコルでフロー制御を行うためには「PAUSEコマンド」を使用する。PAUSEコマンドはMAC制御フレームの宛先アドレスに「01:80:C2:00:00:01」、操作コードに「0x0001」、制御コードに続く2オクテットに送信の「中断時間(0~65,535)」を指定したPAUSEフレームを使用する。PAUSEフレームを受け取ったステーションは、そのデータ・フィールドに指定されている「中断時間×512ビット時間」の間(512bitはフレームの最小サイズ)、送信を中断することでフロー制御を実現する。

 スイッチング・ハブ側では、バッファの空き容量が残り少なくなったときにPAUSEフレームを送信する(そして空きが十分できたときに、中断時間を0にしたPAUSEフレームを送信する)。送信ステーション側では、指定された中断時間の間だけ、もしくは中断時間が0と指定されるまで、送信を中断する。

Ethernet の flow control(フロー制御)の概要と設定 〜IEEE802.3X PAUSE〜 | SEの道標

スイッチはインタフェース単位で輻輳を検知し、受信リングバッファ (rx-ring) がオーバーフローする前に、そのインタフェースからマルチキャスト (0180:c200:0001) 宛に PAUSE フレームを送り、受信した端末は一定時間通信を止めます。

cisco では IEEE802.3X はデフォルトで無効になっています。

L2レベルでも、フロー制御の機能があった。。。。
PAUSEフレームなるものがあり、中断時間65535で通知し、バッファに空きが出たら、中断時間0を通知していた。
もしかしたらTCPの時も、こうだったのか???と思い確認してみたら、ビンゴだった。

後からトラフィック送信した方が、データを送り始めたタイミングで、最初にトラフィック送信していた方で、PAUSEフレームを受信し始めた。
Ubuntu1,2で、このフレームを受信し、Unbut3では受信しない動き。

スイッチは、NETGEARのGS108Ev3使ってたが、古いファーム(2.0.0)だとデフォルトで有効だったもよう。
2.06.17にすると、有効/無効を設定できる。ただ、2.06.17だとデフォルト無効っぽかった。ファームアップしたら、無効になってた。
https://www.downloads.netgear.com/files/GDC/GS105EV2/WebManagedSwitches_UM_JP.pdf

フロー制御は、ポートがオーバーサブスクライブ (ポートが処理可能な量よりも多くの
トラフィックを受信) した場合にポートを一時停止し、輻輳状態中に瞬間的にすべての
トラフィックをドロップすることで機能します。 IEEE 802.3xフロー制御を有効または
無効にできます。 フロー制御はデフォルトでは無効になっています。

ファームアップに2時間近くかかってしまった。。。。泣いてしまいそう。コスタリカに日本負けるし。
 Firewall無効化 & DHCPにはしない方が良い。設定は、2.06.17はWebGUIでできる。

スイッチで802.3Xを無効にしてTCPで再度試す!

上述の通り、①~④まで実施。時間は60秒で。

以下動作を確認
・③を実行後、④開始前まではポート5201に対し935Mb/sの通信が発生したことを確認
・④を実行後、ポート5201、15201へのトラフィックは、どもに300Mb/後半から500Mb/s代をいったりきたり。明らかに、802.3X有効時比べ、不安定な動きとなった。
・ポート5201、15201ともに大量の再送が検知された。

スイッチで802.3Xを無効にしてUDPで再度試す!

上述の通り、①~④まで実施。時間は60秒で。

以下動作を確認
・③を実行後、④開始前まではポート5201に対し950Mb/sの通信が発生したことを確認
・④を実行後、ポート5201、15201へのトラフィックは、TCP同様に不安定な動きとなった。
・ポート5201、15201ともに大量のパケロスが検知された。

802.3Xの有効/無効化時、それぞれのiperf3出力結果は以下の通り。

TCP

以下どちらのパータンも以下のコマンドで確認
iperf3 -c 192.168.0.252 -M 1460 -t 60 -P 4 -p ポート番号
5201、15201ほぼ同時に実行

802.3X無効

ポート5201

- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.00  sec   968 MBytes   135 Mbits/sec  18980             sender
[  5]   0.00-60.00  sec   966 MBytes   135 Mbits/sec                  receiver
[  7]   0.00-60.00  sec   870 MBytes   122 Mbits/sec  18070             sender
[  7]   0.00-60.00  sec   868 MBytes   121 Mbits/sec                  receiver
[  9]   0.00-60.00  sec   757 MBytes   106 Mbits/sec  16883             sender
[  9]   0.00-60.00  sec   755 MBytes   106 Mbits/sec                  receiver
[ 11]   0.00-60.00  sec   695 MBytes  97.1 Mbits/sec  16104             sender
[ 11]   0.00-60.00  sec   693 MBytes  96.9 Mbits/sec                  receiver
[SUM]   0.00-60.00  sec  3.21 GBytes   460 Mbits/sec  70037             sender
[SUM]   0.00-60.00  sec  3.21 GBytes   459 Mbits/sec                  receiver

ポート15201

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.00  sec   889 MBytes   124 Mbits/sec  18044             sender
[  5]   0.00-60.00  sec   888 MBytes   124 Mbits/sec                  receiver
[  7]   0.00-60.00  sec   915 MBytes   128 Mbits/sec  18875             sender
[  7]   0.00-60.00  sec   914 MBytes   128 Mbits/sec                  receiver
[  9]   0.00-60.00  sec   785 MBytes   110 Mbits/sec  17076             sender
[  9]   0.00-60.00  sec   783 MBytes   110 Mbits/sec                  receiver
[ 11]   0.00-60.00  sec   791 MBytes   111 Mbits/sec  17691             sender
[ 11]   0.00-60.00  sec   790 MBytes   110 Mbits/sec                  receiver
[SUM]   0.00-60.00  sec  3.30 GBytes   472 Mbits/sec  71686             sender
[SUM]   0.00-60.00  sec  3.30 GBytes   472 Mbits/sec                  receiver
802.3X有効

TCPポート5201

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.00  sec   853 MBytes   119 Mbits/sec    0             sender
[  5]   0.00-60.00  sec   851 MBytes   119 Mbits/sec                  receiver
[  7]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[  7]   0.00-60.00  sec   851 MBytes   119 Mbits/sec                  receiver
[  9]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[  9]   0.00-60.00  sec   851 MBytes   119 Mbits/sec                  receiver
[ 11]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[ 11]   0.00-60.00  sec   850 MBytes   119 Mbits/sec                  receiver
[SUM]   0.00-60.00  sec  3.33 GBytes   477 Mbits/sec    0             sender
[SUM]   0.00-60.00  sec  3.32 GBytes   476 Mbits/sec                  receiver

ポート15201

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[  5]   0.00-60.00  sec   850 MBytes   119 Mbits/sec                  receiver
[  7]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[  7]   0.00-60.00  sec   850 MBytes   119 Mbits/sec                  receiver
[  9]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[  9]   0.00-60.00  sec   850 MBytes   119 Mbits/sec                  receiver
[ 11]   0.00-60.00  sec   852 MBytes   119 Mbits/sec    0             sender
[ 11]   0.00-60.00  sec   850 MBytes   119 Mbits/sec                  receiver
[SUM]   0.00-60.00  sec  3.33 GBytes   476 Mbits/sec    0             sender
[SUM]   0.00-60.00  sec  3.32 GBytes   476 Mbits/sec                  receiver

UDP

以下どちらのパータンも以下のコマンドで確認
iperf3 -c 192.168.0.252 -l 1472 -u -b 1000M -P 4 -t 60 -p ポート番号
5201、15201ほぼ同時に実行

802.3X無効

UDPポート5201

[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-60.00  sec  1.66 GBytes   238 Mbits/sec  0.000 ms  0/1210110 (0%)  sender
[  5]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.082 ms  593936/1210080 (49%)  receiver
[  7]   0.00-60.00  sec  1.66 GBytes   238 Mbits/sec  0.000 ms  0/1210110 (0%)  sender
[  7]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.061 ms  593666/1210079 (49%)  receiver
[  9]   0.00-60.00  sec  1.66 GBytes   238 Mbits/sec  0.000 ms  0/1210110 (0%)  sender
[  9]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.068 ms  593757/1210079 (49%)  receiver
[ 11]   0.00-60.00  sec  1.66 GBytes   238 Mbits/sec  0.000 ms  0/1210110 (0%)  sender
[ 11]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.086 ms  593711/1210079 (49%)  receiver
[SUM]   0.00-60.00  sec  6.64 GBytes   950 Mbits/sec  0.000 ms  0/4840440 (0%)  sender
[SUM]   0.00-60.00  sec  3.38 GBytes   484 Mbits/sec  0.074 ms  2375070/4840317 (49%)  receiver

UDPポート15201

[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-60.00  sec  1.66 GBytes   237 Mbits/sec  0.000 ms  0/1209898 (0%)  sender
[  5]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.060 ms  593795/1209862 (49%)  receiver
[  7]   0.00-60.00  sec  1.66 GBytes   237 Mbits/sec  0.000 ms  0/1209897 (0%)  sender
[  7]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.058 ms  593613/1209862 (49%)  receiver
[  9]   0.00-60.00  sec  1.66 GBytes   237 Mbits/sec  0.000 ms  0/1209897 (0%)  sender
[  9]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.050 ms  593813/1209862 (49%)  receiver
[ 11]   0.00-60.00  sec  1.66 GBytes   237 Mbits/sec  0.000 ms  0/1209897 (0%)  sender
[ 11]   0.00-60.00  sec   865 MBytes   121 Mbits/sec  0.060 ms  593600/1209862 (49%)  receiver
[SUM]   0.00-60.00  sec  6.63 GBytes   950 Mbits/sec  0.000 ms  0/4839589 (0%)  sender
[SUM]   0.00-60.00  sec  3.38 GBytes   484 Mbits/sec  0.057 ms  2374821/4839448 (49%)  receiver
802.3X有効

UDPポート5201

[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614117 (0%)  sender
[  5]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.101 ms  0/614080 (0%)  receiver
[  7]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614116 (0%)  sender
[  7]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.117 ms  0/614080 (0%)  receiver
[  9]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614116 (0%)  sender
[  9]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.105 ms  0/614079 (0%)  receiver
[ 11]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614116 (0%)  sender
[ 11]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.124 ms  0/614079 (0%)  receiver
[SUM]   0.00-60.00  sec  3.37 GBytes   482 Mbits/sec  0.000 ms  0/2456465 (0%)  sender
[SUM]   0.00-60.00  sec  3.37 GBytes   482 Mbits/sec  0.112 ms  0/2456318 (0%)  receiver

UDPポート15201

[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614108 (0%)  sender
[  5]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.051 ms  0/614076 (0%)  receiver
[  7]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614107 (0%)  sender
[  7]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.053 ms  0/614075 (0%)  receiver
[  9]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614107 (0%)  sender
[  9]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.053 ms  0/614075 (0%)  receiver
[ 11]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.000 ms  0/614106 (0%)  sender
[ 11]   0.00-60.00  sec   862 MBytes   121 Mbits/sec  0.058 ms  0/614074 (0%)  receiver
[SUM]   0.00-60.00  sec  3.37 GBytes   482 Mbits/sec  0.000 ms  0/2456428 (0%)  sender
[SUM]   0.00-60.00  sec  3.37 GBytes   482 Mbits/sec  0.054 ms  0/2456300 (0%)  receiver

得られた知識

・L2にもフロー制御機能あり
・802.3Xが有効 or 無効どちらであっても転送量のスループットは、ほぼ同じ。(recieverをチェック)
ボトルネックパスが発生した場合、スループットに影響する。そりゃそうだ。

ログ

UDP

# cat ./udp100-P2.log 
Connecting to host 192.168.0.250, port 5201
[  6] local 192.168.0.251 port 45775 connected to 192.168.0.250 port 5201
[  8] local 192.168.0.251 port 34198 connected to 192.168.0.250 port 5201
[ ID] Interval           Transfer     Bitrate         Total Datagrams
[  6]   0.00-1.00   sec  18.5 MBytes   155 Mbits/sec  194189  
[  8]   0.00-1.00   sec  18.5 MBytes   155 Mbits/sec  194189  
[SUM]   0.00-1.00   sec  37.0 MBytes   311 Mbits/sec  388378  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   1.00-2.00   sec  18.7 MBytes   157 Mbits/sec  196011  
[  8]   1.00-2.00   sec  18.7 MBytes   157 Mbits/sec  196011  
[SUM]   1.00-2.00   sec  37.4 MBytes   314 Mbits/sec  392022  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   2.00-3.00   sec  18.2 MBytes   153 Mbits/sec  190744  
[  8]   2.00-3.00   sec  18.2 MBytes   153 Mbits/sec  190744  
[SUM]   2.00-3.00   sec  36.4 MBytes   305 Mbits/sec  381488  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   3.00-4.00   sec  18.5 MBytes   155 Mbits/sec  194022  
[  8]   3.00-4.00   sec  18.5 MBytes   155 Mbits/sec  194022  
[SUM]   3.00-4.00   sec  37.0 MBytes   310 Mbits/sec  388044  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   4.00-5.00   sec  18.3 MBytes   154 Mbits/sec  192364  
[  8]   4.00-5.00   sec  18.3 MBytes   154 Mbits/sec  192364  
[SUM]   4.00-5.00   sec  36.7 MBytes   308 Mbits/sec  384728  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   5.00-6.00   sec  18.8 MBytes   157 Mbits/sec  196680  
[  8]   5.00-6.00   sec  18.8 MBytes   157 Mbits/sec  196680  
[SUM]   5.00-6.00   sec  37.5 MBytes   315 Mbits/sec  393360  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   6.00-7.00   sec  18.6 MBytes   156 Mbits/sec  195181  
[  8]   6.00-7.00   sec  18.6 MBytes   156 Mbits/sec  195181  
[SUM]   6.00-7.00   sec  37.2 MBytes   312 Mbits/sec  390362  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   7.00-8.00   sec  18.9 MBytes   159 Mbits/sec  198596  
[  8]   7.00-8.00   sec  18.9 MBytes   159 Mbits/sec  198596  
[SUM]   7.00-8.00   sec  37.9 MBytes   318 Mbits/sec  397192  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   8.00-9.00   sec  18.9 MBytes   159 Mbits/sec  198636  
[  8]   8.00-9.00   sec  18.9 MBytes   159 Mbits/sec  198636  
[SUM]   8.00-9.00   sec  37.9 MBytes   318 Mbits/sec  397272  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   9.00-10.00  sec  18.9 MBytes   159 Mbits/sec  198388  
[  8]   9.00-10.00  sec  18.9 MBytes   159 Mbits/sec  198388  
[SUM]   9.00-10.00  sec  37.8 MBytes   317 Mbits/sec  396776  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  10.00-11.00  sec  18.9 MBytes   159 Mbits/sec  198493  
[  8]  10.00-11.00  sec  18.9 MBytes   159 Mbits/sec  198493  
[SUM]  10.00-11.00  sec  37.9 MBytes   318 Mbits/sec  396986  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  11.00-12.00  sec  18.9 MBytes   159 Mbits/sec  198648  
[  8]  11.00-12.00  sec  18.9 MBytes   159 Mbits/sec  198648  
[SUM]  11.00-12.00  sec  37.9 MBytes   318 Mbits/sec  397296  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  12.00-13.00  sec  18.9 MBytes   159 Mbits/sec  198701  
[  8]  12.00-13.00  sec  18.9 MBytes   159 Mbits/sec  198701  
[SUM]  12.00-13.00  sec  37.9 MBytes   318 Mbits/sec  397402  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  13.00-14.00  sec  18.9 MBytes   159 Mbits/sec  198610  
[  8]  13.00-14.00  sec  18.9 MBytes   159 Mbits/sec  198610  
[SUM]  13.00-14.00  sec  37.9 MBytes   318 Mbits/sec  397220  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  14.00-15.00  sec  19.0 MBytes   159 Mbits/sec  198810  
[  8]  14.00-15.00  sec  19.0 MBytes   159 Mbits/sec  198810  
[SUM]  14.00-15.00  sec  37.9 MBytes   318 Mbits/sec  397620  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  15.00-16.00  sec  18.9 MBytes   158 Mbits/sec  197989  
[  8]  15.00-16.00  sec  18.9 MBytes   158 Mbits/sec  197989  
[SUM]  15.00-16.00  sec  37.8 MBytes   317 Mbits/sec  395978  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  16.00-17.00  sec  18.5 MBytes   155 Mbits/sec  194333  
[  8]  16.00-17.00  sec  18.5 MBytes   155 Mbits/sec  194333  
[SUM]  16.00-17.00  sec  37.1 MBytes   311 Mbits/sec  388666  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  17.00-18.00  sec  18.9 MBytes   159 Mbits/sec  198636  
[  8]  17.00-18.00  sec  18.9 MBytes   159 Mbits/sec  198636  
[SUM]  17.00-18.00  sec  37.9 MBytes   318 Mbits/sec  397272  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  18.00-19.00  sec  19.0 MBytes   159 Mbits/sec  198792  
[  8]  18.00-19.00  sec  19.0 MBytes   159 Mbits/sec  198792  
[SUM]  18.00-19.00  sec  37.9 MBytes   318 Mbits/sec  397584  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  19.00-20.00  sec  19.0 MBytes   159 Mbits/sec  198967  
[  8]  19.00-20.00  sec  19.0 MBytes   159 Mbits/sec  198967  
[SUM]  19.00-20.00  sec  37.9 MBytes   318 Mbits/sec  397934  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  20.00-21.00  sec  18.9 MBytes   159 Mbits/sec  198495  
[  8]  20.00-21.00  sec  18.9 MBytes   159 Mbits/sec  198495  
[SUM]  20.00-21.00  sec  37.9 MBytes   318 Mbits/sec  396990  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  21.00-22.00  sec  19.0 MBytes   159 Mbits/sec  198716  
[  8]  21.00-22.00  sec  19.0 MBytes   159 Mbits/sec  198716  
[SUM]  21.00-22.00  sec  37.9 MBytes   318 Mbits/sec  397432  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  22.00-23.00  sec  18.9 MBytes   159 Mbits/sec  198579  
[  8]  22.00-23.00  sec  18.9 MBytes   159 Mbits/sec  198579  
[SUM]  22.00-23.00  sec  37.9 MBytes   318 Mbits/sec  397158  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  23.00-24.00  sec  19.0 MBytes   159 Mbits/sec  198818  
[  8]  23.00-24.00  sec  19.0 MBytes   159 Mbits/sec  198818  
[SUM]  23.00-24.00  sec  37.9 MBytes   318 Mbits/sec  397636  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  24.00-25.00  sec  19.0 MBytes   159 Mbits/sec  199076  
[  8]  24.00-25.00  sec  19.0 MBytes   159 Mbits/sec  199076  
[SUM]  24.00-25.00  sec  38.0 MBytes   319 Mbits/sec  398152  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  25.00-26.00  sec  19.0 MBytes   160 Mbits/sec  199506  
[  8]  25.00-26.00  sec  19.0 MBytes   160 Mbits/sec  199506  
[SUM]  25.00-26.00  sec  38.1 MBytes   319 Mbits/sec  399012  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  26.00-27.00  sec  18.9 MBytes   159 Mbits/sec  198365  
[  8]  26.00-27.00  sec  18.9 MBytes   159 Mbits/sec  198365  
[SUM]  26.00-27.00  sec  37.8 MBytes   317 Mbits/sec  396730  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  27.00-28.00  sec  19.0 MBytes   159 Mbits/sec  198732  
[  8]  27.00-28.00  sec  19.0 MBytes   159 Mbits/sec  198732  
[SUM]  27.00-28.00  sec  37.9 MBytes   318 Mbits/sec  397464  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  28.00-29.00  sec  19.0 MBytes   159 Mbits/sec  199136  
[  8]  28.00-29.00  sec  19.0 MBytes   159 Mbits/sec  199136  
[SUM]  28.00-29.00  sec  38.0 MBytes   319 Mbits/sec  398272  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]  29.00-30.00  sec  19.1 MBytes   160 Mbits/sec  199965  
[  8]  29.00-30.00  sec  19.1 MBytes   160 Mbits/sec  199965  
[SUM]  29.00-30.00  sec  38.1 MBytes   320 Mbits/sec  399930  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  6]   0.00-30.00  sec   565 MBytes   158 Mbits/sec  0.000 ms  0/5926178 (0%)  sender
[  6]   0.00-30.00  sec   565 MBytes   158 Mbits/sec  0.003 ms  1070/5926178 (0.018%)  receiver
[  8]   0.00-30.00  sec   565 MBytes   158 Mbits/sec  0.000 ms  0/5926178 (0%)  sender
[  8]   0.00-30.00  sec   565 MBytes   158 Mbits/sec  0.003 ms  1065/5926178 (0.018%)  receiver
[SUM]   0.00-30.00  sec  1.10 GBytes   316 Mbits/sec  0.000 ms  0/11852356 (0%)  sender
[SUM]   0.00-30.00  sec  1.10 GBytes   316 Mbits/sec  0.003 ms  2135/11852356 (0.018%)  receiver

iperf Done.
# 
# for i in `ls ./udp*-P{1,2,4,8,16}.log`; do echo "$i ===============================" 2>/dev/null; tail -4 $i | head -2; done
./udp100-P16.log ===============================
[SUM]   0.00-30.00  sec  1.46 GBytes   419 Mbits/sec  0.000 ms  0/15704507 (0%)  sender
[SUM]   0.00-30.00  sec  1.41 GBytes   405 Mbits/sec  0.010 ms  516983/15704507 (3.3%)  receiver
./udp100-P1.log ===============================
[  6]   0.00-30.00  sec   897 MBytes   251 Mbits/sec  0.000 ms  0/9407662 (0%)  sender
[  6]   0.00-30.00  sec   897 MBytes   251 Mbits/sec  0.002 ms  3009/9407662 (0.032%)  receiver
./udp100-P2.log ===============================
[SUM]   0.00-30.00  sec  1.10 GBytes   316 Mbits/sec  0.000 ms  0/11852356 (0%)  sender
[SUM]   0.00-30.00  sec  1.10 GBytes   316 Mbits/sec  0.003 ms  2135/11852356 (0.018%)  receiver
./udp100-P4.log ===============================
[SUM]   0.00-30.00  sec  1.30 GBytes   371 Mbits/sec  0.000 ms  0/13923688 (0%)  sender
[SUM]   0.00-30.00  sec  1.30 GBytes   371 Mbits/sec  0.006 ms  3548/13923688 (0.025%)  receiver
./udp100-P8.log ===============================
[SUM]   0.00-30.00  sec  1.42 GBytes   406 Mbits/sec  0.000 ms  0/15226552 (0%)  sender
[SUM]   0.00-30.00  sec  1.42 GBytes   405 Mbits/sec  0.011 ms  26518/15226552 (0.17%)  receiver
./udp1472-P16.log ===============================
[SUM]   0.00-30.00  sec  3.78 GBytes  1.08 Gbits/sec  0.000 ms  0/2759819 (0%)  sender
[SUM]   0.00-30.00  sec  3.31 GBytes   949 Mbits/sec  0.130 ms  341081/2759131 (12%)  receiver
./udp1472-P1.log ===============================
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2419685 (0%)  sender
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.004 ms  0/2419684 (0%)  receiver
./udp1472-P2.log ===============================
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2419959 (0%)  sender
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.034 ms  0/2419896 (0%)  receiver
./udp1472-P4.log ===============================
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2419979 (0%)  sender
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.045 ms  0/2419838 (0%)  receiver
./udp1472-P8.log ===============================
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2420468 (0%)  sender
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.038 ms  0/2420167 (0%)  receiver
./udp1473-P16.log ===============================
[SUM]   0.00-30.00  sec  3.18 GBytes   912 Mbits/sec  0.000 ms  0/2321486 (0%)  sender
[SUM]   0.00-30.00  sec   300 MBytes  83.9 Mbits/sec  0.029 ms  4520/218000 (0.19%)  receiver
./udp1473-P1.log ===============================
[  6]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.000 ms  0/2294506 (0%)  sender
[  6]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.014 ms  109/2294482 (0.0048%)  receiver
./udp1473-P2.log ===============================
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.000 ms  0/2294238 (0%)  sender
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.020 ms  0/2294180 (0%)  receiver
./udp1473-P4.log ===============================
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.000 ms  0/2292703 (0%)  sender
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.025 ms  0/2292578 (0%)  receiver
./udp1473-P8.log ===============================
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.000 ms  0/2293052 (0%)  sender
[SUM]   0.00-30.00  sec  3.15 GBytes   901 Mbits/sec  0.020 ms  0/2292797 (0%)  receiver
./udp200-P16.log ===============================
[SUM]   0.00-30.00  sec  2.54 GBytes   728 Mbits/sec  0.000 ms  0/13644978 (0%)  sender
[SUM]   0.00-30.00  sec  2.54 GBytes   728 Mbits/sec  0.050 ms  0/13643674 (0%)  receiver
./udp200-P1.log ===============================
[  6]   0.00-30.00  sec  1.76 GBytes   503 Mbits/sec  0.000 ms  0/9435900 (0%)  sender
[  6]   0.00-30.00  sec  1.76 GBytes   503 Mbits/sec  0.002 ms  5085/9435900 (0.054%)  receiver
./udp200-P2.log ===============================
[SUM]   0.00-30.00  sec  2.21 GBytes   634 Mbits/sec  0.000 ms  0/11886386 (0%)  sender
[SUM]   0.00-30.00  sec  2.21 GBytes   633 Mbits/sec  0.004 ms  17610/11886382 (0.15%)  receiver
./udp200-P4.log ===============================
[SUM]   0.00-30.00  sec  2.54 GBytes   727 Mbits/sec  0.000 ms  0/13628703 (0%)  sender
[SUM]   0.00-30.00  sec  2.54 GBytes   727 Mbits/sec  0.008 ms  2390/13628537 (0.018%)  receiver
./udp200-P8.log ===============================
[SUM]   0.00-30.00  sec  2.54 GBytes   728 Mbits/sec  0.000 ms  0/13649524 (0%)  sender
[SUM]   0.00-30.00  sec  2.54 GBytes   728 Mbits/sec  0.028 ms  0/13648904 (0%)  receiver
./udp400-P16.log ===============================
[SUM]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.000 ms  0/7883898 (0%)  sender
[SUM]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.104 ms  0/7882600 (0%)  receiver
./udp400-P1.log ===============================
[  6]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.000 ms  0/7887301 (0%)  sender
[  6]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.005 ms  3310/7887245 (0.042%)  receiver
./udp400-P2.log ===============================
[SUM]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.000 ms  0/7880129 (0%)  sender
[SUM]   0.00-30.00  sec  2.94 GBytes   840 Mbits/sec  0.007 ms  414/7880002 (0.0053%)  receiver
./udp400-P4.log ===============================
[SUM]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.000 ms  0/7880099 (0%)  sender
[SUM]   0.00-30.00  sec  2.94 GBytes   841 Mbits/sec  0.016 ms  66/7879862 (0.00084%)  receiver
./udp400-P8.log ===============================
[SUM]   0.00-30.00  sec  2.93 GBytes   840 Mbits/sec  0.000 ms  0/7877839 (0%)  sender
[SUM]   0.00-30.00  sec  2.93 GBytes   840 Mbits/sec  0.043 ms  0/7877244 (0%)  receiver
./udp800-P16.log ===============================
[SUM]   0.00-30.00  sec  3.19 GBytes   913 Mbits/sec  0.000 ms  0/4281298 (0%)  sender
[SUM]   0.00-30.00  sec  3.19 GBytes   913 Mbits/sec  0.059 ms  636/4280576 (0.015%)  receiver
./udp800-P1.log ===============================
[  6]   0.00-30.00  sec  3.18 GBytes   912 Mbits/sec  0.000 ms  0/4274012 (0%)  sender
[  6]   0.00-30.00  sec  3.18 GBytes   912 Mbits/sec  0.005 ms  471/4273983 (0.011%)  receiver
./udp800-P2.log ===============================
[SUM]   0.00-30.00  sec  3.18 GBytes   911 Mbits/sec  0.000 ms  0/4271511 (0%)  sender
[SUM]   0.00-30.00  sec  3.18 GBytes   911 Mbits/sec  0.013 ms  0/4271440 (0%)  receiver
./udp800-P4.log ===============================
[SUM]   0.00-30.00  sec  3.19 GBytes   912 Mbits/sec  0.000 ms  0/4275768 (0%)  sender
[SUM]   0.00-30.00  sec  3.19 GBytes   912 Mbits/sec  0.018 ms  0/4275611 (0%)  receiver
./udp800-P8.log ===============================
[SUM]   0.00-30.00  sec  3.19 GBytes   912 Mbits/sec  0.000 ms  0/4276418 (0%)  sender
[SUM]   0.00-30.00  sec  3.19 GBytes   912 Mbits/sec  0.038 ms  0/4276085 (0%)  receiver
# # 追加確認したもの
# tail -4 ./udp1472-P1-1100M.log | head -2
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2420079 (0%)  sender
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.020 ms  35/2420068 (0.0014%)  receiver
# tail -4 ./udp1472-P2-1100M.log | head -2
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2420189 (0%)  sender
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.033 ms  0/2420147 (0%)  receiver
# tail -4 ./udp1472-P1-10000M.log | head -2
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2420055 (0%)  sender
[  6]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.017 ms  55/2420042 (0.0023%)  receiver
# tail -4 ./udp1472-P2-10000M.log | head -2
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.000 ms  0/2420127 (0%)  sender
[SUM]   0.00-30.00  sec  3.32 GBytes   950 Mbits/sec  0.032 ms  0/2420111 (0%)  receiver

TCP

# cat ./tcp1460-P4.log 
Connecting to host 192.168.0.250, port 5201
[  6] local 192.168.0.251 port 53682 connected to 192.168.0.250 port 5201
[  8] local 192.168.0.251 port 53684 connected to 192.168.0.250 port 5201
[ 10] local 192.168.0.251 port 53686 connected to 192.168.0.250 port 5201
[ 12] local 192.168.0.251 port 53688 connected to 192.168.0.250 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  6]   0.00-1.00   sec  28.9 MBytes   242 Mbits/sec    0    253 KBytes       
[  8]   0.00-1.00   sec  28.9 MBytes   242 Mbits/sec    0    259 KBytes       
[ 10]   0.00-1.00   sec  29.3 MBytes   246 Mbits/sec    0    260 KBytes       
[ 12]   0.00-1.00   sec  29.3 MBytes   246 Mbits/sec    0    257 KBytes       
[SUM]   0.00-1.00   sec   116 MBytes   976 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   1.00-2.00   sec  28.3 MBytes   237 Mbits/sec    0    263 KBytes       
[  8]   1.00-2.00   sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   1.00-2.00   sec  27.4 MBytes   230 Mbits/sec    0    260 KBytes       
[ 12]   1.00-2.00   sec  27.8 MBytes   233 Mbits/sec    0    257 KBytes       
[SUM]   1.00-2.00   sec   111 MBytes   935 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   2.00-3.00   sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   2.00-3.00   sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   2.00-3.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   2.00-3.00   sec  27.7 MBytes   232 Mbits/sec    0    257 KBytes       
[SUM]   2.00-3.00   sec   112 MBytes   936 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   3.00-4.00   sec  27.4 MBytes   230 Mbits/sec    0    263 KBytes       
[  8]   3.00-4.00   sec  27.9 MBytes   234 Mbits/sec    0    259 KBytes       
[ 10]   3.00-4.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   3.00-4.00   sec  27.7 MBytes   232 Mbits/sec    0    257 KBytes       
[SUM]   3.00-4.00   sec   111 MBytes   931 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   4.00-5.00   sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   4.00-5.00   sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   4.00-5.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   4.00-5.00   sec  27.8 MBytes   233 Mbits/sec    0    257 KBytes       
[SUM]   4.00-5.00   sec   112 MBytes   937 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   5.00-6.00   sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   5.00-6.00   sec  27.8 MBytes   234 Mbits/sec    0    259 KBytes       
[ 10]   5.00-6.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   5.00-6.00   sec  28.1 MBytes   236 Mbits/sec    0    257 KBytes       
[SUM]   5.00-6.00   sec   112 MBytes   938 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   6.00-7.00   sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   6.00-7.00   sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   6.00-7.00   sec  27.4 MBytes   230 Mbits/sec    0    260 KBytes       
[ 12]   6.00-7.00   sec  27.8 MBytes   233 Mbits/sec    0    257 KBytes       
[SUM]   6.00-7.00   sec   111 MBytes   932 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   7.00-8.00   sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   7.00-8.00   sec  27.4 MBytes   230 Mbits/sec    0    259 KBytes       
[ 10]   7.00-8.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   7.00-8.00   sec  27.6 MBytes   231 Mbits/sec    0    257 KBytes       
[SUM]   7.00-8.00   sec   111 MBytes   930 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   8.00-9.00   sec  27.4 MBytes   230 Mbits/sec    0    263 KBytes       
[  8]   8.00-9.00   sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   8.00-9.00   sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   8.00-9.00   sec  28.3 MBytes   238 Mbits/sec    0    257 KBytes       
[SUM]   8.00-9.00   sec   112 MBytes   937 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  6]   9.00-10.00  sec  28.0 MBytes   235 Mbits/sec    0    263 KBytes       
[  8]   9.00-10.00  sec  28.0 MBytes   235 Mbits/sec    0    259 KBytes       
[ 10]   9.00-10.00  sec  28.0 MBytes   235 Mbits/sec    0    260 KBytes       
[ 12]   9.00-10.00  sec  27.8 MBytes   234 Mbits/sec    0    257 KBytes       
[SUM]   9.00-10.00  sec   112 MBytes   937 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  6]   0.00-10.00  sec   280 MBytes   235 Mbits/sec    0             sender
[  6]   0.00-10.00  sec   279 MBytes   234 Mbits/sec                  receiver
[  8]   0.00-10.00  sec   280 MBytes   235 Mbits/sec    0             sender
[  8]   0.00-10.00  sec   279 MBytes   234 Mbits/sec                  receiver
[ 10]   0.00-10.00  sec   280 MBytes   235 Mbits/sec    0             sender
[ 10]   0.00-10.00  sec   278 MBytes   234 Mbits/sec                  receiver
[ 12]   0.00-10.00  sec   280 MBytes   235 Mbits/sec    0             sender
[ 12]   0.00-10.00  sec   279 MBytes   234 Mbits/sec                  receiver
[SUM]   0.00-10.00  sec  1.09 GBytes   939 Mbits/sec    0             sender
[SUM]   0.00-10.00  sec  1.09 GBytes   934 Mbits/sec                  receiver

iperf Done.
# for i in `ls ./tcp*log`; do echo "$i ======================="; tail -4 $i | head -2; done
./tcp100-P1.log =======================
[  6]   0.00-10.00  sec   360 MBytes   302 Mbits/sec    0             sender
[  6]   0.00-10.00  sec   357 MBytes   299 Mbits/sec                  receiver
./tcp100-P4.log =======================
[SUM]   0.00-10.00  sec   379 MBytes   318 Mbits/sec    3             sender
[SUM]   0.00-10.00  sec   366 MBytes   307 Mbits/sec                  receiver
./tcp1460-P1.log =======================
[  6]   0.00-10.00  sec  1.09 GBytes   936 Mbits/sec    0             sender
[  6]   0.00-10.00  sec  1.09 GBytes   934 Mbits/sec                  receiver
./tcp1460-P4.log =======================
[SUM]   0.00-10.00  sec  1.09 GBytes   939 Mbits/sec    0             sender
[SUM]   0.00-10.00  sec  1.09 GBytes   934 Mbits/sec                  receiver
./tcp800-P1.log =======================
[  6]   0.00-10.00  sec  1.04 GBytes   894 Mbits/sec    0             sender
[  6]   0.00-10.00  sec  1.04 GBytes   891 Mbits/sec                  receiver
./tcp800-P4.log =======================
[SUM]   0.00-10.00  sec  1.04 GBytes   895 Mbits/sec    0             sender
[SUM]   0.00-10.00  sec  1.04 GBytes   891 Mbits/sec                  receiver