試行回数を減らすと、成功率はどこまでぶれるか

成功率を決めて試行回数を動かすと、偶然だけで動く範囲(95%)が帯で表示される。30回では帯が広く、数百回で細くなる。

Trials vs. noise
ぶれ(±)
±17.9pt
偶然で出うる範囲
32〜68%
ArmnetBench v0.1 · 50 demos per task

7手法の総合成功率に、ぶれの帯を重ねた。「1タスク30回」に切り替えると、同じ成功率でも帯が広がり、隣の手法と重なる。

成功率は ArmnetBench v0.1 の総合成績(実演50本・12タスク合計)。帯は 1.96×√(p(1−p)/n) で計算した目安。「1タスク30回」は、同じ成功率を30回で測った場合の帯の幅を示す。