krzysztof/landing_page
1
0
Fork 0
mirror of https://github.com/qdrant/landing_page.git synced 2026-09-25 22:18:30 +02:00
Code Issues Packages Projects Releases Wiki Activity
Files
aa5df6b4fd8c8f6222420851946e6fa1e8fca942
landing_page/experiments/fusion/diag/scifact.json
T
Dylan Couzon e7ddb75405 Add plan and experiments
2026-08-14 14:47:18 -04:00

602 lines
18 KiB
JSON
Raw Blame History

{
"tie_rate_build1": {
"rrf_k1_w1-1": 0.129,
"rrf_k1_w1-2": 0.08700000000000001,
"rrf_k1_w1-3": 0.03866666666666667,
"rrf_k1_w2-1": 0.07166666666666667,
"rrf_k1_w3-1": 0.03333333333333333,
"rrf_k1_w2-4": 0.08700000000000001,
"rrf_k2_w1-1": 0.12466666666666666,
"rrf_k2_w1-2": 0.08333333333333333,
"rrf_k2_w1-3": 0.04066666666666666,
"rrf_k2_w2-1": 0.07833333333333334,
"rrf_k2_w3-1": 0.03799999999999999,
"rrf_k2_w2-4": 0.06166666666666667,
"rrf_k5_w1-1": 0.10833333333333334,
"rrf_k5_w1-2": 0.054000000000000006,
"rrf_k5_w1-3": 0.03233333333333333,
"rrf_k5_w2-1": 0.06400000000000002,
"rrf_k5_w3-1": 0.030666666666666672,
"rrf_k5_w2-4": 0.041666666666666664,
"rrf_k20_w1-1": 0.062333333333333345,
"rrf_k20_w1-2": 0.016333333333333335,
"rrf_k20_w1-3": 0.006666666666666666,
"rrf_k20_w2-1": 0.024333333333333335,
"rrf_k20_w3-1": 0.006,
"rrf_k20_w2-4": 0.006666666666666666,
"rrf_k61_w1-1": 0.02766666666666667,
"rrf_k61_w1-2": 0.004666666666666666,
"rrf_k61_w1-3": 0.0010000000000000002,
"rrf_k61_w2-1": 0.010666666666666668,
"rrf_k61_w3-1": 0.0020000000000000005,
"rrf_k61_w2-4": 0.003666666666666667,
"dbsf": 0.0,
"dense_only": 0.0,
"sparse_only": 0.0,
"unreachable_minmax_w1-1": 0.002666666666666667,
"unreachable_minmax_w1-2": 0.0,
"unreachable_minmax_w1-3": 0.0,
"unreachable_minmax_w2-1": 0.0,
"unreachable_minmax_w3-1": 0.0,
"unreachable_minmax_w2-4": 0.0,
"unreachable_distr_w1-1": 0.0,
"unreachable_distr_w1-2": 0.0,
"unreachable_distr_w1-3": 0.0,
"unreachable_distr_w2-1": 0.0,
"unreachable_distr_w3-1": 0.0,
"unreachable_distr_w2-4": 0.0
},
"tie_rate_build2": {
"rrf_k1_w1-1": 0.12833333333333333,
"rrf_k1_w1-2": 0.08633333333333333,
"rrf_k1_w1-3": 0.038000000000000006,
"rrf_k1_w2-1": 0.07166666666666668,
"rrf_k1_w3-1": 0.03333333333333333,
"rrf_k1_w2-4": 0.08633333333333333,
"rrf_k2_w1-1": 0.12400000000000001,
"rrf_k2_w1-2": 0.08266666666666668,
"rrf_k2_w1-3": 0.04066666666666667,
"rrf_k2_w2-1": 0.07766666666666668,
"rrf_k2_w3-1": 0.038,
"rrf_k2_w2-4": 0.06166666666666667,
"rrf_k5_w1-1": 0.10766666666666667,
"rrf_k5_w1-2": 0.05333333333333334,
"rrf_k5_w1-3": 0.03233333333333333,
"rrf_k5_w2-1": 0.06400000000000002,
"rrf_k5_w3-1": 0.030666666666666672,
"rrf_k5_w2-4": 0.041,
"rrf_k20_w1-1": 0.06233333333333333,
"rrf_k20_w1-2": 0.016333333333333335,
"rrf_k20_w1-3": 0.006666666666666667,
"rrf_k20_w2-1": 0.024333333333333335,
"rrf_k20_w3-1": 0.006,
"rrf_k20_w2-4": 0.006666666666666667,
"rrf_k61_w1-1": 0.028,
"rrf_k61_w1-2": 0.004666666666666666,
"rrf_k61_w1-3": 0.0010000000000000002,
"rrf_k61_w2-1": 0.010666666666666668,
"rrf_k61_w3-1": 0.0020000000000000005,
"rrf_k61_w2-4": 0.003666666666666667,
"dbsf": 0.0006666666666666668,
"dense_only": 0.0,
"sparse_only": 0.0,
"unreachable_minmax_w1-1": 0.002666666666666667,
"unreachable_minmax_w1-2": 0.0,
"unreachable_minmax_w1-3": 0.0,
"unreachable_minmax_w2-1": 0.0,
"unreachable_minmax_w3-1": 0.0,
"unreachable_minmax_w2-4": 0.0,
"unreachable_distr_w1-1": 0.0006666666666666668,
"unreachable_distr_w1-2": 0.0,
"unreachable_distr_w1-3": 0.0,
"unreachable_distr_w2-1": 0.0,
"unreachable_distr_w3-1": 0.0,
"unreachable_distr_w2-4": 0.0
},
"tie_rate_build3": {
"rrf_k1_w1-1": 0.12833333333333333,
"rrf_k1_w1-2": 0.08633333333333333,
"rrf_k1_w1-3": 0.038000000000000006,
"rrf_k1_w2-1": 0.07166666666666668,
"rrf_k1_w3-1": 0.03333333333333333,
"rrf_k1_w2-4": 0.08633333333333333,
"rrf_k2_w1-1": 0.12400000000000001,
"rrf_k2_w1-2": 0.08266666666666668,
"rrf_k2_w1-3": 0.04066666666666667,
"rrf_k2_w2-1": 0.07766666666666668,
"rrf_k2_w3-1": 0.03866666666666667,
"rrf_k2_w2-4": 0.061000000000000006,
"rrf_k5_w1-1": 0.10766666666666667,
"rrf_k5_w1-2": 0.05333333333333334,
"rrf_k5_w1-3": 0.03233333333333333,
"rrf_k5_w2-1": 0.06400000000000002,
"rrf_k5_w3-1": 0.030666666666666672,
"rrf_k5_w2-4": 0.041,
"rrf_k20_w1-1": 0.06233333333333333,
"rrf_k20_w1-2": 0.016333333333333335,
"rrf_k20_w1-3": 0.006666666666666667,
"rrf_k20_w2-1": 0.024333333333333335,
"rrf_k20_w3-1": 0.006,
"rrf_k20_w2-4": 0.006666666666666667,
"rrf_k61_w1-1": 0.028,
"rrf_k61_w1-2": 0.004666666666666666,
"rrf_k61_w1-3": 0.0010000000000000002,
"rrf_k61_w2-1": 0.010666666666666668,
"rrf_k61_w3-1": 0.0020000000000000005,
"rrf_k61_w2-4": 0.003666666666666667,
"dbsf": 0.0,
"dense_only": 0.0,
"sparse_only": 0.0,
"unreachable_minmax_w1-1": 0.002666666666666667,
"unreachable_minmax_w1-2": 0.0,
"unreachable_minmax_w1-3": 0.0,
"unreachable_minmax_w2-1": 0.0,
"unreachable_minmax_w3-1": 0.0,
"unreachable_minmax_w2-4": 0.0,
"unreachable_distr_w1-1": 0.0,
"unreachable_distr_w1-2": 0.0,
"unreachable_distr_w1-3": 0.0,
"unreachable_distr_w2-1": 0.0,
"unreachable_distr_w3-1": 0.0,
"unreachable_distr_w2-4": 0.0
},
"tie_rate_build4": {
"rrf_k1_w1-1": 0.12833333333333333,
"rrf_k1_w1-2": 0.08633333333333333,
"rrf_k1_w1-3": 0.038000000000000006,
"rrf_k1_w2-1": 0.07166666666666668,
"rrf_k1_w3-1": 0.03333333333333333,
"rrf_k1_w2-4": 0.08633333333333333,
"rrf_k2_w1-1": 0.12400000000000001,
"rrf_k2_w1-2": 0.08266666666666668,
"rrf_k2_w1-3": 0.04066666666666667,
"rrf_k2_w2-1": 0.07766666666666668,
"rrf_k2_w3-1": 0.038,
"rrf_k2_w2-4": 0.060333333333333336,
"rrf_k5_w1-1": 0.10766666666666667,
"rrf_k5_w1-2": 0.05333333333333334,
"rrf_k5_w1-3": 0.03233333333333333,
"rrf_k5_w2-1": 0.06400000000000002,
"rrf_k5_w3-1": 0.030666666666666672,
"rrf_k5_w2-4": 0.041,
"rrf_k20_w1-1": 0.06233333333333333,
"rrf_k20_w1-2": 0.016333333333333335,
"rrf_k20_w1-3": 0.006666666666666667,
"rrf_k20_w2-1": 0.024333333333333335,
"rrf_k20_w3-1": 0.006,
"rrf_k20_w2-4": 0.006666666666666667,
"rrf_k61_w1-1": 0.02766666666666667,
"rrf_k61_w1-2": 0.004666666666666666,
"rrf_k61_w1-3": 0.0010000000000000002,
"rrf_k61_w2-1": 0.010666666666666668,
"rrf_k61_w3-1": 0.0020000000000000005,
"rrf_k61_w2-4": 0.003666666666666667,
"dbsf": 0.0006666666666666668,
"dense_only": 0.0,
"sparse_only": 0.0,
"unreachable_minmax_w1-1": 0.002666666666666667,
"unreachable_minmax_w1-2": 0.0,
"unreachable_minmax_w1-3": 0.0,
"unreachable_minmax_w2-1": 0.0,
"unreachable_minmax_w3-1": 0.0,
"unreachable_minmax_w2-4": 0.0,
"unreachable_distr_w1-1": 0.0006666666666666668,
"unreachable_distr_w1-2": 0.0,
"unreachable_distr_w1-3": 0.0,
"unreachable_distr_w2-1": 0.0,
"unreachable_distr_w3-1": 0.0,
"unreachable_distr_w2-4": 0.0
},
"tie_rate_build5": {
"rrf_k1_w1-1": 0.12833333333333333,
"rrf_k1_w1-2": 0.08633333333333333,
"rrf_k1_w1-3": 0.038000000000000006,
"rrf_k1_w2-1": 0.07233333333333335,
"rrf_k1_w3-1": 0.03333333333333333,
"rrf_k1_w2-4": 0.08633333333333333,
"rrf_k2_w1-1": 0.12400000000000001,
"rrf_k2_w1-2": 0.08266666666666668,
"rrf_k2_w1-3": 0.04066666666666667,
"rrf_k2_w2-1": 0.078,
"rrf_k2_w3-1": 0.03833333333333333,
"rrf_k2_w2-4": 0.06166666666666667,
"rrf_k5_w1-1": 0.107,
"rrf_k5_w1-2": 0.05333333333333334,
"rrf_k5_w1-3": 0.03233333333333333,
"rrf_k5_w2-1": 0.06433333333333335,
"rrf_k5_w3-1": 0.030666666666666672,
"rrf_k5_w2-4": 0.04033333333333334,
"rrf_k20_w1-1": 0.06233333333333333,
"rrf_k20_w1-2": 0.016000000000000004,
"rrf_k20_w1-3": 0.006666666666666667,
"rrf_k20_w2-1": 0.024333333333333335,
"rrf_k20_w3-1": 0.006,
"rrf_k20_w2-4": 0.006666666666666667,
"rrf_k61_w1-1": 0.02766666666666667,
"rrf_k61_w1-2": 0.004666666666666666,
"rrf_k61_w1-3": 0.0010000000000000002,
"rrf_k61_w2-1": 0.010666666666666668,
"rrf_k61_w3-1": 0.0020000000000000005,
"rrf_k61_w2-4": 0.003666666666666667,
"dbsf": 0.0006666666666666668,
"dense_only": 0.0,
"sparse_only": 0.0,
"unreachable_minmax_w1-1": 0.002666666666666667,
"unreachable_minmax_w1-2": 0.0,
"unreachable_minmax_w1-3": 0.0,
"unreachable_minmax_w2-1": 0.0,
"unreachable_minmax_w3-1": 0.0,
"unreachable_minmax_w2-4": 0.0,
"unreachable_distr_w1-1": 0.0006666666666666668,
"unreachable_distr_w1-2": 0.0,
"unreachable_distr_w1-3": 0.0,
"unreachable_distr_w2-1": 0.0,
"unreachable_distr_w3-1": 0.0,
"unreachable_distr_w2-4": 0.0
},
"bootstrap_vs_default": {
"dbsf": {
"mean": 0.0148120509111978,
"low": -5.953175509289564e-05,
"high": 0.028957222106201674,
"half_width": 0.014508376930647285,
"n": 300
},
"dense_only": {
"mean": -0.0936321074769497,
"low": -0.12288030975215582,
"high": -0.06531995130314641,
"half_width": 0.028780179224504703,
"n": 300
},
"rrf_k1_w1-1": {
"mean": -0.005795068837409961,
"low": -0.012612598230697806,
"high": 0.0002529349879887875,
"half_width": 0.006432766609343297,
"n": 300
},
"rrf_k1_w1-2": {
"mean": -0.012897681580271691,
"low": -0.02902432609501724,
"high": 0.003364459037312714,
"half_width": 0.016194392566164978,
"n": 300
},
"rrf_k1_w1-3": {
"mean": -0.015896155007048187,
"low": -0.03316444728724951,
"high": 0.001563167162355138,
"half_width": 0.017363807224802325,
"n": 300
},
"rrf_k1_w2-1": {
"mean": -0.04052553453759641,
"low": -0.057716101849540936,
"high": -0.024250329509186996,
"half_width": 0.016732886170176972,
"n": 300
},
"rrf_k1_w2-4": {
"mean": -0.012897681580271691,
"low": -0.02902432609501724,
"high": 0.003364459037312714,
"half_width": 0.016194392566164978,
"n": 300
},
"rrf_k1_w3-1": {
"mean": -0.052589488265727354,
"low": -0.07182613047029464,
"high": -0.033599751736829525,
"half_width": 0.019113189366732557,
"n": 300
},
"rrf_k20_w1-1": {
"mean": -0.005246049958755128,
"low": -0.019981066105774128,
"high": 0.008853340019319438,
"half_width": 0.014417203062546784,
"n": 300
},
"rrf_k20_w1-2": {
"mean": -0.01421195783793877,
"low": -0.03206880595530935,
"high": 0.002361589117950677,
"half_width": 0.017215197536630013,
"n": 300
},
"rrf_k20_w1-3": {
"mean": -0.01683726079500603,
"low": -0.03483350238013899,
"high": 0.0006723448926476276,
"half_width": 0.01775292363639331,
"n": 300
},
"rrf_k20_w2-1": {
"mean": -0.003764314076201951,
"low": -0.018789730201049282,
"high": 0.011447874697959333,
"half_width": 0.015118802449504308,
"n": 300
},
"rrf_k20_w2-4": {
"mean": -0.01924230909397895,
"low": -0.03756368798733765,
"high": -0.0016972704295104384,
"half_width": 0.017933208778913606,
"n": 300
},
"rrf_k20_w3-1": {
"mean": -0.005210817403324089,
"low": -0.02173723387477904,
"high": 0.01192195059699864,
"half_width": 0.01682959223588884,
"n": 300
},
"rrf_k2_w1-2": {
"mean": -0.0024793134539368507,
"low": -0.011064726691162301,
"high": 0.006153776504826365,
"half_width": 0.008609251597994333,
"n": 300
},
"rrf_k2_w1-3": {
"mean": -0.006986237663438958,
"low": -0.018791929918964563,
"high": 0.004000191855589505,
"half_width": 0.011396060887277034,
"n": 300
},
"rrf_k2_w2-1": {
"mean": -0.014128905715731234,
"low": -0.02418323223759274,
"high": -0.004179668127274476,
"half_width": 0.010001782055159131,
"n": 300
},
"rrf_k2_w2-4": {
"mean": -0.002414886056164996,
"low": -0.01303131674004109,
"high": 0.008286671382137826,
"half_width": 0.010658994061089458,
"n": 300
},
"rrf_k2_w3-1": {
"mean": -0.019707765684418378,
"low": -0.032502444007537115,
"high": -0.006696902942335711,
"half_width": 0.012902770532600702,
"n": 300
},
"rrf_k5_w1-1": {
"mean": -0.0020919747577776717,
"low": -0.009599077079766757,
"high": 0.005428137647222147,
"half_width": 0.007513607363494452,
"n": 300
},
"rrf_k5_w1-2": {
"mean": -0.011259169263312687,
"low": -0.024038985894735826,
"high": 0.0020622942656687553,
"half_width": 0.013050640080202291,
"n": 300
},
"rrf_k5_w1-3": {
"mean": -0.012566133079928609,
"low": -0.02671740701376856,
"high": 0.0007378203497424219,
"half_width": 0.013727613681755492,
"n": 300
},
"rrf_k5_w2-1": {
"mean": -0.003251249726308402,
"low": -0.014413246813699225,
"high": 0.008209207386503301,
"half_width": 0.011311227100101264,
"n": 300
},
"rrf_k5_w2-4": {
"mean": -0.010279177594198679,
"low": -0.02384479318524111,
"high": 0.003909035136350715,
"half_width": 0.013876914160795912,
"n": 300
},
"rrf_k5_w3-1": {
"mean": -0.0049773708831310605,
"low": -0.017805137495439563,
"high": 0.00820384787530326,
"half_width": 0.013004492685371412,
"n": 300
},
"rrf_k61_w1-1": {
"mean": -0.010766426401647667,
"low": -0.028117527817939126,
"high": 0.006392549208538399,
"half_width": 0.017255038513238764,
"n": 300
},
"rrf_k61_w1-2": {
"mean": -0.022168142224566558,
"low": -0.041065134925576265,
"high": -0.0038357459512886904,
"half_width": 0.018614694487143788,
"n": 300
},
"rrf_k61_w1-3": {
"mean": -0.025326834994257853,
"low": -0.04514893102189854,
"high": -0.005721743339532963,
"half_width": 0.019713593841182788,
"n": 300
},
"rrf_k61_w2-1": {
"mean": -0.009892165902643482,
"low": -0.02708940402319369,
"high": 0.007525538432136595,
"half_width": 0.01730747122766514,
"n": 300
},
"rrf_k61_w2-4": {
"mean": -0.024125782771160374,
"low": -0.04336733854200013,
"high": -0.006048496392484867,
"half_width": 0.018659421074757633,
"n": 300
},
"rrf_k61_w3-1": {
"mean": -0.008673067343030973,
"low": -0.027251764072556545,
"high": 0.00944314627543872,
"half_width": 0.018347455173997634,
"n": 300
},
"sparse_only": {
"mean": -0.028896180491396344,
"low": -0.05025038285684287,
"high": -0.007028804458213823,
"half_width": 0.021610789199314525,
"n": 300
},
"unreachable_distr_w1-1": {
"mean": 0.0148120509111978,
"low": -5.953175509289564e-05,
"high": 0.028957222106201674,
"half_width": 0.014508376930647285,
"n": 300
},
"unreachable_distr_w1-2": {
"mean": 0.01959455327345713,
"low": 0.0033936247550928216,
"high": 0.034583810189748446,
"half_width": 0.015595092717327811,
"n": 300
},
"unreachable_distr_w1-3": {
"mean": 0.013398014782700389,
"low": -0.003708942764738101,
"high": 0.030333443841980706,
"half_width": 0.017021193303359404,
"n": 300
},
"unreachable_distr_w2-1": {
"mean": -0.0023145890851863876,
"low": -0.019669946572120494,
"high": 0.013628965993201715,
"half_width": 0.016649456282661103,
"n": 300
},
"unreachable_distr_w2-4": {
"mean": 0.01959455327345713,
"low": 0.0033936247550928216,
"high": 0.034583810189748446,
"half_width": 0.015595092717327811,
"n": 300
},
"unreachable_distr_w3-1": {
"mean": -0.01997423748871315,
"low": -0.03625818133628806,
"high": -0.0030143153292530593,
"half_width": 0.0166219330035175,
"n": 300
},
"unreachable_minmax_w1-1": {
"mean": 0.006282759874353763,
"low": -0.006528038801336352,
"high": 0.018068549176992806,
"half_width": 0.012298293989164578,
"n": 300
},
"unreachable_minmax_w1-2": {
"mean": 0.014368682084967483,
"low": -0.0009609254407235614,
"high": 0.029814421758110526,
"half_width": 0.015387673599417045,
"n": 300
},
"unreachable_minmax_w1-3": {
"mean": 0.010199724525326602,
"low": -0.00718095089221834,
"high": 0.027432257350353498,
"half_width": 0.01730660412128592,
"n": 300
},
"unreachable_minmax_w2-1": {
"mean": -0.02358413081258322,
"low": -0.040767085736328035,
"high": -0.006066684370192523,
"half_width": 0.017350200683067755,
"n": 300
},
"unreachable_minmax_w2-4": {
"mean": 0.014368682084967483,
"low": -0.0009609254407235614,
"high": 0.029814421758110526,
"half_width": 0.015387673599417045,
"n": 300
},
"unreachable_minmax_w3-1": {
"mean": -0.03554277120593072,
"low": -0.05612193603528988,
"high": -0.01646558730035657,
"half_width": 0.019828174367466655,
"n": 300
}
},
"move1_can_fusion_help": {
"union_recall": 0.9816666666666667,
"ideal_ndcg_10": 0.982043823975885,
"default_ndcg_10": 0.717491736277043,
"headroom": 0.264552087698842,
"dense_recall": 0.955,
"sparse_recall": 0.94
},
"move2_where_results_come_from": {
"top10_source_share": {
"both": 0.792,
"dense_only": 0.11266666666666666,
"sparse_only": 0.09533333333333334
},
"top10_relevant_source_share": {
"both": 0.9753521126760564,
"dense_only": 0.014084507042253521,
"sparse_only": 0.01056338028169014
},
"unique_relevant_per_query": {
"dense": 0.043333333333333335,
"sparse": 0.02666666666666667
},
"unique_relevant_surviving_into_top10": {
"dense": 0.3076923076923077,
"sparse": 0.375
}
},
"move3_which_way_to_move_k": {
"k_sweep_equal_weights": {
"1": 0.7116966674396331,
"2": 0.717491736277043,
"5": 0.7153997615192654,
"20": 0.712245686318288,
"61": 0.7067253098753955
},
"best_k": 2,
"span": 0.010766426401647489,
"tie_rate_top10": {
"k1": 0.129,
"k2": 0.12466666666666666,
"k5": 0.10833333333333334,
"k20": 0.062333333333333345,
"k61": 0.02766666666666667
},
"dbsf_minus_default": 0.01481205091119786
},
"move4_when_to_stop": {
"arms_clearing": 0,
"clearing_arms": [],
"dbsf_clears": false,
"nominal_winner": "dbsf",
"prescription": "rrf_k2_w1-1",
"median_interval_width": 0.03131319501566929
}
}
Reference in New Issue View Git Blame Copy Permalink