RetroPGF 3: Poznatky a úvahy

Retroaktivní financování veřejných blah (Retro Funding) je ekonomický setrvačník, který odměňuje pozitivní dopad na kolektiv Optimism. Bez financování veřejných statků by základní nástroje a infrastruktura, které jsou nezbytné k udržení chodu blockchainů a prosperujících ekosystémů, nemusely mít prostředky na průběžný provoz nebo na budování své vize na prvním místě. Vizí Optimism je vytvořit silnou pobídku pro vytváření veřejných statků, což povede k ekosystému, kde se spolupráce stane vítěznou strategií.

Kolektiv provozuje Retro Funding jako průběžný experiment, v němž se poznatky a zkušenosti z každého kola promítají do podoby budoucích experimentů.

Níže je uveden přehled klíčových změn návrhu RetroPGF 3, které byly stanoveny na základě zpětné vazby z RetroPGF 2.

Hlavní poznatky z programu Retro Funding 3

Zde jsou hlavní poznatky z RetroPGF 3:

• Široký rozsah kola ohromil držitele odznaků i žadatele.

• Absence standardizovaných, ověřitelných a srovnatelných ukazatelů dopadu a spoléhání se na individuální subjektivní kritéria hodnocení ztěžovaly objektivní měření dopadu žádostí.

• Samostatný výběr žádostí k přezkoumání držiteli odznaků nezajistil spravedlivé přezkoumání každé žádosti minimálním počtem držitelů odznaků.

• Samotný objem žádostí v kombinaci se slabými kritérii způsobilosti komplikoval držitelům odznaků proces hlasování. Seznamy nebyly účinné při rozšiřování schopnosti držitelů odznaků přesně hlasovat o více žádostech.

Tyto poznatky byly získány na základě více než 300 zpětných vazeb, které byly shromážděny prostřednictvím průzkumu mezi držiteli odznaků, příspěvku na Gov fóru RetroPGF 3 a kanálu Discord/Telegram pro držitele odznaků, a budou použity v příští iteraci Retro Funding.

Níže tyto poznatky podrobně dokumentujeme jako součást postupného procesu k otevřenému zdrojovému kódu návrhu správy Optimismu. Tento příspěvek není vyčerpávající a jeho cílem je zaměřit se na hlavní poznatky a nejpopulárnější požadavky.

Analýza výsledků

1. Měřítko: RetroPGF 3 představuje jedinečný precedens, pokud jde o měřítko. Počet způsobilých žadatelů se oproti předchozímu kolu zvýšil o 330 %, přičemž počet příjemců vzrostl ze 195 příjemců v RetroPGF 2 na 501 příjemců v RetroPGF 3. Množství tokenů OP rozdaných stavitelům v rámci Optimism Collective dalece převyšuje jakýkoli srovnatelný grantový program v oblasti kryptoměn.

2. Nízký rozptyl: Výsledky nástroje RetroPGF 3 neodrážejí příliš velký dopad. Rozdíl v odměnách mezi 1 % nejlepších příjemců a průměrným příjemcem byl přibližně šestinásobný (300 tisíc oproti 45 tisícům).

3. Menší týmy a individuální žádosti dostaly ve srovnání s většími týmy vyšší odměnu. Nejlepší projekt - Protocol Guild - získal 660 tisíc OP rozdělených mezi více než 100 přispěvatelů na plný úvazek, což je přibližně 6 tisíc na jednoho přispěvatele. Pro srovnání, do RetroPGF se přihlásilo 112 individuálních žadatelů, kteří získali dohromady 1,7 milionu, tedy asi 15 tisíc na žádost.

4. Odměňování konkrétních příspěvků optimismu: Výsledky postrádaly prioritizaci stavitelů, kteří jsou motorem pro přijetí optimismu. Důraz byl kladen na odměňování veřejných statků Etherea jako celku, přičemž 30 nejlepších příjemců tvořily téměř výhradně veřejné statky, které nejsou specifické pro Optimism, ale pohánějí ekosystém Etherea jako celek. Pro srovnání, 20 % nejlepších projektů z hlediska příspěvků z výnosů ze sekvenčních poplatků obdrželo pouze 5 % odměn. (Viz výše příděl tokenů OP Retro Funding 3 mezi aplikace OP Mainnet).

Pro další podrobné vyhodnocení výsledků se podívejte na analýzy výsledků od přispěvatelů Optimism Contributors a konkrétně na práci Open Source Observers, kteří poskytli své postřehy a výše uvedené grafy pro tuto sekci.

Proces podávání žádostí

Pro účast v RetroPGF 3 museli projekty a jednotlivci podat žádost. Tento proces byl zjednodušen na základě zpětné vazby z RetroPGF 2, kde stavebníci museli být nominováni (včetně vlastní nominace) a podat žádost, aby se kvalifikovali.

Přihlašování probíhalo od 19. září do 23. října 2023 a přihlásilo se do něj celkem 1594 žadatelů. Po ukončení procesu podávání žádostí provedla vybraná skupina držitelů odznaků revizi žádostí, které byly nahlášeny z důvodu porušení pravidel pro podávání žádostí v rámci RetroPGF. Proces přezkoumání probíhal podle vzoru poroty, kdy byli držitelé odznaků náhodně rozděleni do skupin, které hlasovaly o vyřazení žádostí z kola na základě pravidel pro podávání žádostí. Proces přezkoumání žádostí probíhal od 24. října do 1. listopadu, přičemž bylo přezkoumáno 1 035 nahlášených žádostí a z kola bylo vyloučeno 967 žadatelů.

Nově zavedený formulář žádosti vedl k výraznému zlepšení kvality žádostí ve srovnání s předchozími koly. Obsah přihlášek byl více sladěn s procesem hlasování a obsahoval externí zdroje dat, jako jsou odkazy na repozitáře Github a nasazení onchainu, které byly použity k napájení analytických nástrojů, jako je OpenSource Observer. Kvalita toku aplikací získala pozitivní zpětnou vazbu:

• "Je to velmi hladký proces!"

• "Myslím, že tento formulář je velmi přehledný, nejlepší formulář pro podání žádosti, jaký jsem kdy viděl v jakémkoli grantovém programu." - Eduardo

• "Právě jsem vytvořil profil pro DoD na webových stránkách RetroPGF-3 a nezaznamenal jsem žádné technické problémy. Je to velmi hladký proces!" - Afri

Chyby, omyly a časová osa

Formulář žádosti měl ještě co zlepšovat. Uživatelé se setkali s řadou problémů, včetně zadávání nepřesných ukazatelů dopadu a částek grantů u několika žádostí kvůli chybě při práci s evropskými desetinnými místy. Řada těchto chyb přetrvávala i v konečných žádostech, protože žádosti bylo možné upravovat během období pro podávání žádostí, ale po jeho skončení je nebylo možné měnit. Prodloužení období pro podávání žádostí ze dvou týdnů (v RetroPGF 2) na čtyři týdny v RetroPGF 3 mělo minimální dopad, protože naprostá většina uživatelů podala své žádosti v blízkosti termínu.

Porušení pravidel žádosti

V porovnání s RetroPGF 2, kdy byly z kola vyřazeny celkem 2 žádosti na základě technických důvodů, se RetroPGF 3 potýkalo s obrovským množstvím spamu a porušením pravidel pro žádosti, přičemž bylo vyřazeno 967 žádostí. To pravděpodobně souviselo s tím, že proces podávání žádostí začal krátce po Optimism Airdrop #3, což vedlo k velkému přílivu farmářů, kteří podávali žádosti o airdrop. Kromě vyloučení spamu vyjádřilo mnoho držitelů odznaků zpětnou vazbu, že proces podávání žádostí by měl být vylepšen, aby chránil před podáváním žádostí nízké kvality, a že by měla existovat přísnější kritéria způsobilosti. Držitelé odznaků hodnotili celkovou kvalitu způsobilých projektů a jejich žádostí v průměru 6,9 body z 10 možných.

• "Spammeři nemají žádnou "kůži ve hře". Náklady na podání žádosti o spam jsou velmi nízké, a jak jsme se všichni přesvědčili, může to recenzentům způsobit spoustu práce." - Michael Vandermeiden

• "Stále mám pocit, že existuje slušné množství kandidátů, kteří nejsou spam, ale neměli by být uvedeni. Jsem toho názoru, že pokud je držiteli odznaku předložen kandidát, měl by již mít jasný argument pro předchozí dopad." - Brian Lehrer

• "Mnoho projektů se ucházelo o Retro financování, ale od RPGF2 neměly hmatatelný dopad na kolektiv Optimismu. Je v pořádku nežádat, pokud jste nezaznamenali žádný dopad. Podat žádost a předstírat, že jste měli dopad, v pořádku NENÍ." - Rev

Shromažďování správných informací

Informace požadované od žadatelů nezahrnovaly vykazování rizikového financování, což se setkalo se značným odporem ze strany držitelů odznaků a širší komunity.

• "Skutečnost, že se nepožadují informace o financování VC, ale pak se požadují informace o darech a grantech, považuji za velmi špatnou." - Lefteris

• "Myslím si, že v budoucnu je třeba vyžadovat, aby projekty zveřejňovaly své zdroje financování." - ZachXBT

• "V žádostech o RPGF je pro férovost zásadní zveřejňovat soukromé/VC financování." - Rev

V procesu podávání žádostí dále chybí účinné schéma kategorizace. Žadatelé si mohli vybrat jednu nebo více kategorií dopadu podle rozsahu kola. Výběr z více kategorií znemožňoval filtrační funkce v hlasovacích aplikacích.

• "To je pravděpodobně jeden z největších a nejdůležitějších problémů, které je třeba vyřešit. Jak lze velmi rozsáhlý seznam projektů roztřídit do kategorií tak, aby si hlasující mohl vybrat jen ty kategorie, v nichž má odborné znalosti, a nebyl zahlcen." - Tam

Vzhledem k metrikám dopadu, které si žadatelé sami uvádějí, se v aplikacích objevily nedostatky v ověřitelných tvrzeních o dopadu a používání marných metrik. Metriky nebyly standardizovány, což ztěžovalo porovnávání mezi projekty. Většinu odkazovaných zdrojů dat tvořily odkazy na Etherscan, Github, Dune Analytics, Twitter a dokumenty Google.

• "Chtěl bych, aby žadatelé lépe podávali zprávy o dopadech. Nejsem si jistý, jestli je to doplnění formuláře, nebo jen návod/šablona, ale hodně mě ovlivnil pohled na Carlovu tabulku onchainových transakcí a metrik na Githubu." - Chris Carella

• "Projekty se mohou rozhodnout, že budou chybět držitelé hlavních odznaků. To se ukázalo alespoň u jednoho konkrétního projektu, ve kterém prezentovali pouze příjmy, které jim již byly předány, ale rozhodli se skrýt údaje o odevzdaných OP, které budou dostávat po ročním uzamčení." - LauNaMu

Závěry:

• Ačkoli formulář žádosti byl oproti 2. kolu značně vylepšen a splnil své hlavní cíle pro 3. kolo, je třeba provést další zlepšení, aby bylo možné využít spolehlivé údaje o dopadu a posílit standardizované ukazatele dopadu.

• Měla by být stanovena přísnější kritéria způsobilosti pro účast v RetroPGF a proces posuzování žádostí je třeba zlepšit, aby se tato kritéria spolehlivě prosazovala.

• Držitelé odznaků optimismu by měli mít možnost poskytnout zpětnou vazbu k formuláři žádosti před jeho finalizací. To umožní týmu reagovat na vznikající zpětnou vazbu, například na požadavek na zveřejnění financování VC, a zároveň případně zpomalit iterační cyklus.

• Vícenásobný výběr kategorií dopadu měl negativní dopad na zjišťování žadatelů a ztěžoval proces hlasování, kategorizace by se měla zlepšit, aby se usnadnil proces zjišťování a hlasování.

• Okno pro podávání žádostí lze zkrátit, protože termíny jsou skutečným hnacím motorem pro podávání žádostí.

Hodnocení vlivu

Hlasování probíhalo od 6. listopadu do 7. prosince 2023 a zúčastnilo se ho celkem 145 držitelů odznaků a 643 žadatelů. Stejně jako v předchozích kolech RetroPGF obdrželi držitelé odznaků příručku pro držitele odznaků, v níž jsou uvedena pravidla a pokyny pro proces hlasování. Součástí příručky byly pokyny, jak uplatňovat zásadu "dopad = zisk", přehled designu hlasování a jeho důsledků, jakož i příslušné odkazy na Kodex chování.

V návaznosti na zpětnou vazbu a poznatky z RetroPGF 2 byla držitelům odznaků poskytnuta jasnější definice role, v níž byli požádáni, aby při uplatňování zásady "dopad = zisk" vynášeli ucelené soudy, a nikoli aby vyjadřovali své osobní preference pro konkrétního žadatele. Tento dodatečný kontext byl držiteli odznaků, zejména těmi, kteří hlasovali poprvé, přijat pozitivně.

• "Příručka Badgeholder byla skvělou referencí, ale pro dynamickou povahu hlasovacího procesu byla příliš statická." - Amer

• "Celkově přehledné a všechny informace velmi užitečné." - Amy

• "Domnívám se, že jasnější pokyny pro držitele odznaků by mohly proces zefektivnit. PS: Příručka pro držitele odznaků mi v tomto kole nesmírně pomohla!" - Joao Kurry

• "...jako nový držitel odznaku jsem se cítil velmi vítán, proces nástupu byl hladký, role a povinnosti jsou jasné, tým gov je vždy připraven řešit jakýkoli dotaz." - Willian

Součástí příručky pro badgeholdery byl i Rámec pro hodnocení dopadů, který vytvořil LauNaMu ve spolupráci s Nadací Optimismus a jehož cílem bylo poskytnout mentální modely a definice pro hodnocení dopadů (cíl 3. kola). Jsou v něm nastíněni příjemci, definice a metriky dopadu pro každou ze čtyř kategorií rozsahu. Ukázalo se, že tento rámec je užitečný pro podporu držitelů odznaků při vytváření hlubší intuice o rozsahu, dopadu a užitečných metrikách, přičemž fungoval spíše jako nástroj pro vysoce angažované držitele odznaků, aby si navrhli vlastní rámec, než aby byl přímo použitelný pro hodnocení projektů. Retrospektivu rámce pro hodnocení dopadů naleznete zde.

• "Rámce kategorií byly do jisté míry užitečné. Myslím, že obsah by mohl být stručnější. Klíčová slova a metrická zahrada byly dobrými příklady. Použil jsem je k vytvoření seznamu potenciálních metrik dopadu, které bych měl hledat. " Amy

• "Vím, že záměrem bylo dát každému široký prostor pro návrh metodiky. To byl vlastně skvělý způsob, jak přimět spoustu chytrých lidí experimentovat s různými řešeními. I když mně osobně, která jsem to dělala poprvé, nějakou dobu trvalo, než jsem si vytvořila metodiku a pak ji upravovala podle toho, jak jsem získávala nové poznatky." Tam

Příručka badgeholdera a rámec pro hodnocení dopadů poskytly pokyny pro hodnocení dopadů, ale neposkytly rámce přímo použitelné při hlasování. Držitelé odznaků vyjádřili zpětnou vazbu, že dopad by měl být blíže definován, aby byl použitelný při hlasování:

• "Přál bych si, aby byl rámec Zisk = dopad lépe vysvětlen a jednoznačně prosazován." - Alex

• "Existuje velký zmatek v tom, co znamená "dopad", a opravdu se liší, jak si to lidé vykládají. Chápu, proč to Optimism může chtít nechat otevřené, ale mám pocit, že bez zaujmutí vyhraněnějšího stanoviska v této věci budou neustále probíhat boje o to, co to vlastně znamená řídit dopad." - Petr K., ředitel společnosti Optimism - Brian

• "Pozitivní dopad je další vágní pojem." - Lefteris

Round Scope

RetroPGF 3 se skládalo ze čtyř kategorií: OP Stack, kolektivní správa, ekosystém pro vývojáře a zkušenosti a přijetí koncovými uživateli. Rozsah neurčoval časové období, za které by měl být dopad odměněn, a ponechával na držitelích odznaků, aby odměnili dopad ve zvoleném časovém rámci. Tento široký rozsah vedl k nejasnostem ohledně způsobilosti některých žadatelů a ztížil propagaci programu mezi příslušnými tvůrci a podnítil tvorbu relevantních příspěvků do programu Optimism.

Běžnou zpětnou vazbou bylo zúžení rozsahu, a to buď na základě společných atributů žadatelů (například oddělit kola pro jednotlivce a projekty), nebo společných typů příspěvků (například oddělená kola pro vývojářské nástroje a vzdělávání). Všeobecným požadavkem bylo snížit počet žadatelů a zavést kola s cílenějším rozsahem.

• "Je to chaotické, když se v jednom kole sejdou různé typy projektů."

• "V budoucnu by mohlo mít smysl více menších kol. Trochu se bojím procházet tak obrovský korpus projektů a vím, že není reálný způsob, jak je všechny skutečně spravedlivě posoudit." - Ricmo

• "Největší zpětná vazba z minulého kola byla, že množství přihlášených projektů bylo ohromující, ale v tomto kole jsme nějak skončili s šestinásobným množstvím projektů, takže mám pocit, že tato zpětná vazba nebyla vyslyšena. Podle mého názoru je třeba stanovit nějakou bariéru pro vstup žadatelů a neuložit odpovědnost za posouzení tak šíleného množství projektů, z nichž většina je mimo rozsah, výhradně na držitele odznaků." - Katie

• "Obrovské množství žádostí, které musel každý držitel odznaku zpracovat, bylo ohromující." - Mitch

• "Docela mě uklidňuje, že ostatní trochu bojují s množstvím projektů, bál jsem se, že mi někde uniká nějaký trik!" - MinimálněGravitas

• "Začal jsem procházet projekty (je jich tolik...), ale jsem daleko pozadu." - Joav

• "celkově jsem měl pocit, že je moje pozornost hodně roztahaná." - Brian

• "Menší periodicky omezovaná kola dávají velký smysl, bylo by mnohem snazší měřit relativní dopad." - Nick

• "Tady souhlasím, myslím, že cílenější & definovaná kola s menším množstvím OP (a lépe zabudovaným procesem prověřování) by byla skvělým experimentem pro RPGF." - "To je skvělé." - Matt

Co je to veřejný prospěch a může být financován rizikovým kapitálem?

O úloze rizikového financování v RetroPGF se vedla široká diskuse. Názory se pohybovaly od přesvědčení, že projekty financované rizikovým kapitálem by měly být z RetroPGF vyloučeny, až po názor, že financování rizikovým kapitálem nemá pro proces hodnocení žádný význam. Tato debata měla dalekosáhlý dosah napříč komunitou Ethereum a zahrnovala mnoho různých pohledů a témat k diskusi. Přečtěte si prosím toto shrnutí různých pohledů na financování VC a pohled Nadace Optimism Foundation.

Tato diskuse zdůraznila, že záměry RetroPGF Optimism nebyly dostatečně sděleny širší komunitě Etherea. RetroPGF je často chápán jako charitativní organizace, která se stará o projekty v nouzi. V naprostém protikladu k tomu byl záměr RetroPGF vždy vytvořit nový ekonomický systém, v němž existuje motivace k poskytování dopadu na Optimism Collective.

Kromě financování rizikovým kapitálem byla velmi populární debata o definici "veřejných statků" a o tom, co by měly nebo neměly zahrnovat.

• "Proběhla ostrá diskuse o tom, co je to veřejné blaho, a já si opravdu myslím, že snaha vytvořit definici vhodnou pro všechny občany by vedla k našemu pádu. Naší největší silou je různorodost našeho původu, osob a profesí a já bych rád nechal scénu otevřenou pro každého, aby se mohl podělit o svou definici." - Uživatel OP

• "I když myšlenka dopad = zisk je skvělá, myslím, že mít dopad nebo být pozitivní pro ekosystém nemusí nutně znamenat, že jde o veřejný prospěch." - Wesley

• "Retroaktivní financování veřejných statků je dobře míněné označení, ale v praxi je žalostně špatně chápáno. "Veřejné statky" jsou obzvláště zavádějící, protože způsobují, že lidé přemýšlejí pouze o čistě veřejných statcích a uniká jim většina toho, co se program snaží [odměňovat]." - Spencer

• "Obavy kolem široce používaných aplikací Optimismu, které jsou většinou vynechány z kola ven, se při čtení skutečných popisů (např. "onboarding nových uživatelů") zdají být legitimní, ale narážejí na intuitivní chápání "veřejných statků" lidmi." - Tim Beiko

Toto téma bylo ve všech třech kolech RetroPGF velmi diskutované. Je otázkou, zda debata o tom, co je veřejným statkem, skutečně přispívá k dosažení cílů RetroPGF, nebo zda má spíše náboženský charakter. Výsledkem této debaty v rámci RetroPGF 1 bylo stanovení principu dopad = zisk, tedy zásady, že hodnota, kterou přispěvatel vytvořil pro Optimism Collective, by se měla rovnat hodnotě, kterou přispěvatel z Optimism Collective vytěžil. Ve 3. kole bylo v pokynech dále zdůrazněno, že cílem RetroPGF je odměnit dopad a vyplnit mezeru mezi dopadem a ziskem přispěvatele. Ekonomická definice čistých veřejných statků (např. nesoupeřících, nevylučujících) se nevztahuje na velký soubor vysoce dopadových příspěvků do Optimismu a ekosystému Etherea. Například: hackathony, aplikace, které zvyšují příjmy sekvenceru Optimism, bezplatné služby, které jsou dostupné pouze pro podmnožinu uživatelů & stavitelů, jakékoli hostované služby atd. mohou mít pozitivní dopad na Kolektiv, i když neodpovídají tradiční ekonomické definici čistého veřejného statku.

Namísto zkoumání charakteristiky jednotlivých statků a služeb a definice "veřejných statků" bychom se měli zaměřit na bližší vymezení výsledků (tj. dopadů), které chceme motivovat. Přílišná aplikace klasické ekonomické definice veřejných statků nám může zabránit v ocenění důležitých příspěvků k optimismu. Jedním z nejpoužitelnějších výsledků, o nichž hovoří badgeholdeři, je motivace softwaru s otevřeným zdrojovým kódem, a to buď poskytováním nadstandardních odměn jejich tvůrcům, nebo výhradně odměňováním softwaru s otevřenou licencí.

• "Pokud se jedná o uzavřený produkt s volně šiřitelným kódem, který přestane existovat, jakmile jeho společnost zemře, nejedná se o veřejný statek." - Lefteris

• "...pokud je produkt uzavřený, a já bych vyzval držitele odznaků, aby hlasovali 0 pro aplikace, které se dostaly do fáze hlasování" - Willian

• "Měl jsem zcela jasno v tom, že upřednostňuji bootstrapped týmy, které poskytují skutečné open source veřejné statky, před urychlenými, financovanými týmy, které mohou zakořenit produkt nebo službu před zavedením poplatků nebo stažením." - Lexis - Nickbtts

Závěry:

• Široký záběr a vysoký počet žadatelů měly na toto kolo značně negativní dopad.

• Dopad nebyl definován tak, aby jej bylo možné přímo uplatnit při hlasování, což ztěžovalo práci držitelům odznaků.

• Diskuse o definici veřejných statků přímo nepodporují kolektiv při definování typů dopadů, které chce ocenit.

• Kolektiv neposkytl dostatečně jasnou informaci o cílech RetroPGF, což ztížilo konstruktivní diskuse v rámci širší komunity Etherea.

Design a chování při hlasování

Design hlasování

Návrh hlasování RetroPGF 3 vypočítal odměny jednotlivých projektů pomocí mediánu s požadavkem minimálního kvora 17 hlasů držitelů odznaků, což je iterace založená na poznatcích z RetroPGF 2, která využívala průměr hlasů držitelů odznaků. Ačkoli se jedná o zlepšení oproti 2. kolu, důsledky tohoto návrhu byly ve srovnání s běžnějšími návrhy hlasování poměrně neintuitivní. Držitelé odznaků také upozornili, že existuje další prostor pro výzkum a iteraci tohoto hlasovacího návrhu.

• "Myslím, že medián vlastně odstraňuje spoustu nedostatků z prvního kola. Medián se zdá být mnohem lepším řešením pro: a. zabránění tajným dohodám (k ovlivnění výsledků je třeba mnohem více hlasujících) b. umožnění držitelům odznaků hlasovat na základě oblasti odbornosti (projekty nejsou penalizovány za to, že jsou na menším počtu hlasovacích lístků) Obě části a. i b. jsou nesmírně důležité, protože se snažíme tento proces rozšířit." - Michael Vandermeiden

• "Jsem super zvědavý na různé matematické výpočty prováděné nad souborem dat. Mám pocit, že medián nemusí být nutně ten úplně správný přístup. I kdyby se to pro toto kolo nezměnilo, vidina různých výsledků by mohla pomoci ovlivnit budoucí kola :)" - "Děkuji. - Richard

• "...Souhlasím s tím, že medián pravděpodobně není nejlepší volbou a je poměrně neintuitivní." - Krzysztof Urbański

Kvorum

Kvórum mělo velký vliv na zkušenosti držitelů odznaků i žadatelů. Žadatelé se obávali, že se nesejdou s kvorem, a hromadně oslovovali držitele odznaků, aby maximalizovali své šance na úspěch. Malý nereprezentativní průzkum ukázal, že každý držitel odznaku obdržel od žadatelů více než 15 DM. To vytvořilo dynamiku, která byla vnímána spíše jako soutěž popularity než jako cvičení v objektivním hodnocení dosavadních příspěvků jednotlivých žadatelů:

• "Projekty, které nedosahují (nebo pravděpodobně nedosáhnou) kvora, jsou motivovány k propagaci každého držitele odznaku, aby mohly získat jakýkoli RPGF. Projekty, které pravděpodobně dosáhnou kvora, jsou motivovány k tomu, aby nepropagovaly nebo propagovaly pouze držitele odznaků, kteří jejich projekt "milují", např. lidi, kteří již mají přímý dopad (nebo pozorují dopad) jejich projektu, takže maximalizují RPGF." - abcoathup

• "Někteří žadatelé mohli dokonce nabýt dojmu, že k dosažení kvóra bylo nutné zoufalství a shilling; můj vlastní dojem je, že rychlý nárůst "hlasovacích lístků" v posledních dnech hlasování souvisel spíše s tím, že mnoho držitelů odznaků bylo do té doby zaneprázdněno prací v offline tabulkách a hlasovací software prostě nepoužívali až do velmi pozdní fáze procesu." - joanbp

• "Nyní RPGF působí pokřiveně a osobně, trochu jako soutěž popularity." - 0xzenodotus

• "Nemyslím si, že by skupiny měly inzerovat svůj "dopad", protože pak je to hra, ve které vyhrávají nejlepší inzerenti." - lightclient

Chování při hlasování

Rozhodování o hlasování na základě údajů bylo obtížné vzhledem k rozsahu dopadu projektů (důsledek širokého záběru) a nedostatku srovnatelných ukazatelů a příspěvků (důsledek procesu podávání žádostí). V kombinaci s množstvím žádostí to vedlo k přetížení kognitivních funkcí a k tomu, co někteří označili za přístup k hlasování ve stylu "stříkej a modli se". Posouzení s nízkou přesností u velkého počtu žadatelů bylo upřednostněno před posouzením s vysokou přesností u malého počtu žadatelů. Vytváření jednoduchých kvalitativních hodnotících rámců bylo běžným způsobem, jak se k tomuto cíli posuzování velkého počtu žádostí přiblížit.

• "srovnávat aragonskou oblast s oblastí decentralizace - nemožné" - Krz

• "Občanský dům musí hlasovat v konkrétních, objektivních kvalifikačních kritériích. Není důležité získat každý projekt - důležitější je podchytit nejhodnotnější projekty s minimalizací režijních nákladů pro držitele odznaků." - Krz. - Polynya

• "Objem žádostí, které musel každý držitel odznaku zpracovat, byl ohromující. I když jsem se mohl zaměřit pouze na svou oblast odbornosti, myslím, že je odpovědností poskytovat posudky na co nejvíce projektů." - Mitch

• "Spray and pray je přirozenou reakcí na kognitivní přetížení a omezenou šířku pásma. Neměli bychom se však soustředit pouze na vytváření účinnějších nástrojů pro sprejování. Nová funkce, jako je tlačítko pro odesílání CSV, by sice urychlila práci, ale stále nás vybízí ke sprejování. Ve skutečnosti potřebujeme lepší způsoby navrhování, iterace a odesílání kompletních hlasovacích strategií." - Carl

Držitelé odznaků by si mohli sami vybrat, o kterých žádostech budou hlasovat. To vedlo ke zkreslení výběru, kdy někteří držitelé odznaků vybírali žádosti, které již znali a o kterých měli pozitivní mínění, a nehlasovali o žádostech, které neznali nebo o kterých měli negativní mínění. Metoda samovýběru nezaručuje, že se ke každé žádosti dostane hodnocení od minimálního počtu držitelů odznaků, což snižuje pravděpodobnost, že neznámý žadatel splní kvórum.

Ve své třetí iteraci se RetroPGF stále spoléhá na manuální lidskou kontrolu jednotlivých žádostí.

Je otázkou, jak přesné a efektivní může být ocenění dopadu v rámci RetroPGF, pokud rozhodnutí o přidělení závisí na výběru žádostí jednotlivci, kteří o nich hlasují, a následném subjektivním hodnocení jejich dopadu. Základem pro zlepšení retrofondů je pokrok ve spolehlivém měření dopadu:

• "V zásadě to vyžaduje posun od odměn založených na vibracích k odměnám založeným na datech. Data jsou pro badgeholdery zásadní pro přechod od práce uprostřed grantového trychtýře (tj. posuzování jednotlivých projektů) k práci převážně v horní a dolní části trychtýře (tj. rozhodování o tom, jaké formy dopadu jsou nejdůležitější, a přezkoumávání vzorce rozdělování)." - Carl

RetroPGF 3 učinila významný pokrok směrem k rozhodování založenému na datech v kategorii příspěvků do open-source a nasazení onchainu. OpenSource Observer ukázal, jak lze využít existující data k vytvoření "vektorů dopadu", kvantitativní metriky dopadu měřené za diskrétní časové období, aby držitelé odznaků mohli vyjádřit své preference ohledně typů dopadu, které by měly být odměněny, namísto hodnocení dopadu jednotlivých žadatelů.

Závěry:

• Ačkoli se jedná o výrazné zlepšení oproti RetroPGF 2, důsledky hlasovacího algoritmu byly obtížně pochopitelné a ponechávají prostor pro další výzkum a zlepšení.

• Požadavek na kvorum měl negativní vliv na zkušenosti žadatelů a držitelů odznaků, protože změnil proces v něco, co někteří vnímali jako soutěž popularity.

• Široký rozsah projektů a nedostatek srovnatelných metrik ztěžovaly rozhodování o hlasování na základě údajů. Navzdory těmto problémům došlo k posunu směrem k rozhodování založenému na datech při hodnocení příspěvků do open-source a nasazení v řetězci.

• Vlastní výběr aplikací k hodnocení držiteli odznaků nezajišťuje spravedlivé hodnocení minimálním počtem držitelů odznaků pro každou aplikaci.

Spolupráce držitelů odznaků

Hodnocení dopadu v měřítku

Jedním z hlavních experimentů v rámci RetroPGF 3 bylo zavedení Seznamů, které umožnily držitelům odznaků sdílet s ostatními své návrhy na hlasování o řadě aplikací. Cílem Seznamů bylo umožnit držitelům odznaků soustředit se na hodnocení aplikací v rámci jejich odbornosti a využít hodnocení ostatních držitelů odznaků. Tím by se snížila pracovní zátěž jednotlivců.

Seznamy přinesly držitelům odznaků hodnotu v tom, že umožnily kurátorství a objevování relevantních žadatelů, ale postrádaly celkovou účinnost při řízení specializovaného hodnocení žadatelů.

Držitelé odznaků se vyjádřili, že absence požadavků na vytvoření seznamu a chybějící kurátorství činí tento nástroj méně účinným a možná i škodlivým pro celkový proces.

• "K sestavení seznamu není potřeba žádná úroveň odborných znalostí, takže se setkáváme s velkým množstvím seznamů, které obsahují projekty s nízkým dopadem, které pak upozorňují na další držitele odznaků." - Katie

• "Seznamy jsou kontraproduktivní. Mám pocit, že seznamy téměř jistě vedou ke skupinovému myšlení, vítězství a umožňují držitelům odznaků být líní." - tjayrush

• "Přál bych si, aby více držitelů odznaků vytvářelo seznamy, které by odrážely jejich osobní odborné znalosti a pečlivý úsudek a zohledňovaly celou složitost našeho úkolu. Takových seznamů bylo několik a považoval jsem je za užitečné." - "Mám rád, když se mi daří. - joanbp

• "okaish s tím, že můj hlavní návrh je, aby byly editovatelné, alespoň na úrovni uživatelského rozhraní/UX. Bylo také zmíněno, že to způsobuje zaujatost, ale nemám na to silný názor; pokud každý držitel odznaku dělá svou práci, nemělo by to vadit." - Joxes

• "Seznam: Vřele doporučuji je zachovat. Jediný návrh je, aby výše $OP byla volitelná. Pokud je to možné, poskytnout možnost seřadit seznam podle priority. Tato zpětná vazba není jen moje, bavil jsem se s dalšími držiteli odznaků a ti mají podobné názory." - OPUser

• "Seznamy mi přišly užitečné pro zjišťování, ale kontraproduktivní pro přidělování. Pokud bychom se posunuli dál, pokud bychom Seznamy zachovali, zaměřme se na analýzu dopadů a připomínky." - Rev.

Většina z 20 nejlepších seznamů, roztříděných podle počtu událostí vyvolaných držiteli odznaků, neobsahovala jasné zdůvodnění přidělení OP ani odkazy na použité rámce.

Držitelé odznaků mohli v rámci svého seznamu zahrnout vlastní projekty, přičemž bylo doporučeno tento střet zájmů zveřejnit v popisu seznamu. Bylo možné pozorovat několik případů, kdy byl tento soubor pravidel zneužit k propagaci vlastní aplikace.

Dilema, které se projevilo v procesu tvorby Seznamu, spočívá v tom, že držitelé odznaků, kteří jsou odborníky v určitém oboru, obvykle v tomto oboru také pracují a jsou spojeni s jednou nebo více aplikacemi. Pokud očekáváme, že se počet držitelů odznaků bude zvyšovat a že RetroPGF bude odměňovat větší dopad, měli bychom očekávat, že více držitelů odznaků bude pracovat na projektech, které jsou součástí RetroPGF. Pro zajištění nestranného procesu je zásadní další výzkum odolnosti proti tajným dohodám a úplatkům.

Spolupráce držitelů odznaků

Jedním z cílů 3. kola, který vychází ze zpětné vazby z RetroPGF 2, je podpořit držitele odznaků v efektivnější spolupráci. Zpětná vazba ukázala, že je třeba zlepšit usnadnění asynchronní koordinace mezi držiteli odznaků. Konkrétně držitelé odznaků požadovali účinnější metody vzájemného sdílení znalostí:

• " Každý držitel odznaku je "sám za sebe" v tom smyslu, že nevidím, co si myslí ostatní držitelé odznaků." - tjayrush

• "Držitelé odznaků potřebují lepší způsob, jak sjednotit své znalosti a výzkum. V RPGF3 probíhalo sdílení znalostí prostřednictvím různých chatů, X, blogů atd. Ale během přezkoumávání žádostí neexistoval žádný způsob, jak se dozvědět "co držitelé odznaků vědí o této žádosti?". - Michael Vandermeiden

• "Začalo být trochu těžké udržet si přehled o oznámeních, důležitých datech a odkazech mezi všemi ostatními kecy v telegramu. Možná by pomohl samostatný kanál pro oznámení." - Manasi

• "Telegram byl s takovým množstvím lidí příliš chaotický." - "Telegram byl příliš chaotický. - Amer

• "Možná by mělo smysl mít na každé profilové stránce nějaké in-line fórum? Aby mohli držitelé odznaků vznášet připomínky a vlastník projektu je mohl rozporovat? S nějakou kurátorskou funkcí, která by zkoncentrovala konverzací, pokud by se poměr signál/šum stal mizerným." - Ricmo

Uskutečnilo se několik výzev k otevřené diskusi a také semináře, na nichž se hlouběji proniklo do hodnocení dopadů. Tyto aktivity se setkaly se smíšenou zpětnou vazbou. Je důležité si uvědomit, že různí lidé zpracovávají data různě, takže je zde klíčové najít rovnováhu.

• "Příliš mnoho nesmyslných schůzek s přiblížením. Admin by se měl zaměřit na písemnou a off-line organizaci a la příručka pro držitele odznaků." (Anon)

• "Úřední hodiny mi přišly opravdu užitečné. Co se týče workshopů, nejsem si jistá, jestli to bylo jen dynamikou mé skupiny, ale z workshopu o hodnocení dopadu jsem odcházela s více otázkami než odpověďmi." (Anon) - Amy

Pracovní zátěž a zkušenosti držitelů odznaků

Z odpovědí na dotazník vyplynulo, že průměrný badgeholder strávil účastí v RetroPGF 3 16 hodin, přičemž někteří strávili podstatně více času. tato časová investice byla z velké části výsledkem časově náročné a manuální práce při subjektivním posuzování dopadu velkého počtu žadatelů.

• "Za sebe však mohu říci, že jsem od získání odznaku strávil na RPGF3 stovky hodin (ano, doslova) - učil jsem se o optimismu a RPGF, posuzoval, třídil a určoval priority žádostí, zkoumal, sestavoval seznamy, účastnil se workshopů a setkání, diskutoval a poskytoval zpětnou vazbu, hlasoval atd." - Joanbp

• "Být "dobrým" držitelem odznaku je PŘÍLIŠ mnoho práce. Od začátku se cítím provinile, protože nemám čas dělat to, co mám pocit, že bych měl dělat." - tjayrush

• "Být držitelem odznaku je v dnešní době docela dost práce 😅" - Ethernaut

• "Weird af. Ale být držitelem odznaku není jednoduché. Ve skutečnosti je to hodně práce. Mnohem mnohem víc hodin práce, než bylo původně avizováno. Alespoň pro mě. A vidím, že tu víc lidí odpracuje spoustu hodin." - Lefteris

Ačkoli je to velmi pracné, držitelé odznaků ohodnotili své celkové zkušenosti v průměru 7,6/10 bodu. Toto vysoké hodnocení je pravděpodobně výsledkem pocitu smysluplnosti a komunity při účasti na jediném největším experimentu s veřejnými statky Ethereum Retro Funding, spíše než nadšení z přezkoumání velkého množství žádostí.

Někteří držitelé odznaků šli ve své práci nad rámec toho, aby zajistili úspěch kola. I když toto nasazení může být jedním z nejpozitivnějších signálů, které z kola vzešly, není to udržitelný přístup k budoucím iteracím RetroPGF.

Závěry:

• Seznamy byly cenné pro kurátorství aplikací, ale chyběly v nich požadavky na tvorbu a nebyly efektivní při vedení specializovaných hodnocení.

• Držitelé odznaků vyjádřili potřebu lepších nástrojů pro asynchronní spolupráci a jasnějších komunikačních kanálů. Současné metody, včetně různých chatů a fór, byly pro efektivní sdílení znalostí a koordinaci nedostatečné.

• Pracovní zátěž jednotlivých držitelů odznaků je neudržitelná a je třeba ji snížit.

Hlasovací infrastruktura a nástroje

Sedm týmů vytvořilo nástroje nebo infrastrukturu pro hlasování v RetroPGF 3.

Community-built tooling in RetroPGF 3 demonstrated how an open collaborative environment can build products that support experimentation and address user needs. Badgeholders were equipped with two frontends they could leverage to review applications, use Lists, and submit their votes: vote.optimism.io built by Agora and round3.opimism.io built by West. These frontends were built via a Foundation Mission, which outlined requirements, specifications and designs for the voting functionality.

Community-built tools like Pairwise and retrolist.app allowed badgeholders to create Lists. OpenSource Observer made analytics about open source projects easily accessible. RetroPGFhub.com and GrowThePie allowed for better discoverability of applications as well as providing additional data about projects.

Výkon

Backendová infrastruktura pro sběr hlasů a API pro dotazování na relevantní data byla vytvořena společností Agora, aby ji mohly využívat dva frontendy. Agora podpořila stavitele rozšířením přístupu k API, které využívalo 8 jedinečných klientů. Zatímco Agora byla po 99,65 % času v provozu, uživatelé během posledního dne hlasování po dobu 5-6 hodin zaznamenali značně snížený výkon. Retrospektivu Agory na RetroPGF 3 najdete zde.

• "Zdálo se, že obě aplikace mají problémy se zátěží, protože se u nich vyskytly opravdu velké prostoje a seznamy, projekty zmizely/nebyly dostupné v kritických okamžicích hlasování." - Mitch

• "Hlasovací aplikace měla spoustu technických potíží. Chápu, že stále řeší, jak škálovat a zvládat zátěž, ale rád bych viděl zlepšení v dalším kole."

Mezi nejčastější požadavky na funkce patřila možnost importovat hlasy prostřednictvím CSV, lepší vyhledávání a filtrování a také více funkcí pro sdílení znalostí mezi držiteli odznaků.

• "Velmi nešťastné, že neexistuje žádný způsob, jak importovat CSV, takže se vše muselo přidat zpět do rozhraní ručně. :/" - Amy

• "Použil jsem hlasovací platformu West 4 a celkově mi přišla poměrně intuitivní a snadno použitelná. Pro příští kolo RPGF by bylo dobré přidat a) funkce pro úpravu, forkování, odstraňování seznamů a b) funkce pro import/export hlasovacích lístků, které by podpořily lidi pracující offline s tabulkami - to by se hodilo i v době, kdy dochází k přetížení serverů." - Joanbp

• "Měli bychom mít možnost psát poznámky k žádostem pro sebe (tj. neveřejné). A např. mít tlačítka, kterými bychom mohli označit, zda pro ně chceme hlasovat, nebo ne ("Ano", "Ne", "Možná" nebo prázdné), a pomocí toho pak filtrovat žádosti." - CheekyGorilla

• "bylo by skvělé, kdyby existovalo "skrýt ze zobrazení" pro projekty, které jsem si prohlédl a vyhodnotil jako nekandidátské / kterým nebudu přidělovat prostředky / hlasovat pro ně." - Jenny

• "Mám několik připomínek, o které jsem se podělila s týmem agory před zahájením hlasování a které si myslím, že by ji mohly vylepšit - mít možnost označit projekt jako viděný nebo možnost "nezařazovat do hlasování" - mít možnost přidělovat procenta i částky v dolarech - zbavit se funkce seznamů" - Katie

• "Několikrát jsem ztratil svůj seznam (a i když jsem ho obnovil, přišel jsem o část své práce). V mnoha případech byla Agora tak pomalá, že se nedala používat. To bylo nejen frustrující a bolestivé, ale také mě to vyčerpávalo a připravovalo o čas, který jsem mohl využít k lepšímu hlasování." - Amer

Aplikace Pairwise, která získala grant na misi od společnosti Token House, byla vytvořena s cílem umožnit držitelům odznaků snadno vytvářet seznamy porovnáváním řady aplikací v rámci určité kategorie pomocí metody párového porovnávání. Zpětná vazba od držitelů odznaků ukázala, že Pairwise byl užitečný pro objevování relevantních aplikací, ale byl méně oblíbený, pokud jde o iteraci hlasů. 27 držitelů odznaků připojilo svou peněženku k Pairwise a 5 držitelů odznaků použilo Pairwise k vytvoření seznamů. Retrospektivu Pairwise najdete zde.

• "V den zahájení jsem byl zpočátku nadšený z aplikace Pairwise List creator kvůli jejímu zjevně snadnému použití. Nicméně poté, co jsem věnoval více než 50 hodin vyhodnocování různých projektů a seznamů, jsem se rozhodl jít spíše oldschoolovou cestou. Zjistil jsem, že seznam pairwise poněkud postrádá přesvědčivou hloubku....". - thesleeper

• "Použití Pairwise: Myslím, že tato aplikace jako objevitel plní svou funkci, je výborná, ale na výsledné částky bych se nijak neodkazoval, pouze na procenta, jako výchozí bod." - Joxes

• "Používání aplikace jsem věnoval pravděpodobně asi dvě hodiny. Přišla mi užitečná pro objevování/kurátorství, ale ne pro vymýšlení strategie hlasování." - Carl

Služba Open Source Observer, která obdržela grant builder, umožnila držitelům odznaků zobrazit metriky nejvyšší úrovně žadatelů na Githubu, balíčků NPM a smluv onchain. Dále OS Observer poskytoval export příslušných dat prostřednictvím CSV, aby mohli držitelé odznaků využít data při svém hlasování. Ačkoli je přístup OS Observer slibný, jeho využití ze strany držitelů odznaků bylo omezené.

• "vynikající pro sledování úložišť, doporučeno a doufám, že to tak bude pokračovat i v dalším kole." - Joxes

Práce na Westově hlasovacím rozhraní (round3.optimism.io) pokračovaly a byly otevřeny jako EasyRetroPGF společností Gitcoin. Umožňuje ostatním komunitám experimentovat s retroaktivním financováním.

Závěry:

• Výrazně se zlepšila infrastruktura a nástroje poskytované držitelům odznaků. Vznikl experimentální přístup k nástrojům s iteracemi na základě zpětné vazby od držitelů odznaků.

• Infrastruktura, na níž záviselo mnoho aplikací a nástrojů, zaznamenala značné prostoje a zhoršený výkon.

• Aplikace pro hlasování lze dále vylepšovat, aby podpořily zkušenosti recenzentů.

Klíčové poznatky

Přestože každé kolo přináší mnoho poznatků, chceme upřednostnit konkrétní oblasti, kterým držitelé odznaků věnovali největší pozornost.

• Široký rozsah kola ohromil držitele odznaků i žadatele.

• Absence standardizovaných, ověřitelných a srovnatelných ukazatelů dopadu a spoléhání se na individuální subjektivní kritéria hodnocení ztěžovaly objektivní měření dopadu žádostí.

• Samostatný výběr žádostí k přezkoumání držiteli odznaků nezajistil spravedlivé přezkoumání každé žádosti minimálním počtem držitelů odznaků.

• Samotný objem žádostí v kombinaci se slabými kritérii způsobilosti komplikoval držitelům odznaků proces hlasování. Seznamy nebyly účinné při rozšiřování schopnosti držitelů odznaků přesně hlasovat o více žádostech.

Tyto poznatky budou sloužit jako podklad pro další verze retroaktivního financování veřejných statků. Chcete-li zůstat v kontaktu s vývojem retroaktivního financování, můžete sledovat aktualizace a diskuse na fóru Optimism Governance.

Opět jsme vylepšili Retro Funding na základě předchozích poznatků, odměnili jsme tvůrce, výzkumníky a pedagogy, kteří jsou jádrem Optimismu, a získali spoustu poznatků, abychom mohli vylepšit další iteraci. Společně přivoláme Fénixe Éteru 🕊️.

A jako vždy,

zůstaňte optimističtí! 🔴✨

Překlad původního článku z 29. února 2024:

https://optimism.mirror.xyz/Bbu5M1mTNV2Z637QxOiF7Qt7R9hy6nxghbZiFbtZOBA