政策倡議成效評估
為了「NGO 數據模板」專案，有空就惡補各式表現評估或影響力衡量的知識。本來預設的讀者群 — 倡議型非政府組織的核心與外圍支持者，”我們”到底如何衡量自身工作的成敗進展？所謂倡議這回事，難道沒有什麼稍具像客觀的指標，不只用於丈量自家倡議的成效，也能夠在某種共同基準上與他人作高低比較。
2007 年由 Annie E. Casey Foundation 資助，委由 Organizational Research Services 研究提交的 “A guide to MEASURING ADVOCACY AND POLICY”, 算是企圖系統化衡量倡議工作與政策變化的第一份重要文件。伴隨著這份報名的相關工具整理清單：A Handbook of Data Collection Tools: Companion to “A Guide to Measuring Advocacy and Policy”，算是蠻好的入手式，以為公共政策倡議的工作成效提供了五大面向觀測尺度，其整理其下相關的工具或應收集資料提示，用以記錄、追踪此向度是否有所變化。雖然私下奠量，在西元 2019 年台灣大部份非政府非營利組織對所謂政策倡議一整套的啟動、規劃、操作、監測、評估，恐怕連最前端的何時發動、如何啟動未必有過細緻的方法學或經驗傳承之系統整理，更遑論後期的評估檢討。但不開始慢慢整理介紹他人開創的方法框架，搭上巨人的肩膀更輕鬆地看到更遠的目標，則吾人永遠只能土法煉鋼劃地自限地滿足同溫層的掌聲。
這份研究建議從：外在的社會規範、公共政策、內部的組織能力、跨組織的聯盟力量、支持基礎與影響力等五大向度來評斷倡議工作的成效。至於如何設計出合適五大成效的衡量尺度，因為倡議成效涉及長期和動態環境變化，在評估上面臨獨特的挑戰，未必適合直接套用傳統實驗室黃金標準。在對各種新興評估方法一番試用評論後，建議可從：
- 確定和衡量社會或政策變革相關的核心成果領域
- 戰略進展評估
- 確定和衡量短期增量目標
- 評估倡議組織本身的能力
- 過程和影響力案例的研究文檔
五大方向原則，來思考評估設計。
本部份再針對「衡量社會或政策變革相關的核心成果領域」，進一步介紹外在的社會規範、公共政策、內部的組織能力、跨組織的聯盟力量、支持基礎與影響力等五大向度來評斷倡議工作的成效，以及可採用的資料收集方式建議。不管是採取哪一種切入方向，在收集相關證據資料上，都必將不斷弄清楚： 向誰從哪裏收集資料？何時收集？所收集的資料欲解決什麼問題？數據收集的嚴謹程度...等基本問題
1. 改變社會規範
「社會規範」social norms 指構成文化和社會規則結構的知識，態度，價值觀和行為。倡議和政策越來越側重於使其能與持久的核心社會價值觀和行為保持一致，並試圖積極改變”傳統”、既成的規則進而達到態度與價值的轉化提昇。
適合收集社會規範變化的工具或方法
要測量社會規範的轉變，一般不太可能進行大規模的調查，故多採取抽樣代表群體，或是針對倡議策略所預想的目標受眾為優先觀察社群。主要的五種常見的代表取樣調查：
- 深度訪談：通常在政策改變後，透過訪談或問卷，收集了解受訪者的意識和優先性的變化狀況
- 焦點小組： 各方利益團體的代表組合的焦點小組，以反應現實狀況的迷你簡化版，其成員代表的互動討論來觀察他們對特定議題的態度前後是否有所變化
- 會議觀察清單：從特定議題是否發生在社區社群成員的會討論議程上，一方面記錄成員對此議題的立場觀點，一方面也觀察會議參加討論的程序與協商過程，以掌握成員的信念是否發生變化
- 調查：這類調查比之前述的深度訪談，執行數量與規模更為擴大，但正因為規模化，所以多會轉化成程度等級可量化數據，以權衡特定議題優先順序的變化
- 滾動抽樣調查：這類變動式抽樣調查的複雜度更高，其較適合用於追踪社區意識的變化
2. 提昇組織能力
NPO 和計劃開展倡議和政策工作的正式聯盟之間的技能、人力配置和領導能力、組織結構和系統、財務和戰略規劃等核心能力，這些能力的強化發展是倡議和政策改變的關鍵條件。
關於「組織能力」評估的工具或方法
- 自我評估工具：Alliance for Justice 司法倡議聯盟的能力評估(請見之前的介紹【ACT(Advocacy Capacity Tool) 倡議能力評量工具】)
- 自我評估：蜘蛛圖，透過五～八面向（ex. 研發分析、媒體公關經營、政治遊說、網絡聯盟關係、規劃管理監測…等能力）的表現程度，在多邊電達圖（或稱蜘蛛圖）來呈現組織的能力。本站相關文章回顧【組織表現指數 Organization Performance Index】
- 自我評估：KIDS COUNT 自我評估工具，此外 McKinsey Capacity Assessment Grid 也是備受推崇適合非營利組織採用的現成工具（可另見過去寫過的文章介紹【非營利組織能力評估工具 The Organizational Capacity Assessment Tool】）
3. 聯盟鞏固
社區和體系合作夥伴（包括非傳統聯盟，例如兩黨聯盟、不可能結盟的盟友）之間的協調，協作和任務達成度的提高。其可觀察角度包括特定議題支持伙伴的數目增加；聯盟成員彼此默契與協作難度等級更上層樓；伙伴間彼此投注努力的對準看齊不致出現強烈高低差；提高伙伴關係的多樣化或廣度等等。
用於聯盟強弱評估的工具或方法
- 追踪表：整合強度評估－－聯盟成員間協作、互動默契，從僅是鬆散非正式的資訊交流分享、低度合作、共同協作到聯盟日趨鞏固堅強與正式地整合，聯盟由弱、非正式到強、正式化的變化階段，其中各自有在該階段所發生的活動形態。 NPO 或可以聯盟成員所常進行哪類活動來判斷聯盟是強健還是仍在襁褓。
4. 加強支持基礎
社會大眾、利益集團和輿論領袖對特定議題的支持廣度深度和影響，為促成政策變化提供了主要的結構條件。此類成果涵蓋文化和社會參與的許多層面，包括增加公民參與和行動主義，非正式和正式團體之間的“聯合發聲”，異種利益團體的合併，輿論領袖的擁護動作以及媒體的正向關注。
記錄「一般基礎」的工具或方法
- log 記錄： 透過草根活動的投入成果（ex 投票率、得票率）或是第一線組織或行動活動的狀況（會員支持人數、活動量）、公民參與（如活動出席）公眾對議題投入的增加
- 日常記錄：更多的代言人參與度
- 調查問卷：和前述提過的大量問卷相似，以等級量化來收集公眾投入度的情況
- 自我評估：借由動員或倡議工作清單來檢查其完成度
記錄「媒體支持度」的工具或方法
- 媒體追踪表格：增加的媒體報導
- 綜合新聞評分：媒體影響力不能只看議題在媒體上的露出次數，最好能有多樣不同的計算測量方式，例如出現版面長度、時間時段、何種媒體(受眾基數、公信力…)
- 日常記錄：曝光可見度提高
5. 政策的改進
公共政策領域的政策變化階段，包括政策制定、政策提案、展現支持證明（例如共同贊助）、採用、資助和實施。過去，該成果領域通常是衡量宣傳和政策工作是否成功的重點。雖然其關注重點合理，但若其他類別中政策未先改變，就很難實現此目標。
追踪評量「政策變革」的工具或方法
- 日常記錄：立法過程追踪，例如法案討論誰是正方反方、投票意向、跑票等等情況
- 日常記錄：政策進展追踪分析，包括政策內容的組合要件，
- 調查：評估政策的數量和類型
- 日常記錄：監視政策落實
- 環境評估： 如果倡議的課題涉及實體空間，如城市裏的公園、人行道、自然保育區等等，則可利用地理資訊系統來記錄、比較物理環境的變化。
6. 影響力的變化
最終形成社會和自然生活狀況，例如個人、人口和自然環境上的變動促使政策改革。影響的變化是長期的結果和目標。資助者和倡議組織視自身為社會變革伙伴的資助下，進行相關監測和評估非常重要。這些類變化更受政策影響，與單獨的政策變化相比，前者涉及更多的戰略，包括直接干預、社區支持、個人和家庭行為等變數影響。
【NGO 推進器】其它訂閱管道
- RSS訂閱 https://medium.twngo.xyz/feed/
- 大猩猩電子報 https://to.twngo.xyz/signup (改造進行中)
- FlipBoard https://to.twngo.xyz/flipboard
- Telegram https://t.me/twngo (實驗式，少發送)
