研發型科技計畫篩選工具之可行性分析

第三、因為傳統層級分析法在進行決策或判斷並沒有考慮當決策或判斷資訊不明確時要如何精確地量化(如傳統AHP採用李克特量表1-5或1-9進行重要性程度的描述， ... 首頁 研究成果 研發型科技計畫篩選工具之可行性分析 李宜憲 2017-09-22 4532 10.6916/STPIRP.2017-09-22 導讀 科技計畫篩選不僅對計畫管理者能透過此篩選機制補助合適的計畫，且能使決策者在科研預算的投入更為審慎。

對於研發型計畫，由於著重技術開發與開發之成果能否被應用或商品化，因此計畫所帶來的效益會較易與經濟或社會效益有直接或間接之關聯。

本研究透過文獻探討的方式進行研發型科技計畫篩選工具的可行性分析，分別針對為以層級分析法為基準的途徑、以投資報酬率的途徑、以評分模型的途徑、以決策樹的途徑，並進行探討質化與量化如何應用在研發型計畫篩選，最後作出建議。

本研究期望透過對研發型計畫的篩選方法進行探討及分析，以作為政府決策者進行審查或補助研發型科技計畫之參考。

文章圖片所有權：https://goo.gl/pTcMTt，Createdbygeralt著作權聲明：CC0PublicDomain-可以做商業用途-不要求署名 一、前言 我國在科技計畫審查(篩選)通常需考慮眾多因子，例如政策依據、要達到之終點目標、計畫內容、計畫人力及編列經費合理性、預期成果及效益等，這些審查面向需達一定分數比例方能獲得補助。

對於研發型科技計畫(如業界科專計畫)審查時，除了需考慮上述面向外，此類計畫更關心計畫成果是否能商業化或者開發技術是否會被取代，因此需考慮可能影響的風險因子，然而目前我國在審查研發型計畫，風險因子似無結構化呈現以讓專家能較全面性考量篩選準則，如經濟部工業基礎技術計畫僅請計畫主持人說明開發之風險評估及因應對策(經濟部技術處，2017)。

此外，一般計畫書在繳交時並沒有足夠的資訊呈現計畫預期成效是否在合理範圍，這可能影響篩選過程因缺少足夠證據而影響篩選結果。

因此，如何找到合適的研發型科技計畫篩選工具，不僅有利於計畫管理者合理判斷該計畫是否值得被補助，更能提升計畫管考能量。

本研究透過文獻整理相關研發型科技計畫篩選工具並進行可行性分析，以及對我國現行計畫篩選機制作出建議。

二、研發型科技計畫篩選工具介紹 政府對研發型科技計畫的篩選思維與私部門(如民間企業)在組織內之計畫篩選是不一樣的。

相關學者Hsuetal.(2003)及Huangetal.(2008)指出有以下幾點：(1)政府投資計畫的目的是促使私部門能增加對先進技術的研發投入。

企業在篩選計畫的思維為預期計畫可帶來更大的收益，若市場技術障礙過高則企業投資的意願會降低。

(2)政策因子可能會影響政府在科研經費的配置，如著重在重點領域的投資。

(3)研發所需的技術亦被政府政策影響。

(4)因為研發技術的不可預測性，如技術是否被研發成功或可能產生的風險及缺乏相關專家，使得增加政府進行計畫篩選的困難度。

此外，政府投資計畫在效益面的觀點不似企業聚焦在私人報酬上，在社會報酬亦是政府所關注的面向。

目前在政府研發型計畫之篩選工具眾多，每個方法執行的難易程度不一，以下分別介紹幾種常用的工具，包含：(1)Huangetal.(2008)所採用層級分析法(AnalyticalHierarchyProcess,AHP)為基準的模糊層級分析法(FuzzyAHP)進行篩選。

(2)Tassey(1997)以投資報酬率(RateofReturn,RoR)面向進行篩選。

(3)美國能源部(DepartmentofEnergy,DOE)以決策樹作為研發計畫篩選。

(4)評分模型(ScoringModel)進行篩選以下分別詳細介紹： (一)以層級分析法為基準的計畫篩選 Huangetal.(2008)利用此工具應用於業界科專計畫補助的篩選，此計畫(IndustrialTechnologyDevelopmentProgram,ITDP)為經濟部通過後再補助至相關產業界。

計畫的目標旨在鼓勵產業界參與關鍵技術開發及研究。

ITDP計畫補助在不同領域，如通訊電子、機械工程與航空、材料與化學工程、生物科技。

Huangetal.(2008)所考量之篩選準則不僅針對科技面向、效益面向(經濟效益、社會效益)、計畫執行面向(如研究成本之合理性、研究團隊之能力、研究設備之支持)，更考量計畫風險。

計畫風險面向包含技術風險(如研發技術成功的機會)、商業化風險(如技術商品化成功的機會)，以及計畫發展之風險(如有形及無形之成本考量)，考量計畫在執行可能遇到的風險，可避免政府篩選的研發計畫執行成效不如預期而浪費科研預算的投資。

以Huangetal.(2008)所執行的ITDP計畫篩選，其計畫篩選的流程如下：第一、進行相關領域的文獻蒐集並定義需要評量之準則，藉以擬定初始ITDP計畫篩選架構。

接著，透過邀請不同領域的專家(如科技管理、材料工程、電子學、通訊領域等)檢視此ITDP篩選架構是否需要改進或釐清篩選準則，以確定篩選的主面向及各面向下的次準則。

第二、專家透過評量準則之成對比較法（Pair-WiseComparing）判斷每個準則間的相對重要性，重要性的程度從最低1至最高9。

例如，在計畫風險面向，透過成對比較方法以回答：「該技術成功的機率」對「該技術是否有足夠的證據來支持此技術」的重要性程度。

值得注意的是，當專家在進行準則間的成對比較時會受到其主觀判斷而影響整體判斷的一致性，此時需持續進行成對比較以滿足整體一致性指標(ConsistencyIndex,CI)小於0.1。

第三、因為傳統層級分析法在進行決策或判斷並沒有考慮當決策或判斷資訊不明確時要如何精確地量化(如傳統AHP採用李克特量表1-5或1-9進行重要性程度的描述，然而對於較不明確的認知難以僅用此量表表示)，因此，很多文獻指出在進行決策的過程中會面臨到資訊不明確的情境(Ribeiro,1996)，並認為一個實用之決策工具需能處理資訊不明確的能力(Zhangetal.,2002)。

透過模糊理論並結合傳統層級分析法可作為處理計畫篩選過程中資訊不明確的情況。

因此，當專家完成準則間的成對比較後，透過三角歸屬函數(Triangularmembershipfunction)及Alpha係數(αcoefficient)轉換專家的主觀判斷成為模糊判斷，之後透過數值運算得出每個主面向及次準則的重要性(模糊權重)。

由於目前處理以層級分析法為基準的運算過程都有相關軟體可執行，如透過ExpertChoice軟體可分析成對比較結果，以及Matlab軟體可處理模糊理論相關的數值運算。

因此，透過模糊權重可得知在篩選ITDP計畫，以科技面向的權重最高(0.389)，主要原因是ITDP計畫的目標為發展先進技術及此計畫獲得政府最多的資源投入，因此，專家對於此面向的考量重要性較高。

此外，在計畫風險面向下之因子依模糊權重可知技術風險最高(0.064)，其次為商業化風險(0.045)、計畫發展之風險(0.038)，因此可知在探討篩選ITDP計畫，技術在研發過程中所產生的風險，如技術是否會被取代、該技術是否有充份地證據被支持是專家篩選計畫較考量的風險因子。

(二)以投資報酬率進行計畫篩選 Tassey(1997)針對政府研發計畫篩選，主要考量兩個面向：私人報酬率(privaterateofreturn)及社會報酬率(socialrateofreturn)。

一般而言，若研發計畫之社會報酬率較高，但其產生之私人報酬率較低(如低於私人報酬率門檻值)，則該計畫列為政府補助之候選計畫。

從圖1中可發現計畫A至計畫D，政府所採取的策略會不一樣。

以計畫A為例，在社會報酬率及私人報酬率均低於報酬率門檻值，代表計畫的預期效益低(可能因其它因素而導致效益不佳)，對政府及私人而言，計畫A不列入補助。

以計畫B為例，計畫顯著帶來社會效益，然而，計畫在私人投報酬率低於門檻值，代表企業投資後之風險將更大，短時間很難獲利。

因此，計畫B需獲得政府補助，透過成本分攤補助方式(cost-sharedfunding)降低私人投資的風險並刺激企業進行研發投資。

以計畫C為例，該計畫私人報酬率並沒有明顯超過門檻值，然而社會報酬率高於門檻值。

此時，政府可透過減稅政策(如研發投資抵減)減少企業研發的邊際成本，讓企業認為透過減稅後之私人報酬率足以執行此計畫。

以計畫D為例，此計畫為典型企業研發計畫，因為其私人投報酬率大於門檻值，值得企業進行此研發計畫的投資，對於政府而言則無介入(投資)的必要。

圖1　以投資報酬率進行政府研發計畫篩選 資料來源：Tassey(1997)。

本研究整理。

(三)以決策樹進行計畫篩選 美國能源部針對大型研發計畫會作事前效益評估，以作為計畫規劃及計畫篩選的考量。

在進行計畫事前效益評估採用的工具為決策樹。

在決策樹中考量研發技術風險及市場接受度風險，此外，專家能基於實證輔助進行技術開發與否、市場接受與否之機率及預期效益估算。

圖2為美國能源部以決策樹應用於先進照明計畫(AdvancedLightingPrograms)之案例，透過探討技術進展及技術在市場被採用的成功機率，並考量有無投資可能產生的效益來決定是否要補助該計畫。

圖中可發DOE選擇投資此計畫，則預期成本降低3,136(百萬美元)；若選擇不投資此計畫，則預期成本降低2,323(百萬美元)。

因此，可預期美國DOE投資先進照明計畫可獲得813(百萬美元)。

此外，從圖中可發現在不同機率組合(技術成功機率及市場成功機率)下的預期效益，在技術成功機率及市場成功機率是由專家來決定，在技術成功機率主要考慮整個計畫生命週期內其財政、科技、管理等程度而決定；在市場成功機率主要考慮市場需求、競爭技術的存在、技術是否易被執行、執行成本等因素而決定。

在計算效益上，為了能有效產生，透過合理的假設(如能源使用量與成本之關聯)及簡易試算模型（SimpleSpreadsheetModel）如個體經濟模型，可估計不同情境下之效益。

此外，透過簡易試算模型可替代過去美國DOE採用NEMS(NationalEnergyModelingSystem)系統估計計畫之預期效益，主要原因有以下幾點：(1)NEMS系統所計算的數值缺乏明確的假設。

(2)在執行NEMS是很耗資源，對於使用者若要進行不同情境下的效益探討可能降低其使用效率。

圖2　美國能源部決策樹示意圖 資料來源：NAP(2005)。

本研究整理。

(四)以評分模型進行計畫篩選 評分模型亦使用在政府研發型計畫篩選，評分模型的面向可依不同部會的性質來作合理的應用，在此評分模型中(如表1)可發現在毎個面向的內容可進行等級化。

例如，計畫在整合風險因子下之成功機率，可等級化成高機率、中機率、低機率，並從不同等級之機率給予不同的分數(如高機率為20分、中機率為10分、低機率為0分)。

此外，在決定每個面向的分數，專家在進行審查需取得共識以進行評選。

此方法目前也是科研補助機關最常用的方法，除了簡易計算外專家可依其共識決定每個面向的分數，然而，對於不同計畫屬性所評選準則及準則內等級化的設定需依不同機關而決定。

表1　評分模型示意圖 準則 權重 分數 投資報酬率(內部報酬率) 20–25%:25分15–20%:20分10–15%:15分5–10%:10分0–5%:5分<0%:-10分 計畫對公民的效益 高:30分;中:20分;低:10分 計畫在企業策略目標下之效益 高:20分;中:10分;低:0分 計畫在整合風險因子下成功之機率 高:20分;中:10分;低:0分 計畫之政策意涵程度 高:20分;中:15分;低:0分 計畫補助之效益 高:30分;中:20分;低:10分 計畫失敗之可能性 高:30分;中:20分;低:10分 其他因素 30–0分 三、不同篩選工具可行性分析 以上介紹四種不同研發型計畫篩選工具，其方法上的優缺點及可行性分析如表2所示。

在可行性分析上，投資報酬率及決策樹方法較難以操作及執行，主因在事前評估中精準預測計畫之預期效益較不可行，因技術的不明確性及缺乏充分地資訊使得決策者很難精準預測計畫之效益及成本(Kim,2005)。

此外，在計算投資報酬率很難決定私人及社會投資報酬率門檻值，以及其相關的參數(如折現率)。

決策樹方法雖然能透過簡易試算模型預估此計畫效益，然而在計算效益過程中的假設條件需進行討論並取得共識，在決策過程中可能需要花更多時間處理。

而以層級分析法為基礎之方法及評分模型其可行性較佳，以層級分析法為基礎之方法除了可事先透過文獻尋找相關評選準則外，透過其學理的運算可客觀得出每項準則及次準則的權重及利用簡易數值運算軟體得出各計畫評選的分數。

另外，評分模型中也因為詳列每個面向或準則並等級化，使得審查專家易於使用，然而這些準則在不同科研機關下處理不同屬性計畫需作調整，且等級化的標準也有可能改變。

表2　不同計畫篩選工具的比較分析 計畫篩選工具 優點 缺點/限制 此工具對科研補助機關在研發計畫篩選的可行性探討 以層級分析為基礎之方法(Huangetal.,2008) 1.需參考文獻蒐集相關評選構面及準則。

2.透過問卷方式訪談專家並經其方法演算得到準則及次準則之權重，以及每個計畫之最終評選分數。

3.非大量蒐集問卷數量。

1.層級分析方法無考量準則間之相互影響(interaction)。

1.易操作執行。

科研補助機關在篩選計畫時可邀請相關專家設計相關審查因子(包含風險考量，如技術風險、商業化風險等)以進行計畫評選。

2.執行結果快速且其計算過程有其學理依據。

投資報酬率方法(Tassey,1997) 1.預期透過計畫之社會及私人報酬率進行計畫篩選。

2.此方法可顯示政府進行計畫篩選不僅聚焦在私人報酬更是關注社會報酬。

1.此方法在決定報酬率門檻值時，較無相關準則參考決定。

1.難以操作及執行。

例如決定投資報酬率之相關參數(如折現率)，以及不同時間下計畫之報酬率也會不一樣。

決策樹方法(NAP,2005;Ruegg,2007) 1.在進行計畫是否投資時考量技術風險及市場風險因子。

2.由專家基於實證輔助進行技術開發成功與市場接受之機率估計及效益計算。

1.在估計計畫的預期效益需要有合理的假設條件(如能源使用量與成本之關聯)。

然而，此假設條件可能會隨時間而改變。

2.專家採用採用簡易試算模型需要藉由NEMS系統提供投入變數，然而此系統在操作上較困難、耗時，且提供的資訊不夠透明化(NAP,2005;Ruegg,2007)。

1.此工具考量技術成功及市場接受的機率，並針對不同情境組合(技術成功機率*市場接受程度)下估算預期效益。

2.難以操作及執行。

因研發計畫的技術不可預測性，要事前精確預測效益較不可能。

此外，目前各部會的資料成效追蹤系統較不完善，缺少足夠的訊息來輔助計畫篩選。

評分模型(Wirick,2009) 1.簡易計算，專家可依據不同面向的評選準則進行評分。

1.每個面向的內容透過等級化來決定各等級的分數。

然而，如何決定等級化類別及各分數高低，沒有一致性，可能需依不同計畫屬性及專家共識而決定。

1.可應用在政府應用研究上(Roessner,1993)，然而在決定每個面向的分數中，可能需要更多的證據來源取得共識或者在取得共識的過程中打破保守文化(如學術階級制)使得更能提升計畫篩選的成功性(Kim,2005)。

四、討論 政府在進行研發型計畫的篩選存在一定的困難度，除了需考慮若篩選了該計畫後，其計畫的效益(私人效益及社會效益)是否值得所需投入的資金外，更需考慮計畫在執行中可能產生的技術風險及市場風險等因子。

此外，當在科研預算有限的情況下，政府會更重視所投資的金額是否能帶來更大的效益。

Roessner(1993)認為若以研發光譜(R&Dspectrum)來探討，愈靠近基礎研究端(BasicResearchEnd)因為尚在探索，研發過程產生的不確定較高，如技術是否成功或進行商業化，使得採用量化方法較不適合，因此，在基礎研究上大多採用質性方法(如專家審查)進行篩選；相反地，愈靠近開發研究端(DevelopmentEnd)，因在開發研究所產生的效益較直接反應在經濟面且可透過指標進行監測及此一研究產生的不確定較低，因此，適合採用量化方法進行計畫評估及篩選能有高度的精確性，且透過高度確定所採用的測量或測量指標可反應決策者所重視的研究面向。

此外，針對大型研發計畫，因計畫活動涵蓋眾多，可能包含開發及基礎研究活動，其結構性較不明顯，因此，若僅利用量化方法進行篩選計畫(如投資報酬率、決策樹之成本效益方法等個體經濟方法)則會把政府投資計畫的決策扭曲至經濟類，然而，政府關注的效益不僅有形效益更關心無形效益(如人才培育的養成)，可能需要透過其他測量方式進行無形效益的追蹤(如進行質性訪談、問卷調查)。

因此，美國技術評估辦公室(OfficeofTechnologyAssessment,OTA)於1986年指出政府研發管理者應避免採用量化方法於計畫篩選及計畫評估。

此外，政府採用量化方法進行事前成效預估(如美國DOE所採用的決策樹成效預估)，其最重要的是作為一個決策溝通的工具及反應決策者所重視的面向，而非聚焦在預測精確性。

五、結論及建議 本研究探討不同研發型計畫的篩選工具，除了了解其原理外，更重要的是可作為我國計畫審查機制的參考工具。

例如，政府在進行研發型科技計畫的篩選必須考慮眾多因素，不僅傳統因子(如計畫內容、計畫人力的編列及預算、預期成果及效益)，更需考量研發型計畫常伴隨技術研發的風險及市場風險，因此，Huangetal.(2008)所提幾個計畫風險準則或許可納進來考量。

另外，透過層級分析法可客觀整合各個專家對於各準則或次準則的重要性，而非事先主觀決定各準則之重要性，如農委會業界科專計畫(農委會，2016)在訂定審查重點明確界定各審查項目所包含的比重。

因此透過層級分析法所得到之準則重要性較能反應專家或產業界的認知。

此外，計畫書所提之預期效益通常較沒有實質的證據可供審查參考，因此有一定難度驗證計畫所提之預期效益是否合理，因此，針對大型研發計畫在事前效益的預估可參考美國DOE透過簡化試算模型推估預期效益，以回饋後續計畫規劃或計畫篩選的參考來源。

另外，對於我國各部會在進行研發型計畫篩選可以有以下幾點建議以完善整個計畫篩選過程： (一)各科研補助機關需考量計畫屬性及目標選擇合適評選方法 建議我國各部會除了可參考本研究所提出之篩選工具外，並參考其他國外部會屬性較相近之計畫篩選作法，如較偏向健康、衛生屬性的部會可參考美國國家衛生研究院(NationalInstitutesofHealth,NIH)在進行計畫篩選之途徑(包含同儕審查及發病率/治療成本等效益指標進行篩選)。

又如較偏向學術研究補助的部會可參考美國國家科學基金會(NationalScienceFoundation,NSF)進行計畫篩選之途徑(包含同儕審查、學術影響評估)。

此外，當各部會在進行研發計畫組合投資或篩選(R&DProjectPortfolio)時，應考量研發計畫之間的相關性，如A研發計畫的市場價值(如產品)與B研發計畫的市場價值可能互為依存或抵消，又或者A研發計畫的技術成功率與B研發計畫的技術成功率有相關、計畫的目標是否符合各部會的宗旨，更應考量整體投資計畫組合下風險與報酬間的關係(Linquiti,2015)。

(二)建議質化加上量化作為評選方法的策略 因政府研發計畫不僅關注私人報酬，更關注社會報酬，然而在社會報酬率的成效追蹤會需要更多時間。

此外，計畫的活動內容往往很難結構化，若僅用單一面向方法進行測量很難涵蓋到計畫整體效益。

值得一提的是，若計畫內容是較結構化的，如開發類研發計畫(因這類計畫的效益會直接反應在經濟面向)，因此較能夠透過量化方法進行篩選。

(三)建議建置完善的成效追蹤系統 政府在進行研發計畫的計畫篩選需仰賴充足的資訊以作為決策的判斷，目前我國的資料蒐集系統能不夠完備，大型計畫的成效可能分散在各部會的資料庫，此外，當計畫結束後可能因組織的變動而無保留相關計畫成效資料，使得政府在進行未來計畫的投資可能因上述的情境而無法回饋至未來新計畫的評估及篩選。

(四)建議採用隱性知識(TacitKnowledge)來改善計畫篩選過程 我國在進行計畫篩選會邀請專家進行審查，然而在審查的過程中可能會因學術地位或聲望高的專家而獲得較多的關注，此將使得其他專家不敢把真正的想法或問題表達。

此外，政府在篩選研發型計畫大多把焦點放在成功機率高且短期內有良好的效益，然而對於高風險的技術較沒有長期進行投資及檢視所能產生的效益。

因此，對於隱性知識(如在篩選過程中保守文化或認知改變)的使用將有益於改善政府研發計畫的篩選過程，特別是在有限的決策資源或量化很難被執行的情況下(Kim,2005)。

延伸閱讀 政府研發投資之分析及探討 淺談政府研發計畫組合的風險分析 風力發電產業融資實務議題探討 美國大學專任教師兼職活動之利益衝突管理規範(下)：私立大學案例 應用過程式評估提升科研機關之計畫管理能量 ProjectSelection 層級分析法 ScoringModel AnalyticHierarchyProcess DecisionTree 決策樹 計畫篩選 評分模型 ReturnonInvestment 投資報酬率 助理研究員 李宜憲 目前為國家實驗研究院科技政策研究與資訊中心助理研究員，專長為統計分析、科技計畫績效評估、資料採礦等。

共有篇文章 最多人看的文章 腦機介面趨勢發展分析 物聯網將掀起工業4.0革命 CRISPR技術的應用、前景及挑戰 台灣碳纖維產業發展分析及研究