(1)考察測驗的內容效度,因為有些測驗對所測內容或行為范圍的定義或解釋類(lèi)似于理論構想的解釋?zhuān)詢(xún)热菪Ф雀邔?shí)質(zhì)上也說(shuō)明結構效度高。
(2)計算測驗的同質(zhì)性信度的方法來(lái)檢測結構效度。若有證據表明測驗不同質(zhì),則可以斷定該測驗結構效度不高。
(3)利用相容效度法,考察新編制的測驗與某個(gè)已知的能有效測量相同特質(zhì)的測驗之間的相關(guān)。若兩者相關(guān)較高,則說(shuō)明新測驗有較高的效度。
(4)利用區分效度法,考察新編測驗與某個(gè)已知的能有效測量不同的特質(zhì)的舊測驗間的相關(guān)。若兩者相關(guān)較高,表明測到了其他心理特質(zhì),則新測驗效度不高。
(5)對一組測驗進(jìn)行因素分析,找出影響測驗的共同因素,每個(gè)測驗在共同因素上的負荷量(即測驗與各因素的相關(guān))就是測驗的因素效度,測驗分數總變異中來(lái)自有關(guān)因素的比例就是該測驗結構效度的指標。
(6)綜合應用相容效度法和區分效度法,若用多種極不相同的方法測量同一種特質(zhì)相關(guān)很高,或用極為相似的方法測量不同特質(zhì)相關(guān)很低,則說(shuō)明測量效度很高。若有多種特質(zhì)都接受了多種方法的測量,就可以分別計算出任意兩種方法測量同一種特質(zhì)的相關(guān)和測量不同特質(zhì)的相關(guān),以及任意兩種特質(zhì)接受同一方法和不同方法的相關(guān)。 (1)分析被試答題的過(guò)程。若有證據表明某一題的作答除了反映所要測的特質(zhì)外,還反映其他因素的影響,則說(shuō)明該題沒(méi)有較好地體現理論構想,該題的存在會(huì )降低結構效度。
(2)根據所要預測的效標的性質(zhì)和種類(lèi)來(lái)推斷結構效度,有兩種做法:其一,根據效標把人分為兩類(lèi),考察其得分的差異。若兩組人得分差異顯著(zhù),則說(shuō)明該測驗有效,具有較高的結構效度。其二,根據測驗得分把人分成高分組和低分組,考察這兩組人在所測特質(zhì)方面是否有差異。若兩組人在所測特質(zhì)方面差異顯著(zhù),則說(shuō)明該測驗有效,具有較高的結構效度。總結
效度分析有多種方法,其測量結果反映效度的不同方面。常用于調查問(wèn)卷效度分析的方法主要有以下幾種。
單項與總和相關(guān)效度分析
表面效度(Face Validity)。也稱(chēng)為內容效度或邏輯效度,指的是測量的內容與測量目標之間是否適合,也可以說(shuō)是指測量所選擇的項目是否“看起來(lái)”符合測量的目的和要求。主要依據調查設計人員的主觀(guān)判斷。
這種方法用于測量量表的內容效度。內容效度又稱(chēng)表面效度或邏輯效度,它是指所設計的題項能否代表所要測量的內容或主題。對內容效度常采用邏輯分析與統計分析相結合的方法進(jìn)行評價(jià)。邏輯分析一般由研究者或專(zhuān)家評判所選題項是否“看上去”符合測量的目的和要求。統計分析主要采用單項與總和相關(guān)分析法獲得評價(jià)結果,即計算每個(gè)題項得分與題項總分的相關(guān)系數,根據相關(guān)是否顯著(zhù)判斷是否有效。若量表中有反意題項,應將其逆向處理后再計算總分。
準則效度分析
準則效度(Criterion Validity)。又稱(chēng)為效標效度或預測效度。準則效度是指量表所得到的數據和其他被選擇的變量(準則變量)的值相比是否有意義。根據時(shí)間跨度的不同,準則效度可分為同時(shí)效度和預測效度。準則效度分析是根據已經(jīng)得到確定的某種理論,選擇一種指標或測量工具作為準則(效標),分析問(wèn)卷題項與準則的聯(lián)系,若二者相關(guān)顯著(zhù),或者問(wèn)卷題項對準則的不同取值、特性表現出顯著(zhù)差異,則為有效的題項。評價(jià)準則效度的方法是相關(guān)分析或差異顯著(zhù)性檢驗。在調查問(wèn)卷的效度分析中,選擇一個(gè)合適的準則往往十分困難,使這種方法的應用受到一定限制。
結構效度分析
結構效度(Construct Validity)。是指測量結果體現出來(lái)的某種結構與測值之間的對應程度。結構效度分析所采用的方法是因子分析。最關(guān)心的問(wèn)題是:量表實(shí)際測量的是哪些特征?在評價(jià)建構效度時(shí),調研人員要試圖解釋“量表為什么有效”這一理論問(wèn)題以及考慮從這一理論問(wèn)題中能得出什么推論。結構效度包括同質(zhì)效度、異質(zhì)效度和語(yǔ)意邏輯效度。有的學(xué)者認為,效度分析最理想的方法是利用因子分析測量量表或整個(gè)問(wèn)卷的結構效度。因子分析的主要功能是從量表全部變量(題項)中提取一些公因子,各公因子分別與某一群特定變量高度關(guān)聯(lián),這些公因子即代表了量表的基本結構。通過(guò)因子分析可以考察問(wèn)卷是否能夠測量出研究者設計問(wèn)卷時(shí)假設的某種結構。在因子分析的結果中,用于評價(jià)結構效度的主要指標有累積貢獻率、共同度和因子負荷。累積貢獻率反映公因子對量表或問(wèn)卷的累積有效程度,共同度反映由公因子解釋原變量的有效程度,因子負荷反映原變量與某個(gè)公因子的相關(guān)程度。
信度分析也稱(chēng)為可靠性分析,用于測量樣本回答結果是否可靠,即樣本有沒(méi)有真實(shí)作答量表類(lèi)題項。
比如說(shuō),在對同一對象進(jìn)行測量,多次測量結果都很接近,就會(huì )認為這個(gè)結果是可信的,真實(shí)的,也就是信度高。如果每次測量的結果都有很大的差異,則說(shuō)明信度較低。
衡量信度的方法有很多種,常用的信度系數包括:克隆巴赫α系數、折半系數、重測信度,可在spssau中進(jìn)行分析。
效度分析,簡(jiǎn)單來(lái)說(shuō)就是問(wèn)卷設計的有效性、準確程度,用于測量題項設計是否合理。
效度又可分為內容效度、結構效度和效標效度。
內容效度,通常是以文字來(lái)說(shuō)明問(wèn)卷的有效性。如通過(guò)參考文獻,或者權威來(lái)源說(shuō)明問(wèn)卷的權威性和有效性。還有就是通過(guò)對問(wèn)卷前測并結合結果進(jìn)行題項的修正等工作來(lái)充分說(shuō)明問(wèn)卷的有效性。
結構效度,指測量題項與測量維度之間的對應關(guān)系。測量方法有兩種,一種是探索性因子分析,另外一種是驗證性因子分析。其中,探索性因子分析是當前使用最為廣泛的結構效度測量方法,SPSSAU提供此兩種分析方法。
效標效度,如果以前有一份權威且標準的量表數據,現在依舊使用該量表進(jìn)行研究,并且收集回來(lái)一份數據。以前權威標準數據作為標準,當前數據與前一份數據之間進(jìn)行相關(guān)分析,如果說(shuō)相關(guān)系數值較高,則說(shuō)明效標效度良好。但在實(shí)際分析中,效標效度很少使用。
相信你也知道,效度是指,測量工具能確切測得其所欲測量的特質(zhì)之程度,它的測定大體可以分為內容效度(表面效度)、準則效度(效標效度)和建構效度三種。
例如,你除了手頭上的量表,還同時(shí)用了其他的測量方法(methods)測量量表中的特質(zhì)(traits),那麼,你可藉建構多重方法多重特質(zhì)矩陣(Multitrait-multimethod matrix)以檢測其效度,其中所用的統計技術(shù)只需相關(guān)系數(Relation Coefficient)就可以了。
又例如:你手頭上的量表有一定的邏輯結構,你想從量表大堆題目(items)中抽出有用的因子或元素,或者要驗證量表題目的歸類(lèi)是否與量表本身的結構相符,以檢測其建構效度,那麼,可透過(guò)因子分析(Factor Analysis)技術(shù)來(lái)進(jìn)行。
就以這個(gè)因子分析的統計過(guò)程來(lái)論,它看似簡(jiǎn)單,把題目送進(jìn)SPSS執行,再轉軸,之后系統自然會(huì )跑出一些因子負荷出來(lái);但其間選用哪一種抽取因子方法、因子數目的判斷、轉軸與否及轉軸方法的選用、因素的解釋與命名等等,須視乎你量表本身的邏輯以及背后的理論基礎。
這不是三言?xún)烧Z(yǔ)能說(shuō)清的,建議你到圖書(shū)館找本書(shū)來(lái)看看。至於SPSS的實(shí)務(wù)操作,應該不太難,網(wǎng)上也有一大堆教程,下面這個(gè)是最常見(jiàn),你不妨看看。
最后,建議你先做信度分析,信度是效度的必要條件,在信度低的情況下,效度不可能高。
測評信效度主要還是看常模。
解決方法:1、測評與選拔的可靠性分析 在人員測評與選拔中,結果的可靠性是由測評信度來(lái)鑒定,所謂信度是指人員測評與選拔結果的準確性或一致性程度。按照衡量測評信度程度的方法不同,信度可分為再測信度、復本信度、內在一致性信度和評分者信度。
(1)再測信度。指以同樣的測評與選拔工具,按照同樣的方法,對于相同的對象再次進(jìn)行測評與選拔,所得先后結果的一致性程度。
再測信度的兩次測評使用的是同一個(gè)測評工具,同一種測評方式,但較難把握的是兩次測評間隔的時(shí)間長(cháng)短。時(shí)間間隔過(guò)長(cháng),被測者特征將隨時(shí)間的增加而發(fā)展變化,由此計算的穩定系數將失去意義;若時(shí)間間隔過(guò)短,又可能產(chǎn)生記憶與練習效應,這也將影響穩定系數。
一般來(lái)說(shuō),時(shí)間間隔不應是固定不變的,不同性質(zhì)的人時(shí)間間隔應有區別,通常為1至3個(gè)月之間。在進(jìn)行測評結果報告時(shí),應報告兩次測評的間隔時(shí)間,以及在此期間內被測者的相關(guān)經(jīng)歷。
(2)復本信度。指測評與選拔結果與另一個(gè)等值測評與選拔結果的一致性程度。
所謂等值,是指在測評內容、效度、要求、形式上都與原測評一樣,其中一個(gè)測評可以看作是另一個(gè)測評的近似復寫(xiě),即復本。如果兩個(gè)復本測評相距一段時(shí)間分兩次實(shí)施,則在鑒定復本信度的同時(shí)還可鑒定再測信度,可見(jiàn)它應用范圍的廣泛。
鑒定復本信度,首先要編制等值的復本。編制嚴格平行的復本難度較大,這也是制約復本信度的主要因素。
此外,復本信度雖能較好地克服再測信度的練習、記憶效應,但原測評中的一些技能技巧也會(huì )產(chǎn)生遷移效應。(3)內在一致性信度。
指所測素質(zhì)相同的各測評項目分數間的一致性程度。若被測的第一個(gè)項目的分數高于他人,在第二個(gè)項目的分數還高于其他人,在第三個(gè)項目的分數仍高于他人……且這些測評項目所測評的是同一素質(zhì),那么有理由認為測評與選拔結果較可靠。
再測信度與復本信度都需要組織兩次測評,而內在一致性信度只需要進(jìn)行一次測評,增加了人員測評的可操作性,同時(shí)也為實(shí)際工作帶來(lái)了極大的方便。 (4)評分者信度。
指多個(gè)測評者給同一組被測樣組進(jìn)行評分的一致性程度。測評與選拔結果的差異程度來(lái)自?xún)煞矫妫阂皇潜粶y評者自身,二是被測評者及其測評。
信度主要是對后者的度量,測評者及其測評的無(wú)關(guān)差異越小,測評與選拔結果就越可靠。測評者的評分是引起主觀(guān)性測評結果差異的主要原因。
客觀(guān)性測評是利用計算機評分,不受主觀(guān)因素影響,不存在評分誤差。 2、測評與選拔的有效性分析 上面我們對測評信度進(jìn)行了簡(jiǎn)要描述,目的是提高測評的可信度。
測評的有效性也即測評效度是人才測評與選拔質(zhì)量檢驗的重要內容,尤其是對測評選拔反饋有重要的指導和參考修正價(jià)值。效度的具體內容主要包含以下幾個(gè)方面: (1)內容效度。
是指實(shí)際測評到的內容與期望測評的內容的一致性程度。內容效度在實(shí)際操作中的鑒定主要采用定性分析的方法,有藍圖對照分析法與專(zhuān)家比較判斷法。
所謂的藍圖對照法實(shí)際上就是將測評內容與設計藍圖對照,做出分析判斷。專(zhuān)家比較判斷法是由一組獨立的專(zhuān)家組成專(zhuān)家評定組,對測評量表內容取樣的充分性、必要性、適合性進(jìn)行評定,對實(shí)際測評到的內容與所要測素質(zhì)特征的符合程度做出判斷。
(2)結構效度。又稱(chēng)作構想效度、構思效度、構建效度等。
在測評實(shí)踐中,有些指標我們是不能直接測評得到答案的,例如智力、動(dòng)機、態(tài)度、品德、善良、誠實(shí)等抽象概念,這時(shí)候我們只能借助于具體的行為測評來(lái)推斷。把抽象素質(zhì)構建成具體行為特征,是否抓住了該素質(zhì)的本質(zhì)特征進(jìn)行構建是最關(guān)鍵的,這就是結構效度問(wèn)題。
它表明了在多大程度上,實(shí)際的測評結果能夠被看作是所要測評的素質(zhì)在結構上的替代物。 不難看出,結構效度的判斷是一個(gè)難點(diǎn)。
在實(shí)際操作中,這里也是最復雜的一個(gè)環(huán)節之一。構建一個(gè)素質(zhì)結構模型是非常必要的,包括項目、指標、權重、標度等。
然后,根據事實(shí)材料評判結構效度。就是根據實(shí)際的測評結果,結合專(zhuān)家小組的意見(jiàn)和邏輯分析等方法,評判結構效度。
這一點(diǎn)對于測評結果的反饋修正具有重要價(jià)值。 (3)關(guān)聯(lián)效度。
是指測評結果與效標的一致性程度。效標是一種用來(lái)衡量測評有效性的外在參照標準,它可以是一種測評的結果,也可以是標準測評分數。
根據效標是否可以同時(shí)獲得,可將關(guān)聯(lián)效度分為同時(shí)效度與預測效度。作為效標的結果與預測結果同時(shí)獲得,這種效度稱(chēng)之為同時(shí)效度。
當作為效標的結果是后來(lái)測評中獲得,這種效度稱(chēng)為預測效度。它反映了現在的測評結果對未來(lái)素質(zhì)發(fā)展的預測程度。
不同的測評目的,對于效度的要求也不盡相同。例如,通過(guò)測評來(lái)選拔人才,則希望測評有較高的預測效度;通過(guò)測評來(lái)開(kāi)發(fā)培訓人才,則希望測評兼備較高的同時(shí)效度和預測效度。
四、總結 當然,影響信度的因素有很多,主要是系統誤差和隨機誤差。包括測評者的專(zhuān)業(yè)性和素質(zhì)、被測評者本人心理、測評工具的穩定性、環(huán)境穩定性等都會(huì )影響測評的可信度。
在實(shí)際測評過(guò)程中要把握各相關(guān)方面,不僅要有專(zhuān)業(yè)的測評人員,同時(shí)也要在穩定的環(huán)境中為被測評者提供一個(gè)放松真實(shí)的氛。
問(wèn)題描述:因子分析里面Descriotives里面KMO和巴特利檢驗就可以了
答案1:: 首先必須要做KMO和Bartlett球形檢驗,這個(gè)你應該會(huì )了吧,
如果這兩個(gè)檢驗合格的話(huà)說(shuō)明數據是適合做因子分析的。
然后提取因子后,看主因子解釋總變異的百分比和個(gè)因子的因子載
荷,主因子解釋總變異一般若大于60%的和因子載荷大于0.6的話(huà)說(shuō)明
結構效度很好。
pS: ,如果題目沒(méi)有規定就是選特征值大于1的,如果題目事先要提取幾
個(gè)因子,那么在操作的時(shí)候,用SPSS那個(gè)因子分析的選項里面有一個(gè)地
方可以著(zhù)名,因子載荷在輸出的結果直接可以看到(rotated
compoment matrpx),一定要是旋轉后的因子載荷
:::::::::::::::::::請參考以下相關(guān)問(wèn)題::::::::::::::::::::
用SPSS做問(wèn)卷的結構效度分析,因子分析的范圍
:::::::::::::::::::請參考以下相關(guān)問(wèn)題::::::::::::::::::::
:::::::::::::::::::請參考以下相關(guān)問(wèn)題::::::::::::::::::::
spss分析問(wèn)卷效度
:::::::::::::::::::請參考以下相關(guān)問(wèn)題::::::::::::::::::::
:::::::::::::::::::請參考以下相關(guān)問(wèn)題::::::::::::::::::::
根據定義,可以得知結構效度具有如下一些特點(diǎn):
(1)結構效度的大小首先取決于事先假定的心理特質(zhì)理論(戴海崎, 張鋒和陳雪楓,2007)。要使得關(guān)于某一特質(zhì)測驗的結構效度的研究結果可以進(jìn)行比較,則對于該特質(zhì)的假設和定義就應該相同。否則,不能進(jìn)行比較。
(2)由于有可能出現理論假設不成立,或該試驗設計不能對該假設作出適當的檢驗等情況,因此當實(shí)際測量的資料無(wú)法證實(shí)我們的理論假設時(shí),并不一定就表明該測驗結構效度不高。
(3)結構效度是通過(guò)測量什么和不測量什么的證據累加起來(lái)給以確定的,因而不可能有單一的數量指標來(lái)描述結構效度。
效度的驗證通常包含以下幾方面內容:
1、表面效度
這是說(shuō)這個(gè)研究工具看起來(lái)是不是測到了要測量的內容,本質(zhì)上來(lái)說(shuō)他不算效度,他只是表現出了測量的友好性,但實(shí)際研究中有時(shí)也需要保證一定的表面效度。如果一道數學(xué)題看起來(lái)很像一個(gè)語(yǔ)文問(wèn)題,那可能很多人就不會(huì )想到用數學(xué)的語(yǔ)言去回答問(wèn)題,這道題也就測不出數學(xué)能力。表面效度通常不需要特別分析,因為他就是表示這個(gè)問(wèn)卷看起來(lái)像不像那么回事
2、內容效度
內容效度是指測驗是否測到了所要測的內容。對于內容效度的驗證,通常需要有經(jīng)驗的專(zhuān)家來(lái)評定。當然有時(shí)也可以從研究對象群體當中抽取一些人來(lái)做評定,評定的方式可以采用李克特量表的形式。
3、結構效度
即問(wèn)卷的結構或者說(shuō)維度劃分是否正確。通常采用探索性因子分析和驗證性因子分析來(lái)研究結構效度。如果分析的結果和研究者的預想一致,則結構效度較好
4、效標關(guān)聯(lián)效度
這是最常見(jiàn)的效度研究指標。其邏輯思路是如果一份測量工具測量到了所要測的內容,那么假如另一個(gè)成熟的研究工具也是測這方面內容,或與這方面內容高度相關(guān)的東西,則這兩種測量工具的分數應當有較高的相關(guān)。通常采用相關(guān)分析法來(lái)研究。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據《信息網(wǎng)絡(luò )傳播權保護條例》,如果我們轉載的作品侵犯了您的權利,請在一個(gè)月內通知我們,我們會(huì )及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習?shū)B(niǎo). 頁(yè)面生成時(shí)間:2.821秒