EBP / EBM terminology & statistics (yeeeeeh!)

Helpfulness: 0
Set Details Share
created 3 years ago by Niek_Vink
48 views
show moreless
Page to share:
Embed this setcancel
COPY
code changes based on your size selection
Size:
X
Show:
1

Crosssectioneel onderzoek design

Bij transversaal (cross-sectioneel) onderzoek wordt ieder individu in een groep eenmaal en op hetzelfde tijdstip geobserveerd of gemeten.

2

Why is Cohen's Kappa important to calculate for inter-rater reliability?

The percentage of agreement between two raters can be the same, for instance 90%. But the Kappa statistic corrects for 'chance' and can differ greatly!

3

Wat is een goede kappa waarde?

card image

Oorspronkelijk, toen Cohen de Kappa waarde had beschreven, was een waarde van > 0.40 nog acceptabel. Nu ligt dat meer rond de +/- > 0.70?

4

Diagnostische accuratesse studie

De diagnostische accuraatheid (eng: diagnostic accuracy) van een test is de capaciteit van een test om personen (of dieren of zaken) in twee klassen (bijvoorbeeld personen met de door de test onderzochte ziekte en personen zonder de ziekte) correct in te delen

5

Welke statistiek wordt gebruikt bij een diagnostische accuratesse studie?

Men kan de diagnostische accuraatheid in verschillende maten uitdrukken. Frequent gebruikte maten zijn: sensitiviteit en specificiteit, likelihood ratios, (positieve en negatieve) predictieve waarden, de diagnostische odds ratio, de oppervlakte onder de ROC-curve (AUC, AUROC). Andere minder frequent gebruikte maten zijn onder meer Youden’s index, Yule’s Q, Yule’s Y.

6

Clinical equipoise

also known as the principle of equipoise, provides the ethical basis for medical research that involves assigning patients to different treatment arms of a clinical trial. The term was first used by Benjamin Freedman in 1987.[1] In short, clinical equipoise means that there is genuine uncertainty in the expert medical community over whether a treatment will be beneficial. This applies also for off-label treatments performed before or during their required clinical trials.

7

Reproduceerbaarheid: Overeenstemming / Meetfout
(Agreement)

Is het instrument goed in staat om steeds hetzelfde te meten bij dezelfde patient? Stabiliteit tonen binnen een patient (Als de patient stabiel blijft, moet het meetinstrument steeds hetzelfde meten)
Relevantie: Evalueren van je therapie (verbeterd ondanks meetfouten)

8

Reproduceerbaarheid: Betrouwbaarheid (Reliability)

Is het instrument goed in staat om 2 verschillende patienten van elkaar te onderscheiden. Verschil tonen tussen patienten (Onderscheid maken tussen wel/niet ziek óf tussen lichte en ernstige vormen)
Relevantie:
Diagnosticeren (wel/niet ziek of mate van ziekte)

9

ANOVA

Variantie-analyse, een begrip uit de statistiek, vaak aangeduid als ANOVA (van het Engelse 'Analysis of variance'), is een toetsingsprocedure om na te gaan of de populatiegemiddelden van twee of meer groepen van elkaar verschillen. Het is in die zin een generalisatie van de t-toets voor twee steekproeven. De term variantie-analyse verwijst naar de uiteenlegging (analyse) van de totale variantie van de gemeten grootheid in twee delen, de variantie binnen de groepen en de variantie tussen de groepen die met elkaar vergeleken worden.

10

Meetinstrument. MDC = 8. MIC = 6. Is dit een goed meetinstrument? Licht toe

Nee, de MIC is lager dan de MDC.

11

Meetinstrument:
SDC = 6 punten
MIC = 8 punten
Patient vebetert 7 punten. Is dit significant?

Ja, het verschil is groter dan de SDC.
KLinisch relevant? Nee!

12

Wat is face validity en welke statistiek gebruik je?

mate waarin een instrument op het eerste gezicht lijkt te meten wat het beoogt te meten. Geen statistiek.

13

Inhoudsvaliditeit / content validity en welke statistiek?

Mate waarin de inhoud van een instrument een adequate afspiegeling is van het te meten construct.

Geen statistiek. Maar wel goed kijken met 'experts' of het alle relevante items bevat. Je streeft naar volledige 'compleetheid' of 'representativiteit'.

14

Wat is constructvalidteit en welke statistiek gebruik je?

Mate waarin de scores op een instrument consistent zijn met de scores op een ander instrument.

”in hoeverre samenhang testscore met andere patiëntvariabelen?” en “meet het wat het bedoelt te meten”

Correlatie coefficient > 0.50
- ordinale variabelen: Spearman's
- numerieke variabelen: Pearson's

15

Wat is content validity / inhoudsvaliditeit

Kijkt naar de mate waarin de test het construct in kwestie meet. Is de test een representatieve afspiegeling van het kennisdomein? De volledigheid van de test speelt hierbij dus een rol.

16

Concurrent validity (onderverdeling van criteriumvaliditeit)

de mate van samenhang van de testscore met de uitkomst gebeurt op dit moment / gelijktijdig.

Bijv: OttowaAnklescore en fractuur

17

Criterium validiteit en welke statistiek

Mate waarin scores een áfspiegeling zijn van de werkelijkheid'. T.o.v. een referentietest. Onder te verdelen in concurrent en predictive validity.

Sens/Spec/ VW/ LR / ROC curves

18

Predictive validity

de mate van samenhang van de testscore met de nog op te treden uitkomst.
Bijv: Cito score en type afgerond onderwijs / testscore en 5-jaarsoverleving.

19

selectie bias

....

20

Spectrum bias

Je hoopt dat de groep proefpersonen een brede afspiegeling is van de populatie die je in de kliniek gaat zien.

21

Review bias / recall bias

....

22

(Partiele) verificatiebias, (work-up bias)

Patient komt binnen met twee krukken, dan is de kans dat je lachman eerder positief is.

23

Incorporatie bias

....

24

Longitudinaal onderzoek

Bij longitudinaal onderzoek worden de waarnemingen of metingen bij ieder individu op een aantal achtereenvolgende tijdstippen herhaald.

25

De Mann-Whitney U toets

De Mann-Whitney U toets (ook wel Mann–Whitney–Wilcoxon, Wilcoxon rank-sum toets, of Wilcoxon–Mann–Whitney toets genoemd) is een niet-parametrische toets voor het vergelijken van een (semi-)continue variabele tussen twee onafhankelijke (ongepaarde) groepen.

26

Wilcoxon-toets

De Wilcoxon-toets voor twee steekproeven is een verdelingsvrije (statistische) toets om na te gaan of twee verdelingen ten opzichte van elkaar verschoven zijn. De toets is equivalent aan de Mann-Whitney-toets.

27

Chi-kwadraattoets

Een chi-kwadraattoets is in de statistiek een toets om na te gaan of twee of meer verdelingen (populaties) van elkaar verschillen.

De chi-kwadraattoets vindt toepassing als:

  • aanpassingstoets, waarbij getoetst wordt of de gevonden data passen bij een veronderstelde verdeling;
  • onafhankelijkheidstoets, waarbij getoetst wordt of de simultane verdeling waaruit de data komen bestaat uit twee onafhankelijke.
  • homogeniteitstoets, waarbij getoetst wordt of verschillende steekproeven uit dezelfde verdeling afkomstig zijn.
28

Levene's test

Met bijvoorbeeld 'Levene's Test for equality of variance' kun je testen of de variantie in beide groepen gelijk verondersteld kan worden.

29

Deductieve of beschrijvende statistiek

  1. Berekening en interpretatie van samenvattende statistische maten, zoals indexcijfer, gemiddelde, etc.
  2. Maakt gebruik van het geheel van gelijksoortige objecten of data, ofwel van de populatie. Deze data worden samengevat in een beknopte weergave, teneinde globale patronen en kenmerken te ontdekken.
30

Inductieve of inferentiële statistiek

  1. Verklarende statistiek, maakt gebruik van kansrekening
  2. Maakt gebruik van de steekproef. Op basis van een beperkt aantal gegevens wordt getracht om algemene uitspraken te formuleren over de gehele populatie.
31

Nominale schaal (syn. meetniveau), nominale variabelen.

categorische variabelen, bv. geslacht, haarkleur, bloedgroep, etc. Tevens of een Thessaly test positief of negatief is. Bij deze variabelen worden wel getallen toegekend aan de verschillende categorieën, maar die getallen dienen alleen om de verschillende categorieën van elkaar te kunnen onderscheiden, bv. "man"= 0, "vrouw"= 1. Het maakt hierbij niet uit welke getallen je toekent. Het heeft dus ook weinig zin om met deze getallen te gaan rekenen, want je kunt niet zeggen dat 1 meer is dan 0. Dit zou betekenen dat "vrouw" meer is dan "man".

32

Ordinale schaal (syn. meetniveau), ordinale variabelen.

Getallen onderscheiden categorieën en weerspiegelen tevens een ordening. Bijvoorbeeld leeftijdsgroep:

    • groep 1: 0 tot 10 jaar;
    • groep 2: 10 tot 15 jaar;
    • groep 3: 15 tot 25 jaar;

Je kunt hier zeggen dat groep 3 het oudst is en groep 1 het jongst. Het is echter niet juist te zeggen dat 2 en 2x zo hoge leeftijd aangeeft als 1, of dat het leeftijdsverschil tussen 1 en 2 even groot is als het verschil tussen 2 en 3. Verschillen tussen de getallen zijn bij een ordinale schaal dus niet betekenisvol.

33

Interval schaal (syn. meetniveau)

card image

geeft een volgorde aan waarbij de hoeveelheid van het verschil wel duidelijk is (zoals leeftijd of temperatuur). Verschil met de ratioschaal is dat bij een interval geen nulpunt heeft en de ratioschaal wel.

34

Ratio schaal (syn. meetniveau)

geeft een volgorde aan waarbij de hoeveelheid van het verschil wel duidelijk is (zoals leeftijd of temperatuur). Verschil met de intervalschaal is dat bij een interval geen nulpunt heeft en de ratioschaal wel.

35

Verschil categorische meetniveau's/schalen?

card image

De meetniveaus worden ook wel ingedeeld in categorisch en non-categorisch.

Onder de categorische meetniveaus hoort alleen het nominale meetniveau. Dit betekent dat het in categorieën is ingedeeld, zonder dat volgorde van belang is. Denk bijvoorbeeld aan kleuren – deze kunnen je indelen in categorieën rood, blauw en groen – of geslacht (man, vrouw).

Onder non-categorisch horen het ordinale niveau en scale. Hierbij speelt de volgorde een belangrijk rol. Een voorbeeld van een ordinale schaal is dan opleidingsniveau (MBO – HBO – Universiteit) of bij scale leeftijd of IQ.

36

Parametrische en non-parametrische toetsen voor meetniveau's

Een andere indeling is in parametrisch en non-parametrisch. Dit heeft te maken met de statistische bewerkingen die je kunt uitvoeren op de verschillende meetniveaus.

Bij een parametrische toets worden er eisen gesteld aan de metingen. Deze moeten op minstens interval niveau gedaan zijn en normaal verdeeld zijn. Dit is bijvoorbeeld de t toets.

Bij non-parametrische toetsen gelden deze eisen niet. Deze worden ook wel verdelingsvrije toetsen genoemd. Hieronder hoort de binomiaal toets en de chi kwadraat toets.

37

Formule voor de Smallest Detectable Change (SDC)?

1.96 x SD

38

Limits of agreement (LOA)

95% van de verschillen tussen de metingen tussen d+1.96xSD en d-1.96xSD.

Wanneer je een tweede meting doet kan deze alleen al op basis van toeval (d+1.96xSD) hoger of (d-1.96xSD) lager liggen.

Dus: alleen veranderingen die buiten de LOA liggen kunnen als echte veranderingen worden gezien. 1.96xSD heet daarom ook wel de SDC.

39

Welke vormen van validiteit geven een kwalitatieve beoordeling?

Face valdity en content validity

40

Welke vormen van validiteit geven een kwantitatieve beoordeling (coefficient)?

Construct validiteit en criterium validiteit.

41

Voorafkans en achterafkans.

card image

Je hebt een patient voor je en je schat in dat je 40% zekerheid hebt van je diagnose (voorafkans). Als de dan een test uitvoert, hoeveel procent extra zekerheid heb je dan en helpt dit je over een 'drempel' heen te komen?

42

De voorspellende waarde kan heel sterk afhangen van de .................... in de setting waar diagnostisch accuratesse onderzoek is uitgevoerd.

Prevalentie! De grootste “diagnostische winst” wordt doorgaans geboekt
in situaties met een prevalentie (voorafkans) tussen de 30%
en 70%

43

LR+ (likelihood ratio van positieve test)

verhouding tussen de kans op een POSITIEVE testuitslag bij personen MET de ziekte en de kans op een POSITIEVE testuitslag bij personen ZONDER de ziekte.

44

LR-(likelihood van negatieve test)

verhouding tussen de kans op een NEGATIEVE testuitslag bij personen MET de
ziekte en een NEGATIEVE testuitslag bij personen ZONDER de ziekte.

45

Wat is de formule voor de berekening van de LR+. En wat wordt beschouwd als een bruikbare LR+ voor de kliniek?

Hoeveel maal vaker komt een positief testresultaat voor onder zieken t.o.v. niet-zieken
Formule: Sens/1-Spec.
LR+ > 10 ‘large and decisive’
LR+ 5-10 ‘moderate’

46

Wat is de formule voor de berekening van de LR-. En wat wordt beschouwd als een bruikbare LR- voor de kliniek?

Hoeveel maal vaker komt een negatief testresultaat voor onder zieken t.o.v. niet-zieken
Formule: 1-Sens/Spec
LR-< 0.1 ‘large and decisive’
LR- 0.1-0.2 ‘moderate’

47

Wat is een likelihood ratio nomogram en wat kun je er mee?

card image

Met dit nomogram kun je met een test waarvan je de likelihood ratio waarde kent (bijv. 10.6) van een voorafkans (op basis van prevalentie + anamnese bijvoorbeeld) een snelle indruk krijgen van de toegevoegde waarde van de test voor jouw patient, je ziet dan door een lijn te trekken de achterafkans weergegeven.

48

Wat is een Receiver Operating Characteristic (ROC) curve en waar wordt deze voor gebruikt? En wat beschouwt men als een goede Area Under the Curve (AUC)?

card image

De ROC-curve geeft inzicht in hoe de sensitiviteit en specificiteit van een diagnostische test met een continue uitslag afhangen van de afkapwaarde. De AUC is een maat voor de diagnostische waarde van een test, samengevat over alle mogelijke afkappunten, en wordt vaak gebruikt om te kijken of een laboratoriumtest toegevoegde waarde heeft naast anamnese en lichamelijk onderzoek. Bij een UAC van 70% vindt men het diagnostisch model redelijk en boven de 80% goed.

49

Wat is het verschil tussen een Pearson's R en een ICC?

Beiden zijn correlatie coefficienten. Een hoge Pearson's R score staat echter niet gelijk aan een hoge mate van overeenstemming van twee beoordelaars. Er kan sprake zijn van een systematisch verschil, bijv. fysio 1 meet structureel 10graden meer op de goniometer dan fysio 2. Echter kan de Pearson's R dan toch goed zijn. De ICC corrigeert wel voor systematische verschillen. Nadeel van de ICC is weer dat er 8 varianten van zijn voor verschillende situaties.

50

Wat is het verschil tussen afhankelijke en onafhankelijke variabelen?

Een afhankelijke variabele is een variabele waarover in statistiek en wetenschappelijk onderzoek een voorspelling wordt gedaan om hypotheses te toetsen, terwijl een onafhankelijke variabele of predictor een variabele is die gebruikt wordt om voorspellingen op te baseren.

Wetenschappelijk onderzoek vereist meetbare aspecten of variabelen. Een variabele is een meetbaar kenmerk van een persoon, situatie, object of wat dan ook (operationele eenheid).

51

Onafhankelijke variabele

experimentele variabele of predictor is een variabele waarvan men aanneemt dat deze invloed heeft op het onderzoeksobject, en die door de onderzoeker wordt gemanipuleerd (gecontroleerd) en niet door het onderzoeksobject (onderzoeksobject, proefpersoon, proefdier). Een onafhankelijke variabele is dus onafhankelijk van het onderzoeksobject.In het voorbeeld van de lerende muizen hangt de hoeveelheid alcohol niet af van de muis, en is dus onafhankelijk van de muis.

52

Afhankelijke variabele

een variabele die afhangt van het onderzoeksobject (en niet van de onderzoeker).In het voorbeeld van de lerende muizen hangt de snelheid van het leren af van de muis, en is dus afhankelijk van de muis.

53

Interne consistentie

Interne consistentie is een betrouwbaarheidsscore die toegekend wordt aan meetinstrumenten die een kenmerk twee keer op een andere manier meten. Deze moet door de respondent twee maal hetzelfde worden ingevuld om te spreken van interne consistentie.

54

Welke variabelen gebruik je om een Spearman's correlatie te berekenen en welke variabelen gebruik je voor een Pearson's R?

card image

Zie foto

55

Wat is het verschil tussen de nulhypothese en de alternatieve hypothese?

Om het effect van behandeling A en het effect van behandeling B met elkaar te vergelijken kun je een hypothese opstellen. De nulhypothese is dat er geen verschil is in effect, oftewel gelijk aan nul. Bij de alternatieve hypothese gaat men er vanuit dat het verschil ongelijk is aan nul (kan hoger óf lager). Bij een p-waarde van < 0.05 wordt de nulhypothese verworpen. Bij een p-waarde van > 0.05 verwerpt men deze niet.

56

Als je het afkappunt voor een positieve uitkomst van een test verlaagd, wat gebeurt er dan met de sens/spec/PPV/NPV?

Het verlagen van het afkappunt geeft:
- Hogere sensitiviteit
- Lagere specificiteit
- Lagere PPV
- Hogere NPV

57

Je kent de sens en spec van een bepaalde test uit een goede studie. In deze studie was de voorafkans (prevalentie) 20%. Nu heb jij een patiënt waarbij je de voorafkans inschat op 35%. Wat voor effect heeft dit op de PPV en NPV?

Using the same test in a population with higher prevalence increases positive predictive value. Conversely, increased prevalence results in decreased negative predictive value. When considering predictive values of diagnostic or screening tests, recognize the influence of the prevalence of disease. https://newonlinecourses.science.psu.edu/stat507/node/71/

58

Stel je hebt een test met 77% sensitiviteit en 97% specificiteit en een prevalentie (syn. voorafkans) van 20%. Wat is zijn dan de PPV en NPV? Maak een 2x2 tabel en bereken dit. Wat gebeurt er denk je als je deze test met dezelfde sens en spec toepast in een setting met een prevalentie van 30%?

20% prevalentie geeft PPV 88 en NPV 94.
30% prevalentie geeft PPV 92 en NPV 90.
Bij een hogere prevalentie gaat de PPV omhoog maar de NPV omlaag.

59

What is a clinical prediction rule (CPR)?

A clinical prediction rule is a type of medical research study in which researchers try to identify the best combination of medical sign, symptoms, and other findings in predicting the probability of a specific disease or outcome.[1]

Physicians have difficulty in estimated risks of diseases; frequently erring towards overestimation,[2] perhaps due to cognitive biases such as base rate fallacy in which the risk of an adverse outcome is exaggerated. Ottowa ankle rules is a good example of a CPR.

60

Work-up bias

Has everyone that had the index test also receive the reference test? If the reference test is only used in people that have a positive index test than this is a form of work-up bias.

61

Selection bias

Happens when you do not include every consecutive patient but instead you pick them yourself.

62

Expectation bias

When a person evaluates the results of the index test being aware of patient characteristics, symptoms or earlier test results. So blinding is important!

63

What happens to the confidence interval (CI) when you go from a small population to a large population?

Small population --> Broader CI
Large population --> Smaller CI

64

The population size can have a big influence on the broadness of the CI, but what other factor can play a role?

When there is a skewed distribution of the observations across the two columns of a 2x2 table. This can lead to a broad 95% CI in the column with a low total.

65

What happens to sens and spec when you set the cut-off point for a continuous outcome measure higher?

Spec goes up
Sens goes down
Ideal cutoff point is where sens and spec are both high. Some authors might deviate from this rule in certain cases with high risks.

66

Verschil RCT - cohort studie

RCT -interventie

Cohort – geen interventie, alleen observatie

67

type 1 en type 2 fout, verschil?

Type 1 false positive, ten onrechte de H1 hypothese aannemen
Type 2 false negative, ten onrechte de H0 hypothese aannemen

68

Brede spreiding van je betrouwbaarheidsinterval, grootste veroorzaker?

kleine populatie

69

Study designs.
Wat zijn de twee hoofdgroepen van observationeel onderzoek?

Cohort en case-control.

70

Odds ratio versus kans

.....

71

Verschil onderzoek naar risicofactor – prognostische factor

Onderzoek risicofactor: patiënt heeft de aandoening nog niet.’

Onderzoek prognostische factor: Patiënt heeft de aandoening al.

72

Bland-Altman plot

..

73

Forest plot

..

74

Funnelplot

..

75

Boxplot

...

76

Staafdiagram of histogram

...

77

Welk studydesign gebruik je voor onderzoek naar prognostische factoren?

....

78

ROC curve / Area under the curve

card image

De relatie tussen sensitiviteit en specificiteit bij verschillende afkappunten kan worden weergegeven in een zogenoemde receiver operating characteristic-curve (ROC-curve ; zie fig. 4.2). De Y-as geeft de sensitiviteit weer en de X-as het complement van de specificiteit (1 minus specificiteit). Elk blokje in de curve representeert per afkappunt de combinatie van de waarden van sensitiviteit en 1 minus specificiteit. Er zijn veertien blokjes en dus veertien afkappunten. Door te schuiven met het afkappunt kan de ‘beste’ combinatie van sensitiviteit en specificiteit worden afgelezen. Hoe beter het onderscheidend vermogen van de test, des te groter het oppervlak tussen de curve en de diagonaal (area under the curve ). Een indextest met een ROC-curve die in de buurt van de diagonaal (neutrale lijn) loopt, is niet onderscheidend.

79

Pairwise- vs Network- meta analysis

Pairwise: Meta-analyse van studie die alleen behandeling A met behandeling B vergelijken.
Network meta-analysis (NMA) is a more appropriate methodology in situations where multiple comparators are involved. NMA represents all comparisons between interventions (in this case, PRP and the various comparators) in a network and produces effect estimates for each of these comparisons, provided strong assumptions are justified.