Skip to content

Commit

Permalink
small fixes
Browse files Browse the repository at this point in the history
changes to same references, some spelling corrections and fix figure 2.5 in html version.
  • Loading branch information
VeenDuco committed Feb 3, 2020
1 parent 3e212cc commit 0d87592
Show file tree
Hide file tree
Showing 26 changed files with 220 additions and 220 deletions.
2 changes: 1 addition & 1 deletion 02-five_step_method.rmd
Original file line number Diff line number Diff line change
Expand Up @@ -248,7 +248,7 @@ During the elicitation procedures we noticed that not all experts reasoned in th
All data were analyzed anonymously and were transformed to avoid revealing business-sensitive information. The elicited priors $\pi_d(\theta)$ can be found in Figure \@ref(fig:ch02fig5), together with the posterior distribution $\pi(\theta|y)$. The values for the hyper parameters for $\pi_d(\theta)$ and $\pi(\theta|y)$ can be found in Table \@ref(tab:ch02tab3). We can see, visually in Figure \@ref(fig:ch02fig5) and numerically in Table \@ref(tab:ch02tab3), that experts one and two provide very similar predictions, however expert 2 is less uncertain about the prediction. In the same manner we can see that expert four made a prediction that closely resembles the actual realization.

```{r ch02fig5, fig.cap = "Results Five-Step Method elicitation study with large financial institution. Elicited expert distributions $\\pi_d(\\theta)$ plotted with results $\\pi(\\theta|y)$.", fig.align = "center", echo = FALSE, out.width = '90%'}
knitr::include_graphics("figures/chapter_2/Figure_5a.jpg", dpi = 108)
knitr::include_graphics("figures/chapter_2/Figure_5a.png", dpi = 108)
```


Expand Down
2 changes: 1 addition & 1 deletion 03-DAC_to_rank_experts.Rmd
Original file line number Diff line number Diff line change
Expand Up @@ -177,7 +177,7 @@ To show that the $DAC_d$ can be used to evaluate and rank several experts based

To get the experts to express their beliefs in the form of a probability distribution, we make use of the Five-Step Method [@veen_proposal_2017]. To encapsulate the beliefs of the expert, the Five-Step Method actively separates two elements of the knowledge of the expert: tacit knowledge of the expert and their (un)certainty. In step one, a location parameter is elicited from the expert. This location parameter captures the tacit knowledge of the expert. To verify that the representation of the beliefs is accurate, step two is the incorporation of feedback implemented through the use of elicitation software. Experts can accept the representation of their beliefs or adjust their input. In step three, the (un)certainty of the experts is obtained and represented in the form of a scale and shape parameter. Step four is to provide feedback using elicitation software to verify the accurate representation of the expert's (un)certainty, which they can either accept or they can adjust their input until the representation is in accordance with their beliefs. The fifth step is to use the elicited expert's beliefs, in this case to determine their DAC score.

The experts first performed a practice elicitation for their own sales team before moving on to the whole country. The practice run enabled them to acquaint themselves with the elicitation procedure and software we used. The elicited distributions were restricted to be skewed normal distributions such that $\pi_d(\theta)$ are $SN(\mu_0,\sigma^2_0,\gamma_0)$ densities where subscript $d$ denotes expert $d = 1,...,D$, $\mu_0$ denotes the prior mean, $\sigma^2_0$ denotes the prior variance and $\gamma_0$ denotes the prior skewness. The shape parameter $\gamma_0$ is based on a general method for the transformation of symmetric distributions into skewed distributions as described by Equation (1) in Fernandez and Steel [-@fernandez_bayesian_1998-1]. Table \@ref(tab:ch03tab1) provides an overview of the elicited distributions for the four experts in this empirical study. The distributions are based upon transformed data to avoid revealing business-sensitive information.
The experts first performed a practice elicitation for their own sales team before moving on to the whole country. The practice run enabled them to acquaint themselves with the elicitation procedure and software we used. The elicited distributions were restricted to be skewed normal distributions such that $\pi_d(\theta)$ are $SN(\mu_0,\sigma^2_0,\gamma_0)$ densities where subscript $d$ denotes expert $d = 1,...,D$, $\mu_0$ denotes the prior mean, $\sigma^2_0$ denotes the prior variance and $\gamma_0$ denotes the prior skewness. The shape parameter $\gamma_0$ is based on a general method for the transformation of symmetric distributions into skewed distributions as described by Equation (1) in Fernandez and Steel [-@fernandez_bayesian_1998]. Table \@ref(tab:ch03tab1) provides an overview of the elicited distributions for the four experts in this empirical study. The distributions are based upon transformed data to avoid revealing business-sensitive information.

Table: (\#tab:ch03tab1) The values of the hyper parameters of $\pi(\theta|y)$ for the empirical study.

Expand Down
10 changes: 5 additions & 5 deletions 90-Acknowledgements.Rmd
Original file line number Diff line number Diff line change
Expand Up @@ -5,13 +5,13 @@
\markboth{DANKWOORD}{DANKWOORD}


Allereerst wil ik mijn ouders bedanken. Bart en Anne, jullie onvoorwaardelijke liefde, mijn hele leven lang al, betekend alles voor mij. Er zijn zeker ook minder leuke tijden geweest, maar altijd stonden jullie voor mij klaar en zochten jullie naar wat het beste voor mij zou zijn. Ook als dat betekende dat jullie me letterlijk naar de andere kant van de wereld moesten laten gaan in de slechte tijden. Ik heb bovendien het geluk dat jullie niet alleen goede en fijne ouders voor mij zijn geweest, ik kan het tegenwoordig ook nog eens ontzettend goed met jullie vinden. Ik hoop dat we nog heel lang van elkaars gezelschap kunnen genieten!
Allereerst wil ik mijn ouders bedanken. Bart en Anne, jullie onvoorwaardelijke liefde, mijn hele leven lang al, betekent alles voor mij. Er zijn zeker ook minder leuke tijden geweest, maar altijd stonden jullie voor mij klaar en zochten jullie naar wat het beste voor mij zou zijn. Ook als dat betekende dat jullie me letterlijk naar de andere kant van de wereld moesten laten gaan in de slechte tijden. Ik heb bovendien het geluk dat jullie niet alleen goede en fijne ouders voor mij zijn geweest, ik kan het tegenwoordig ook nog eens ontzettend goed met jullie vinden. Ik hoop dat we nog heel lang van elkaars gezelschap kunnen genieten!

Aan Jeanette Reefman en Oscar Westers. Zonder jullie beide had ik waarschijnlijk nooit de middelbare school afgemaakt, laat staan dat ik nu mijn PhD had kunnen behalen. Bedankt voor alle hulp op een moment dat ik het erg goed kon gebruiken. Jullie hebben een ontzettend grote en positieve impact op mijn leven gehad.

Rens, bedankt voor alles. Ik had niet gedacht werken leuk te zullen vinden maar het is onder jou begeleiding een geweldige tijd gebleken. Ik heb heel veel van je geleerd, niet alleen inhoudelijk maar ook hoe je politiek en zakelijk allerlei situaties beter kan aanpakken. Dit zal mij in de toekomst zeker heel veel helpen. Daarnaast waardeer ik heel erg je enthousiasme, maar vooral ook je zorgzame benadering. Je probeert te pushen als het kan, af te remmen als het nodig is en oog te houden voor de zo belangrijke werk-prive balans in het leven van degene die je begeleid. We hebben straks nog een paar maanden om wat leuke projecten samen te doen, maar waar ik ook in de toekomst beland, hoop ik dat we elkaar weer tegenkomen. Het was een waar genoegen met je samen te werken en je als baas te hebben.
Rens, bedankt voor alles. Ik had niet gedacht werken leuk te zullen vinden maar het is onder jouw begeleiding een geweldige tijd gebleken. Ik heb heel veel van je geleerd, niet alleen inhoudelijk maar ook hoe je politiek en zakelijk allerlei situaties beter kan aanpakken. Dit zal mij in de toekomst zeker heel veel helpen. Daarnaast waardeer ik heel erg je enthousiasme, maar vooral ook je zorgzame benadering. Je probeert te pushen als het kan, af te remmen als het nodig is en oog te houden voor de zo belangrijke werk-privé balans in het leven van degene die je begeleidt. We hebben straks nog een paar maanden om wat leuke projecten samen te doen, maar waar ik ook in de toekomst beland, hoop ik dat we elkaar weer tegenkomen. Het was een waar genoegen met je samen te werken en je als baas te hebben.

Nancy en Gerko, wat fijn dat jullie mijn copromotoren wouden zijn ondanks het late moment in het project. Gerko, als assistent in je summerschool leerde ik tijdens het lesgeven een hoop bij en bovendien is het gewoon ontzettend gezellig met je kletsen, over statistiek, of wat dan ook. Nancy, zonder jou inzichten zouden we niet in staat zijn geweest om de elicitatie methoden te ontwikkelen zoals we dat gedaan hebben. Bedankt voor je immer enthousiaste input. Dan wil ik ook nog Diederick bedanken die mij in het begin veel heeft geleerd over communicatie: wie is je publiek? Kees, niet alleen bedankt voor alle gezelligheid en dat je een ontzettend fijne collega was, ik heb ook enorm veel geleerd over statistiek en programmeren van jou. Marthe, bedankt voor de ontzettend fijne samenwerkingen. Het was zowel gezellig als heel prettig met je samenwerken. Maartje, bedankt voor de fijne samenwerking en gezellige koppen koffie. Jean-Paul, bedankt dat je mij enthousiast hebt gemaakt voor statistiek tijdens mijn bachelor opdracht, master en studentassistentschap.
Nancy en Gerko, wat fijn dat jullie mijn copromotoren wilden zijn ondanks het late moment in het project. Gerko, als assistent in je summerschool leerde ik tijdens het lesgeven een hoop bij en bovendien is het gewoon ontzettend gezellig met je kletsen, over statistiek, of wat dan ook. Nancy, zonder jouw inzichten zouden we niet in staat zijn geweest om de elicitatie methoden te ontwikkelen zoals we dat gedaan hebben. Bedankt voor je immer enthousiaste input. Dan wil ik ook nog Diederick bedanken die mij in het begin veel heeft geleerd over communicatie: wie is je publiek? Kees, niet alleen bedankt voor alle gezelligheid en dat je een ontzettend fijne collega was, ik heb ook enorm veel geleerd over statistiek en programmeren van jou. Marthe, bedankt voor de ontzettend fijne samenwerkingen. Het was zowel gezellig als heel prettig met je samenwerken. Maartje, bedankt voor de fijne samenwerking en gezellige koppen koffie. Jean-Paul, bedankt dat je mij enthousiast hebt gemaakt voor statistiek tijdens mijn bachelor opdracht, master en studentassistentschap.

\newpage

Expand All @@ -22,7 +22,7 @@ Alex, Roelof en Cato, ondanks alle hierboven genoemde namen zijn jullie zeker mi

Voor mijn paranimfen. Bart, er wordt ons weleens verweten net een getrouwd stel te zijn. Misschien is dat na al die jaren samen wonen en zoveel tijd samen doorbrengen ook wel niet zo gek. Ik kan alles bij je kwijt en je staat altijd voor me klaar. We hebben veel plezier samen en voeren altijd discussies over alles, van politiek tot aan voetbal. Je bent mijn beste maat. Roelof, je bent al even genoemd bij de familie, maar je bent meer voor mij dan een broer. Je bent al sinds kleins af aan mijn vriend. Je gaf me wiskunde les toen ik op de basisschool zat, je bent mijn trainer geweest, je kwam ophalen van school op vrijdagen om te kaarten, eerst in pico daarna in Camelot. Alle vakanties die we samen hebben doorgebracht, alle jaren samen in Enschede en nu in Utrecht. Ik ben ontzettend trots op de fijne persoon die jij geworden bent en gelukkig dat je in mijn leven bent.

Voor mijn vrienden, ik prijs mezelf erg gelukkig met de vele fijne mensen in mijn leven. Er zoveel meer dat ik tegen jullie zou willen zeggen, maar misschien wel het belangrijkste: jullie verrijken mijn leven enorm.
Voor mijn vrienden, ik prijs mezelf erg gelukkig met de vele fijne mensen in mijn leven. Er is zoveel meer dat ik tegen jullie zou willen zeggen, maar misschien wel het belangrijkste: jullie verrijken mijn leven enorm.

Om te beginnen met mijn oudste vrienden, Eric en Stijn Jonasse. In het begin van onze studententijden is het contact wat minder geweest, maar wat ben ik blij dat het daarna weer meer is geworden. Eric, door de enorme open gesprekken met jou leer ik nog altijd over mezelf en over de wereld om mij heen. Stijn, toen ik terug kwam op het stedelijk kwam ik bij jou in de klas. Sinds die dag kan ik bij jou altijd terecht voor een intellectuele uitdaging. Of we die nou combineren met een wandeling, museum bezoek, een (strategisch) spel spelen of een profielwerkstuk samen schrijven. Rianne, na elkaar jaren niet gezien te hebben kwamen we elkaar toevallig weer tegen op een feestje. Ik geniet ontzettend van het uren lange kletsen met je sindsdien, elke keer weer.

Expand All @@ -45,7 +45,7 @@ Jeroen, Sjoerd en Wouter. Elke keer weer is een weekje in de bergen met jullie e

Anne, je bent voor mij meer een vriendin geworden dan een collega, je enorme enthousiasme altijd is een genot.

Voor al mijn collega's, werken is veel leuker dan ik had verwacht en jullie zijn daar een groot gedeelte van de reden voor. Corine en Sanne, bedankt voor jaren van gezelligheid op de kamer. Ik ben bijna altijd met een lach naar werk gegaan en dat ik bij jullie op de kamer zat heeft daar zeker aan bijgedragen. Kimberley, Mariëlle, Fayette, Lientje, Oisin, Erik-Jan, Ayoub, Karlijn, Hidde, Jeroen, Sjoerd, Irene, Flip en alle andere leuke, fijne en gezellige collega's bedankt voor alle fijne jaren. Tot slot, Kevin, bedankt dat je alles altijd regelt en mee denkt naar de handigste oplossingen. Mede dankzij jou kan ik nog een paar maanden blijven op deze fijne afdeling.
Voor al mijn collega's, werken is veel leuker dan ik had verwacht en jullie zijn daar een groot gedeelte van de reden voor. Corine en Sanne, bedankt voor jaren van gezelligheid op de kamer. Ik ben bijna altijd met een lach naar werk gegaan en dat ik bij jullie op de kamer zat heeft daar zeker aan bijgedragen. Kimberley, Mariëlle, Fayette, Lientje, Oisín, Erik-Jan, Ayoub, Karlijn, Hidde, Jeroen, Sjoerd, Irene, Flip en alle andere leuke, fijne en gezellige collega's bedankt voor alle fijne jaren. Tot slot, Kevin, bedankt dat je alles altijd regelt en mee denkt naar de handigste oplossingen. Mede dankzij jou kan ik nog een paar maanden blijven op deze fijne afdeling.



Expand Down
4 changes: 2 additions & 2 deletions Ch06.bib
Original file line number Diff line number Diff line change
Expand Up @@ -81,7 +81,7 @@ @article{zondervan-zwijnenburg_application_2017
title = {Application and evaluation of an expert judgment elicitation procedure for correlations},
volume = {8},
journal = {Frontiers in psychology},
author = {Zondervan-Zwijnenburg, Mariëlle and van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and Van de Schoot, Rens},
author = {Zondervan-Zwijnenburg, Mariëlle and Van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and Van de Schoot, Rens},
year = {2017},
pages = {90}
}
Expand Down Expand Up @@ -575,7 +575,7 @@ @article{lek_how_2019
volume = {21},
number = {5},
journal = {Entropy},
author = {Lek, Kimberley and Van De Schoot, Rens},
author = {Lek, Kimberley and Van de Schoot, Rens},
year = {2019},
pages = {446}
}
Expand Down
4 changes: 2 additions & 2 deletions IntroDiscussionThesis.bib
Original file line number Diff line number Diff line change
Expand Up @@ -23,7 +23,7 @@ @article{berger_case_2006
volume = {1},
number = {3},
journal = {Bayesian analysis},
author = {Berger, James},
author = {Berger, James O},
year = {2006},
pages = {385--402}
}
Expand Down Expand Up @@ -131,7 +131,7 @@ @book{kruschke_doing_2010
title = {Doing {Bayesian} data analysis: {A} tutorial with {R} and {BUGS}},
isbn = {0-12-405916-3},
publisher = {Academic Press},
author = {Kruschke, John},
author = {Kruschke, John K},
year = {2010}
}

Expand Down
24 changes: 12 additions & 12 deletions Reader on statistics.bib
Original file line number Diff line number Diff line change
Expand Up @@ -30,7 +30,7 @@ @article{fernandez_bayesian_1998
volume = {93},
number = {441},
journal = {Journal of the American Statistical Association},
author = {Fernández, Carmen and Steel, Mark FJ},
author = {Fernández, Carmen and Steel, Mark F J},
year = {1998},
pages = {359--371}
}
Expand Down Expand Up @@ -99,7 +99,7 @@ @article{veen_proposal_2017
title = {Proposal for a {Five}-{Step} {Method} to {Elicit} {Expert} {Judgement}},
volume = {8},
journal = {Frontiers in psychology},
author = {Veen, Duco and Stoel, Diederick and Zondervan-Zwijnenburg, Mariëlle and van de Schoot, Rens},
author = {Veen, Duco and Stoel, Diederick and Zondervan-Zwijnenburg, Mariëlle and Van de Schoot, Rens},
year = {2017},
pages = {2110}
}
Expand All @@ -118,7 +118,7 @@ @article{zondervan-zwijnenburg_application_2017
title = {Application and evaluation of an expert judgment elicitation procedure for correlations},
volume = {8},
journal = {Frontiers in psychology},
author = {Zondervan-Zwijnenburg, Mariëlle and van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and van de Schoot, Rens},
author = {Zondervan-Zwijnenburg, Mariëlle and Van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and Van de Schoot, Rens},
year = {2017},
pages = {90}
}
Expand Down Expand Up @@ -468,7 +468,7 @@ @article{raftery_approximate_1996
@incollection{van_de_schoot_dealing_2018,
title = {Dealing with imperfect elicitation results},
booktitle = {Expert judgement in risk and decision analysis},
author = {van de Schoot, Rens and Griffioen, Elian and Winter, Sonja},
author = {Van de Schoot, Rens and Griffioen, Elian and Winter, Sonja},
editor = {Bedford, T and French, Simon and Hanea, A.M. and Nane, G.F.},
year = {2018},
note = {To be published in Springer’s International Series in Operations Research and Management Science},
Expand Down Expand Up @@ -503,7 +503,7 @@ @article{gelman_prior_2017

@article{egberts_update_2018,
title = {Update this title},
author = {Egberts, Marthe and Veen, Duco and van de Schoot, Rens and van Loey, Nancy},
author = {Egberts, Marthe and Veen, Duco and Van de Schoot, Rens and Van Loey, Nancy},
year = {2018}
}

Expand Down Expand Up @@ -562,7 +562,7 @@ @article{van_baar_reliability_2006
issn = {0305-4179},
number = {3},
journal = {Burns},
author = {Van Baar, ME and Essink-Bot, Marie-Louise and Oen, IMMH and Dokter, Jan and Boxma, Han and Hinson, MI and van Loey, NEE and Faber, AW and van Beeck, Eduard F},
author = {Van Baar, ME and Essink-Bot, Marie-Louise and Oen, IMMH and Dokter, Jan and Boxma, Han and Hinson, MI and Van Loey, NEE and Faber, AW and van Beeck, Eduard F},
year = {2006},
pages = {357--365}
}
Expand Down Expand Up @@ -659,7 +659,7 @@ @misc{savage_modern_2017
@article{veen_effects_2018,
title = {Effects {Coding} as {Unbiased} {Alternative} to {Scale} {Scores}},
journal = {Manuscript under review},
author = {Veen, Duco and Little, Todd D. and van de Schoot, Rens},
author = {Veen, Duco and Little, Todd D. and Van de Schoot, Rens},
year = {2018}
}

Expand All @@ -677,7 +677,7 @@ @article{veen_using_2018
volume = {20},
number = {8},
journal = {Entropy},
author = {Veen, Duco and Stoel, Diederick and Schalken, Naomi and Mulder, Kees and van de Schoot, Rens},
author = {Veen, Duco and Stoel, Diederick and Schalken, Naomi and Mulder, Kees and Van de Schoot, Rens},
year = {2018},
pages = {592}
}
Expand Down Expand Up @@ -886,7 +886,7 @@ @article{zondervan-zwijnenburg_application_2017-1
title = {Application and evaluation of an expert judgment elicitation procedure for correlations},
volume = {8},
journal = {Frontiers in psychology},
author = {Zondervan-Zwijnenburg, M and van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and van de Schoot, Rens},
author = {Zondervan-Zwijnenburg, M and Van de Schoot-Hubeek, Wenneke and Lek, Kimberley and Hoijtink, Herbert and Van de Schoot, Rens},
year = {2017},
pages = {90}
}
Expand Down Expand Up @@ -994,7 +994,7 @@ @article{fernandez_bayesian_1998-1
issn = {0162-1459},
number = {441},
journal = {Journal of the American Statistical Association},
author = {Fernandez, Carmen and Steel, Mark},
author = {Fernandez, Carmen and Steel, Mark F J},
year = {1998},
pages = {359--371}
}
Expand Down Expand Up @@ -1170,7 +1170,7 @@ @article{van_de_schoot_bayesian_2018
volume = {53},
number = {2},
journal = {Multivariate behavioral research},
author = {van de Schoot, Rens and Sijbrandij, M and Depaoli, S and Winter, S D and Olff, M and van Loey, N E},
author = {Van de Schoot, Rens and Sijbrandij, M and Depaoli, S and Winter, S D and Olff, M and Van Loey, N E},
year = {2018},
pages = {267--291}
}
Expand All @@ -1190,7 +1190,7 @@ @article{zondervan-zwijnenburg_where_2017
volume = {14},
doi = {10.1080/15427609.2017.1370966},
journal = {Res. Hum. Dev.},
author = {Zondervan-Zwijnenburg, M and Peeters, M and Depaoli, S and van de Schoot, Rens},
author = {Zondervan-Zwijnenburg, M and Peeters, M and Depaoli, S and Van de Schoot, Rens},
year = {2017},
pages = {305--320}
}
Expand Down
Binary file not shown.
Binary file not shown.
Binary file not shown.
1 change: 1 addition & 0 deletions before_body.tex
Original file line number Diff line number Diff line change
Expand Up @@ -104,6 +104,7 @@
\noindent Proefschrift Universiteit Utrecht, Utrecht. \\
\noindent Met samenvatting in het Nederlands. \\

\noindent Print: Ridderprint | www.ridderprint.nl \\
\noindent ISBN: 978-94-6375-796-6 \\
\noindent Copyright \textcopyright 2020, D. Veen. All Rights Reserved.

Expand Down
Loading

0 comments on commit 0d87592

Please sign in to comment.