Plans or Outcomes: How do we attribute intelligence to

participant’s mean rating of four agents of a given type.
Figure 15: Intelligence ratings for each type of agent in Experiment 3, following the same conven-
tions as in Experiments 1 and 2.
We replicated the results of the MELM analysis from Experiment 1 and 2 to assess the effect of
planning and outcome on ratings of complete trials. We constructed a null model including only
a random effect of participant, and found that it was significantly improved by modeling random
34

---

Figure 16: Mean rating predictions from each model compared to mean human ratings in Experi-
ment 3. Error bars indicate 95% confidence intervals. Agent labels are: OL - optimal-lucky, OUL
- optimal-unlucky
, SL - suboptimal-lucky, SUL - suboptimal-unlucky. The combined (Both) model
is the closest to human attributions.
slopes for outcome per participant χ
2
(1) = 869.24, p < .001. The null model was also signifi-
cantly improved by modeling random slopes for planning per participant, χ
2
(1) = 489.84, p < .001.
Adding random slopes for planning per participant to the outcome-only model resulted in further
significant improvement, χ
2
(1) = 659.65, p < .001, as did adding random slopes for outcome to
the planning-only model χ
2
(1) = 1039, p < .001. Mean rating predictions from each model com-
pared to mean human ratings are shown on Fig. 16. The random slope coefficients for outcome and
planning fitted to individuals by the two-factor model are shown on Fig. 17
We also replicated the finding of Experiment 1 that participants with higher CRT scores placed
more weight on planning when attributing intelligence. A linear regression model using the MELM
planning weight as the independent variable and CRT as the dependent variable was significant
(F(1, 118) = 21.57, p < .001), planningWeight = −0.02+0.1CRT , adjusted R
2
= 0.15 (see Fig. 18).
A linear regression model using the MELM outcome weight as the independent variable and CRT
as the dependent variable was also significant (F(1, 118) = 11.11, p = .001), outcomeWeight =
0.6 − 0.07CRT , adjusted R
2
= 0.08. Together these results show that participants with higher CRT
scores placed higher weights on planning and lower weights on outcome when attributing intelli-
gence.
35

---

-0.5
0.0
0.5
1.0
1.5
-0.5
0.0
0.5
1.0
1.5
Outcome weight
Planning weight
Figure 17: The MELM random slope coefficients for outcome and planning fitted to individuals
in Experiment 3. Error bars indicate bootstrapped 95% confidence intervals. The red line visually
separates participants who weight planning more than outcome, and who weight outcome more
than planning. Both weights are different from zero for all participants.
5.4.3
Task Order Effects
We tested our earlier finding that participants who complete MST Search prior to MST Attribution
place higher weight on planning in MST Attribution. To determine which kind of t-test is appro-
priate, we first conducted an F-test comparing variances of planning weights in the two groups
of participants. The variances were equal (F(1, 59) = 0.88, p = .6, ratio of variances 0.88), and
so we conducted an independent-samples t-test with homogeneous variance to compare the mean
planning weights of the two samples. We found that participants who did MST Search first were
fitted with higher MELM planning weights compared to participants who did MST Search second,
t
(118) = 2.48, p = .015. The variances of outcome weights for the two groups of participants were
unequal (F(1, 59) = 2.5, p < .001, ratio of variances 2.5), and so we conducted an independent-
samples t-test with heterogeneous variances to compare the mean outcome weights of the two
samples. We found no significant difference in MELM outcome weights of participants who did
MST Search first and those who did MST Search second, t(118) = −1.84, p = .07. The distri-
36

---

0.0
0.5
1.0
0
1
2
3
CRT
Outcome weight
0.0
0.5
0
1
2
3
CRT
Planning weight
Figure 18: Participants’ outcome and planning weights plotted against CRT scores in Experiment
3. CRT scores are correlated with planning, and anti-correlated with outcome.
bution of planning and outcome weights for the two groups of participants are shown on Fig. 19.
This result confirms our earlier finding that participants place higher weight on planning in MST
Attribution after completing MST Search.
We also tested whether participants performance in MST Search depends on task order. The vari-
ances were equal (F(1, 59) = 1.1, p = .8, ratio of variances 1.1), so we conducted an independent-
samples t-test with homogeneous variances to compare the mean planning performance of the two
samples. We found no significant improvement in planning performance of participants who did
MST Search first and those who did MST Search second, t(118) = 2, p = .05, suggesting that
performing MST Attribution does not train planning performance in MST Search (the marginally
significant p-value suggests the opposite effect).
5.4.4
Discussion
In the third experiment we replicated the results of Experiment 1 and 2 with stimuli controlling for
the length of path. This result established that our findings hold even when planning has no effect
on outcome, given that the starting positions of the optimal agents are handicapped.
37

---

Figure 19: MELM planning and outcome weights of participants based on task order in Experiment
3. Participants who completed the MST Search task first, before the MST Attribution task, tended
to have higher planning weights in the Attribution task, relative to participants who completed the
Search task second, after the Attribution task.
Specifically we found that, (1) both outcome and planning contribute to attributions of intelligence,
(2) individual planning weights in MST Attribution can be predicted from participants’ CRT scores,
and from participants planning performance in MST Search, and (3) planning weights in MST
Attribution can be increased by a context manipulation of engaging in MST Search. The results
of Experiment 3 also verify that our results generalize to different sets of stimuli, used for MST
Attribution and MST Search.
We found that MST Search increases attributing intelligence to planning in MST Attribution, but
has only a marginally significant effect on outcome-based attributions. We also found that MST
Attribution does not improve planning performance in MST Search (and on the contrary, may have
decreased it). These findings suggest that the outcome-bias was reduced by up-weighting planning.
This reduction of outcome bias could happen by increasing salience of the task constraints, or by
priming attention to planning, but is unlikely to have been caused by training planning ability.
Taken together, these results suggest that attributions of intelligence are flexible – influenced by
the extent to which the observer can evaluate planning, and can relate to the agent’s task.
38

---

6
General Discussion
In this paper we examined how people attribute intelligence to plans and outcomes when observing
an agent’s behavior. We used a new experimental method, the Maze Search Task (MST). We used
the MST both as a Search task to measure how people plan, and as an Attribution task, to measure
the attribution of intelligence. The MST is easy to learn, closely resembles natural planning behav-
iors, and allows us to dissociate between planning and outcome more cleanly than many real-world
scenarios. While in natural contexts outcomes may be locally informative about planning – since
the goal of planning is optimizing outcomes over time – the MST paradigm allows us to dissociate
plans and outcomes by manipulating how close the agent starts to the goal. We modeled planning-
based attributions of intelligence in MST by treating the agent as an approximately rational planner,
for which attributed intelligence is inversely proportional to the agent’s degree of deviation from the
optimal plan. Outcome-based attributions can be modeled as inversely proportional to the incurred
cost.
Across three experiments, we found that intelligence attributions relied on both plans and out-
comes, with significant individual differences in the extent to which people relied on these two
factors, which correlated with an individual’s cognitive reflection. Individuals higher on cognitive
reflection weighted plans more relative to outcomes when attributing intelligence. We also found
that for some participants, attribution strategies were influenced by a contextual manipulation. En-
gaging in MST Search before MST Attribution made people slightly more likely to weight planning
during attribution. This suggests that attribution strategies are flexible, and could be influenced by
several factors. Attributing intelligence to planning could depend on planning abilities, as mea-
sured by MST Search, or on cognitive reflection abilities measured by CRT, such as a tendency to
correct initial impressions (Reeder et al., 1992). Further, MST Search could increase the salience
of planning, by priming the agent’s perspective, or task constraints.
Taken together, our results suggest an important implication. Outcome-centered theories suggest
that outcome is the more attractive metric by which to attribute dispositions to an agent’s perfor-
39

---

mance. If true, then the ability to plan, understand the agent’s constraints, or engage in cognitive
reflection should have no effect on attributions. Our findings suggest otherwise, demonstrating
that people make attributions of intelligence based on planning, provided sufficient context and
cognitive resources to make the attribution. In the remainder of this section, we consider alter-
native interpretations of our results, the contexts that may rationally favor reliance on outcome or
planning, the generalizability of our approach, and the broader implications of our results.
Alternative interpretations. We defined a measure of outcome as the number of steps relative to
the shortest possible number of steps in a given environment, to account for the fact that different
environments have different scale, and different possible shortest paths. However, our results also
can be replicated with outcome measured as an unnormalized number of steps. Thus, people could
interpret outcome by either mistaking lucky trajectories for a hidden skill, or by mistaking a lucky
environment for a hidden skill, in addition to lucky trajectories. Notably, environmental luck alone
would not explain outcome bias in MST – for example – two environments with an identical map,
and differing only in scale, would likely elicit similar attributions of intelligence, even though the
path lengths would differ between these environments. However, our results allow for a possibility
that people’s perception of outcome combines environmental luck and trajectory luck.
In a world where the reward placement is biased, it may be rational to look for spatial biases, and
expect that agents who correctly identify such biases would consistently achieve good performance.
Under this assumption people could reason that the agent is able to figure out the pattern by which
the exit is placed, and rate the agents highly if they appear to have figured out the pattern. To avoid
this interpretation, we instructed participants that the reward is equally likely to be anywhere in the
maze
, and asked them to report any strategies they used to perform the MST tasks. Only four out
of 240 participants reported noticing biases in the distribution of exit locations. A small number
of biased runs are expected in randomly generated sequences, and we consider this to be a small
number of participants. Further, participants were instructed that each trial shows a different agent.
Agent appearance varied between trials to reinforce this point. Thus, while we cannot definitely
rule out that some participants may unconsciously assume a spatial bias, there is no current support
40

---

for that notion.
The assumption that agents rationally maximize rewards and minimize costs is consistent with
interpreting mental effort as a cost. Different costs, such as steps and mental effort, can be traded-
off against each other (Kool et al., 2018). Even though participants were instructed that agents want
to get to the exit in the fewest moves possible, some people could implicitly assume that thinking
is costly. We would expect such people to score low on cognitive reflection due to avoiding mental
effort, as well as make less outcome-based attributions, since trading off mental cost against steps
assumes that step cost is negligible compared to mental effort. This interpretation is unlikely, given
that we observe more outcome-based attributions in people with low CRT scores.
Lastly, the Naïve Utility Calculus interprets optimal action as the best available action given an
agent’s knowledge and goals
. It is possible that some people interpret optimal action as an action
that would have been optimal in retrospect (e.g. De Freitas & Johnson, 2018), after the location of
the exit has been observed. Attributing intelligence based on this assumption would be equivalent to
attributing intelligence based on outcome. Previous work suggests that people are unlikely to make
this interpretation in partially observable grid-worlds (Baker et al., 2017). However, it is possible
that children who fail to pass the false belief test think this way. To investigate this possibility
further, future studies could use MST Attributin in conjunction with a False Belief tests to study
whether a simpler implementation of the rationality principle may develop before full theory of
mind.
Outcome may sometimes be a rational cue to intelligence.
MST Attribution creates a favor-
able context for evaluating planning. However, the rationality principle is difficult to apply when
critical information is missing (Jara-Ettinger et al., 2016), or when mental resources are limited,
e.g. under cognitive load. Thus, outcome-based attributions of intelligence may sometimes be
resource-rational, especially if the observer has a prior belief that the agent is intelligent. For ex-
ample, a person playing chess against an AI agent would likely see an unexplained move as smart,
if they expect that AI agent is good at such games. Under such circumstances unexplained success
41

---

could reinforce the belief that the agent will do well in the future, and cause attributions of high
intelligence. It is possible that children observing adults think this way. For example, children are
known to imitate causally irrelevant adult actions as much as relevant actions (Keupp et al., 2018),
which can facilitate learning by modeling social behavior, and secondarily learning instrumental
skills (McGeer, 2007; Zawidzki, 2013). Boyd (2017) further suggests that human cultural evo-
lution is driven by learning through imitating successful models, more than by figuring out how
things work. As long as outcomes are highly correlated with competence, it may be sufficient to
care about outcomes without explicitly considering the process that drives them.
We note that successful outcomes can also act as a cue attracting the observer’s attention to the
planning strategy used by the agent. One participant’s response to debriefing questions reflects
learning a search strategy by observation: ‘I was systematically visiting rooms left to right, but I
saw someone going into bigger rooms before going into the smaller rooms. That was smart!’
. More
experiments are needed to investigate under which conditions people could see unexplained behav-
ior with good outcomes as a cue that initiates an evaluation of planning strategy in this way.
Generalizability to other domains.
Our framework for intelligence attribution is based on the
proximity of an agent’s plan to the optimal plan. This way of attributing intelligence can, in theory,
generalize to other domains in which the observer has a rational model of the agent, and sufficient
observations to make an evaluation. The strategy of evaluating behavior by its optimality would be
conceptually similar in all these domains, but differ in implementation details.
For example, to evaluate intelligence in verbal communication, one can assume a pragmatic model
of communication. In such models rationality is expressed by choosing utterances that minimize
the cost of communication, while maximizing the speaker’s informative intent (e.g. Pu et al., 2020).
Such a model could be inverted to obtain an evaluation of the speaker’s intelligence with respect to
optimal pragmatic communication.
To evaluate intelligence in physical domains, one can assume and invert a hierarchical symbolic
and physical planner (Shu et al., 2020). For example, when we see a child re-purpose a dictionary
42

---

to reach a shelf, we could evaluate the quality of the planning solution. This evaluation may
include the physical stability of the structure, and its counterfactual effectiveness in achieving a
given goal.
Further, one can attribute intelligence to agents engaging in active learning by observing whether
the agent asks good questions. Models of information gain and active learning can provide an op-
timal benchmark specifying which questions are best to ask, and can be inverted to measure how
closely is the agent tracks the optimal question. In active learning scenarios the outcome (whether
the student has gained the right knowledge) can also be dissociated from planning, since the ob-
server can evaluate the efficiency of the student’s queries before the outcome is achieved.
Our methodology can also be extended to include prior beliefs into Bayesian updating. To the
extent that prior beliefs can be quantitatively measured, they can be used to initialize Bayesian
inference. One way to measure such priors would be to withhold information about outcomes,
plans, or other cues to agent rationality, and record the attributions of intelligence in this context.
For example, initial beliefs could be informed by the agent’s appearance (Todorov et al., 2005),
prior experience with a similar type of agent, and anthropomorphism (Epley et al., 2007).
Limitations of our approach. The optimality-based approach has important limitations, since it
requires sufficient observations of behavior, and sufficient mental computational resources to eval-
uate them. Everyday attributions of intelligence likely combine rational inference, outcomes, prior
beliefs and perceptual cues, and the latter can be weighted more strongly whenever observations
and computation are limited. For example, to attribute intelligence by talking to a person, someone
could evaluate the rationality of arguments, quality of vocabulary, or appearance of the speaker.
Some cues – such as "large vocabulary" – are hard to separate from an evaluation of rationality,
since an observer could reason that an intelligent learning strategy was required to learn all those
words. Others – such as "wearing a suit" – are likely explained by statistical generalization such
as, "experts wear suits". Different weighting of each type of cue may be reasonable, depending on
the quality of evidence and computational resources available to the observer.
43

---

Information about outcomes may be limited as well. For example, it may be hard to evaluate
the outcome without knowing an agent’s utilities, which may have a circular dependence on the
agent’s constraints (Anderson, 2001). It may also be hard to evaluate outcome when the objec-
tive utility is undefined, such as in creative domains. For example, evaluating the outcome of a
drawing is relatively easy when the artist’s objective is ’copy a photograph’, compared to when
the objective is ‘to make unique art’. So, the observer’s ability to evaluate outcome depends on
the reliability and availability of information about an agent’s objective, and evidence of whether
it was achieved.
Future research.
In using the ideal planner to quantitatively measure the difference between
‘better’ and ‘worse’ plans we do not claim to accurately describe all manifestations of human
intelligence. Many complex real-world situations are currently out of scope of our work, and may
require a different methodological approach. Notably, important aspects of intelligence that are
currently outside the scope of our methodology is learning, adaptability (Legg & Hutter, 2007),
and ability to learn good concepts (Chollet, 2020). We may think that agents who learn more
and faster, without over-fitting to local properties of the environment are more intelligent. Thus,
one direction of future work is investigating whether human attributions of intelligence track the
outcomes of learning – such as the rate of improvement at certain tasks – as well as structure of the
learned knowledge – such as learning compositional and generalizable concepts.
Another direction for future research is how intelligence attribution relates to other situations where
people consider outcome and intent, such as the moral domain. For example, multiple studies have
reported that intuitions about punishment are determined by the outcome of the agent’s action
more than by the intent, which is known as moral luck (Martin & Cushman, 2016; Nagel, 2013;
Williams, 1981). If people are consistent in how they treat outcome, then individual differences
in processing moral luck may be associated with individual differences in attributing intelligence.
Notably, people who score highly on CRT also place less weight on moral luck when judging
moral outcomes (Cushman & Greene, 2012; Schwitzgebel & Cushman, 2012), which suggests that
reasoning about outcomes in moral luck and in MST both rely on cognitive reflection.
44

---

Previous work has shown that in multi-stage bandit tasks mental effort can be traded-off against re-
ward, so that people invest less mental effort when the effect of extra effort on reward is marginal (Kool
et al., 2018). One direction of future work is to investigate people’s assumptions about trade-offs
between mental and physical effort as they attribute intelligence in MST by using stimuli with
identical maps at different scales. If observers assume that it is intelligent to trade off physical
and mental costs, they should expect more minimization of mental effort when navigating smaller
maps, and more minimization of physical effort in bigger mazes, as the physical cost of deviating
from the shortest path increases. Alternatively, if the observers expect that for intelligent agents
the costs of mental effort are negligible, then they should expect agents to minimize steps equally
well, regardless of the difference in reward.
Lastly, the assumption of the Naïve Utility Calculus that humans approximate optimal plans leaves
open the possibility that people use a heuristic planner different from the ideal planner that we
describe (Jain et al., 2019; Zhi-Xuan et al., 2020). If so, participants could engage in more planning-
based attributions of intelligence than we can currently detect. Notably, our current experiments use
relatively simple mazes, on which many planning models could approximate the optimal planner.
One possible direction of future work would be to design mazes that would bring out differences
between the possible approaches to solving MST, for example, more complex mazes. These stimuli
could then be used to test whether the models that best predict individual planning are also best
at predicting how people evaluate the intelligence of others. In ongoing work, we are studying
the empirical planning models that people may use to navigate in MST Search to explore this
possibility further.
7
Conclusion
Our work takes a step toward understanding how people attribute intelligence to others, using a
rigorous, quantitative framework. We have proposed that humans may intuitively reason about
intelligence by evaluating the optimality of an underlying planning process that guides observed
behavior. We evaluated this hypothesis in the domain of spatial search using a novel Maze Search
45

---

Task, and a Bayesian inverse planning computational model. Our results demonstrate that it is
possible to model human intuitions about intelligence as a combination of inferred plans and ob-
served outcomes, and explained disagreements with respect to attributing intelligence expressed in
previous work.
Our approach explains not only lay people’s intuitions about whether someone is intelligent, but
also individual differences in such intuitions, which may drive fundamentally different theories of
social perception based on the rationality principle or based on luck. Looking beyond the sim-
ple setting of maze worlds, our approach provides a method for understanding planning and plan
evaluation in environments and contexts similar to those encountered in daily life. The capacity
to engage with and model an internal decision-making mechanism is one of the strengths of our
framework, and we are currently exploring how it might explain a broader range of behaviors and
tasks.
8
Acknowledgements
We thank the reviewers for their helpful comments and suggestions, and Stefano Anzelotti, Lucas
Tian, Suhyoun Yu, and Jacob Browning for valuable discussions. This material is based upon work
supported by the Center for Brains, Minds and Machines (CBMM), funded by NSF STC award
CCF-1231216.
References
Aczel, B., Palfi, B., & Kekecs, Z. (2015). What is stupid? people’s conception of unintelligent
behavior. Intelligence, 53, 51–58.
Ambady, N., & Rosenthal, R. (1993). Half a minute: Predicting teacher evaluations from thin slices
of nonverbal behavior and physical attractiveness. Journal of personality and social psychology,
64
(3), 431.
46

---

Amodio, P., Boeckle, M., Schnell, A. K., Ostoji´c, L., Fiorito, G., & Clayton, N. S. (2018). Grow
smart and die young: Why did cephalopods evolve intelligence? Trends in ecology & evolution.
Anderson, E. (2001). Symposium on amartya sen’s philosophy: 2 unstrapping the straitjacket
of’preference’: a comment on amartya sen’s contributions to philosophy and economics. Eco-
nomics and Philosophy
, 17(1), 21.
Asch, S. E. (1946). Forming impressions of personality. The Journal of Abnormal and Social
Psychology
, 41(3), 258.
Baker, C. L., Jara-Ettinger, J., Saxe, R., & Tenenbaum, J. B. (2017). Rational quantitative at-
tribution of beliefs, desires and percepts in human mentalizing. Nature Human Behaviour, 1,
0064.
Baker, C. L., Saxe, R. R., & Tenenbaum, J. B. (2011). Bayesian theory of mind: Modeling joint
belief-desire attribution. In Proceedings of the thirty-second annual conference of the cognitive
science society
(pp. 2469–2474).
Baker, C. L., & Tenenbaum, J. B. (2014). Modeling human plan recognition using bayesian theory
of mind. Plan, activity, and intent recognition: Theory and practice, 177–204.
Baron, J., & Hershey, J. C. (1988). Outcome bias in decision evaluation. Journal of personality
and social psychology
, 54(4), 569.
Boyd, R. (2017). A different kind of animal: how culture transformed our species. Princeton
University Press.
Caplan, R. A., Posner, K. L., & Cheney, F. W. (1991). Effect of outcome on physician judgments
of appropriateness of care. Jama, 265(15), 1957–1960.
Chandler, J., Mueller, P., & Paolacci, G. (2014). Nonnaïveté among amazon mechanical turk
workers: Consequences and solutions for behavioral researchers. Behavior research methods,
46
(1), 112–130.
47

---

Chollet, F. (2020). A definition of intelligence for the real world. Journal of Artificial General
Intelligence
, 11(2), 27–30.
Cushman, F., & Greene, J. D. (2012). Finding faults: How moral dilemmas illuminate cognitive
structure. Social neuroscience, 7(3), 269–279.
Daw, N. D., O’Doherty, J. P., Dayan, P., Seymour, B., & Dolan, R. J. (2006). Cortical substrates
for exploratory decisions in humans. Nature, 441(7095), 876–879.
De Freitas, J., & Johnson, S. G. (2018). Optimality bias in moral judgment. Journal of Experi-
mental Social Psychology
, 79, 149–163.
Dennett, D. C. (1989). The intentional stance. MIT press.
Duff, R. (2017). Thank god i failed. In Moral puzzles and legal perplexities: Essays on the
influence of larry alexander.
Cambridge University Press.
Epley, N., Waytz, A., & Cacioppo, J. T. (2007). On seeing human: a three-factor theory of
anthropomorphism. Psychological review, 114(4), 864.
Fiske, S. T., Cuddy, A. J., & Glick, P. (2007). Universal dimensions of social cognition: Warmth
and competence. Trends in cognitive sciences, 11(2), 77–83.
Frank, R. H. (2016). Success and luck: Good fortune and the myth of meritocracy. Princeton
University Press.
Frederick, S. (2005). Cognitive reflection and decision making. The Journal of Economic Perspec-
tives
, 19(4), 25–42.
Gao, T., & Scholl, B. J. (2011). Chasing vs. stalking: interrupting the perception of animacy.
Journal of experimental psychology: Human perception and performance
, 37(3), 669.
Gergely, G., & Csibra, G. (2003). Teleological reasoning in infancy: The naıve theory of rational
action. Trends in cognitive sciences, 7(7), 287–292.
48

---

Gerstenberg, T., Ullman, T. D., Nagel, J., Kleiman-Weiner, M., Lagnado, D. A., & Tenenbaum,
J. B. (2018). Lucky or clever? from expectations to responsibility judgments. Cognition, 177,
122–141.
Gilbert, D. T., & Malone, P. S. (1995). The correspondence bias. Psychological bulletin, 117(1),
21.
Gino, F., Moore, D. A., & Bazerman, M. H. (2009). No harm, no foul: The outcome bias in ethical
judgments. Harvard Business School NOM Working Paper(08-080).
Godfrey-Smith, P. (2017). Other minds: The octopus and the evolution of intelligent life. Harper-
Collins UK.
Grice, H. P., Cole, P., & Morgan, J. (1975). Logic and conversation. 1975, 41–58.
Heider, F. (1958). The psychology of interpersonal relations. Psychology Press.
Heider, F., & Simmel, M. (1944). An experimental study of apparent behavior. The American
Journal of Psychology
, 243–259.
Jain, Y. R., Callaway, F., & Lieder, F. (2019). Measuring how people learn how to plan. In 41st
annual meeting of the cognitive science society (cogsci 2019)
(pp. 1956–1962).
Jara-Ettinger, J., Gweon, H., Schulz, L. E., & Tenenbaum, J. B. (2016). The naïve utility calculus:
computational principles underlying commonsense psychology. Trends in cognitive sciences,
20
(8), 589–604.
Johnson, S. G., & Rips, L. J. (2015). Do the right thing: The assumption of optimality in lay
decision theory and causal judgment. Cognitive psychology, 77, 42–76.
Kepka, E. J., & Brickman, P. (1971). Consistency versus discrepancy as clues in the attribution of
intelligence and motivation. Journal of Personality and Social Psychology, 20(2), 223—229.
Keupp, S., Behne, T., & Rakoczy, H. (2018). The rationality of (over)imitation. Perspectives on
Psychological Science
, 13(6), 678-687. (PMID: 30301424) doi: 10.1177/1745691618794921
49

---

Kool, W., Gershman, S. J., & Cushman, F. A. (2018). Planning complexity registers as a cost in
metacontrol. Journal of cognitive neuroscience, 30(10), 1391–1404.
Kun, A., & Weiner, B. (1973). Necessary versus sufficient causal schemata for success and failure.
Journal of Research in Personality
, 7(3), 197–207.
Lee, D. (2020). Birth of intelligence: From rna to artificial intelligence. Oxford University Press.
Legg, S., & Hutter, M. (2007). Universal intelligence: A definition of machine intelligence. Minds
and machines
, 17(4), 391–444.
Lerner, M. (1980). The belief in a just world; a fundamental delusion. New york: Plenum Press.
Liu, S., Ullman, T. D., Tenenbaum, J. B., & Spelke, E. S. (2017). Ten-month-old infants infer the
value of goals from the costs of actions. Science, 358(6366), 1038–1041.
Louie, K., Grattan, L. E., & Glimcher, P. W. (2011). Reward value-based gain control: divisive
normalization in parietal cortex. Journal of Neuroscience, 31(29), 10627–10639.
Luce, R. D. (1959). Individual choice behavior: A theoretical analysis. New York: Wiley.
Mackie, D. M., Worth, L. T., & Allison, S. T. (1990). Outcome-biased inferences and the perception
of change in groups. Social Cognition, 8(4), 325–342.
Martin, J. W., & Cushman, F. (2016). The adaptive logic of moral luck. The Blackwell companion
to experimental philosophy
, 190–202.
McGeer, V. (2007). The regulative dimension of folk psychology. In Folk psychology re-assessed
(pp. 137–156). Springer.
Nagel, T. (2013). Moral luck. In The philosophy of free will: Essential readings from the contem-
porary debates
(pp. 24–38). Oxford University Press.
50

---

Olson, K. R., Dunham, Y., Dweck, C. S., Spelke, E. S., & Banaji, M. R. (2008). Judgments of
the lucky across development and culture. Journal of Personality and Social Psychology, 94(5),
757.
Olson, K. R., Heberlein, A. S., Kensinger, E., Burrows, C., Dweck, C. S., Spelke, E. S., & Banaji,
M. R. (2013). The role of forgetting in undermining good intentions. PLoS ONE.
Pantelis, P. C., Gerstner, T., Sanik, K., Weinstein, A., Cholewiak, S. A., Kharkwal, G., . . . Feldman,
J. (2016). Agency and rationality: Adopting the intentional stance toward evolved virtual agents.
Decision
, 3(1), 40.
Pu, Y., Ellis, K., Kryven, M., Tenenbaum, J., & Solar-Lezama, A. (2020). Program synthesis with
pragmatic communication. Advances in Neural Information Processing Systems, 33.
Reeder, G. D., Pryor, J. B., & Wojciszke, B. (1992). Trait–behavior relations in social information
processing. Language, interaction and social cognition, 37—57.
Sacchi, S., & Cherubini, P. (2004). The effect of outcome information on doctors’ evaluations of
their own diagnostic decisions. Medical education, 38(10), 1028–1034.
Saxe, R., Carey, S., & Kanwisher, N. (2004). Understanding other minds: linking developmental
psychology and functional neuroimaging. Annu. Rev. Psychol., 55, 87–124.
Schwitzgebel, E., & Cushman, F. (2012). Expertise in moral reasoning? order effects on moral
judgment in professional philosophers and non-philosophers. Mind & Language, 27(2), 135–
153.
Shu, T., Kryven, M., Ullman, T. D., & Tenenbaum, J. B. (2020). Adventures in flatland: Perceiving
social interactions under physical dynamics. In 42d proceedings of the annual meeting of the
cognitive science society.
Surber, C. F. (1984). Inferences of ability and effort: Evidence for two different processes. Journal
of Personality and Social Psychology
, 46(2), 249.
51

---

Todorov, A., Mandisodza, A. N., Goren, A., & Hall, C. C. (2005). Inferences of competence from
faces predict election outcomes. Science, 308(5728), 1623–1626.
Toplak, M. E., West, R. F., & Stanovich, K. E. (2011). The cognitive reflection test as a predictor
of performance on heuristics-and-biases tasks. Memory & cognition, 39(7), 1275.
Turing, A. M. (1950). Computing machinery and intelligence. In Parsing the turing test (pp.
23–65). Springer.
Ullman, T., Baker, C., Macindoe, O., Evans, O., Goodman, N., & Tenenbaum, J. B. (2009). Help or
hinder: Bayesian models of social goal inference. In Advances in neural information processing
systems
(pp. 1874–1882).
Weisman, K., Dweck, C. S., & Markman, E. M. (2016). Varieties of experience: A new look at
folk philosophy of mind. In Proceedings of the thirty-eighths annual conference of the cognitive
science society.
Welsh, M., Burns, N., & Delfabbro, P. (2013). The cognitive reflection test: How much more
than numerical ability? In Proceedings of the annual meeting of the cognitive science society
(Vol. 35).
Williams, B. (1981). Moral luck: philosophical papers 1973-1980. Cambridge University Press.
Wojciszke, B., Bazinska, R., & Jaworski, M. (1998). On the dominance of moral categories in
impression formation. Personality and Social Psychology Bulletin, 24(12), 1251–1263.
Zawidzki, T. W. (2013). Mindshaping. In The oxford handbook of 4e cognition.
Zhi-Xuan, T., Mann, J., Silver, T., Tenenbaum, J., & Mansinghka, V. (2020). Online bayesian goal
inference for boundedly rational planning agents. Advances in Neural Information Processing
Systems
, 33.
52