Learning and Game ai héctor Muñoz-Avila 1, Christian Bauckhage

H. Muñoz-Avila, C. Bauckhage, M. Bida, C.B. Congdon, and G. Kendall
43
23
Steffen Priesterjahn, Oliver Kramer, Alexander Weimer, and Andreas Goebels. Evolution
of human-competitive agents in modern computer games. Evolutionary Computation, 2006.
CEC 2006, pages 777–784, 2006.
24
Jan Quadflieg, Mike Preuss, Oliver Kramer, and Gunter Rudolph. Learning the track and
planning ahead in a car racing controller. Proceedings of the 2010 IEEE Conference on
Computational Intelligence and Games, pages 395–402, August 2010.
25
Ryan K. Small and Clare Bates Congdon. Agent smith: Towards an evolutionary rule-based
agent for interactive dynamic games. In IEEE Congress on Evolutionary Computation,
pages 660–666, 2009.
26
Kenneth O. Stanley, Bobby D. Bryant, and Risto Miikkulainen. Evolving neural network
agents in the NERO video game. Proceedings of the IEEE 2005 Symposium on Computa-
tional Intelligence and Games (CIG’05), pages 182–189, 2005.
27
Kenneth O. Stanley and Risto Miikkulainen. Evolving neural networks through augmenting
topologies. Evolutionary Computation, 10(2):99–127, 2002.
28
Ivan Tanev, Michal Joachimczak, and Katsunori Shimohara. Evolution of driving agent,
remotely operating a scale model of a car with obstacle avoidance capabilities. Proceedings
of the 8th annual conference on Genetic and evolutionary computation – GECCO ’06, pages
1785–1792, 2006.
29
Gerald Tesauro. Temporal difference learning and td-gammon. Commun. ACM, 38(3):58–
68, March 1995.
30
Christian Thurau, Christian Bauckhage, and Gerhard Sagerer. Synthesizing movements
for computer game characters. Pattern Recognition, LNCS 3175:179–186, 2004.
31
Julian Togelius, Renzo De Nardi, and Simon M. Lucas. Towards automatic personalised
content creation for racing games. 2007 IEEE Symposium on Computational Intelligence
and Games, pages 252–259, 2007.
32
Julian Togelius and Simon M. Lucas.
Evolving Controllers for Simulated Car Racing.
Proceedings of the 2005 Congress on Evolutionary Computation (CEC 2005), 2:1906–1913,
2005.
33
Lee-Urban S. Vasta, M. and H. Munoz-Avila.
Retaliate: Learning winning policies in
first-person shooter games. In Proceedings of the Seventeenth Innovative Applications of
Artificial Intelligence Conference (IAAI-07). AAAI Press., 2007.
34
Krzysztof Wloch and Peter J. Bentley. Optimising the performance of a formula one car
using a genetic algorithm. Parallel Problem Solving from Nature-PPSN VIII, pages 702–711,
2004.
35
GN Yannakakis and J Hallam. Evolving opponents for interesting interactive computer
games. From Animals to Animats, 8:499–508, 2004.
C h a p t e r 0 3

---

Document Outline

• Introduction
• Sample State-of-the-Art Applications and Research
  • Machine Learning for Game AI
  • A Discussion of Evolutionary Computation Applications
• Challenges
  • Need to Explain Decisions and Gaining User’s Trust
  • Issues with Using Machine Learning Algorithms
  • Reward versus Having Fun
• Opportunities
  • Balancing Gaming Elements
  • Balancing Game Difficulty
  • Finding Design Loopholes in Games
  • Making Timely Decisions
• Conclusions