طرح ریزی مشارکتی بر خط در محیط‌های پیچیده

نویسندگان

1 دانشجوی کارشناسی ارشد، دانشگاه صنعتی مالک اشتر

2 دانشیار، دانشگاه صنعتی مالک اشتر

3 مربی، دانشگاه صنعتی مالک اشتر

چکیده

چکیده
رویکرد های طرحریزی موجود اگرچه می توانند در شرایط عدم قطعیت و به صورت غیرمتمرکز طرح ریزی نمایند، اما اکثر آن هما در مواقعی که
شرایط پیچیده سناریوهای فرماندهی و کنترل همچون نیاز به طرح ریزی دقیق، تصمیم گیری بلادرنگ، ارتباطات محدود بین عامل ها و پویایی
محیط حاکم است ، بازده خوبی نداشته و گاهی با شکست مواجه می شوند. از بین رویکردهای موجود، مدل های توسعه یافته DEC-POMD مانند
MAOP-COMM ، برای این شرایط مناسب هستند. می توان با بهبود مدل MAOP-COMM ، طرح ریزی دقیق تری برای عامل ها انجام داد. ما در
این مقاله با ارتقاء الگوریتم اکتشافی تابع ارزش و به کارگیری پیش بینی دو مرحله ای در راهبرد یافتن سیاست بهینه و اخذ تصمیم صحیح،
الگوریتم اخیر را بهبود داده ایم. الگوریتم بهبودیافته پیشنهادی در شرایط عدم قطعیت به صورت غیر متمرکز و برخط با کارایی مضاعف و درصد
بالایی از صحت تصمیم گیری برای عامل ها طرح ریزی می کند. الگوریتم حاصل روی بنچ مارک Grid Soccer آزمایش شده است. نتایج به دست
آمده، برتری الگوریتم ارائه شده با بهبودهای پیشنهادی را نشان می دهد.

کلیدواژه‌ها


عنوان مقاله [English]

Online Collaborative Planning in Complex Environment

نویسندگان [English]

  • Saeideh Sadati 1
  • Mahdi Naqian Fesharaki 2
  • Amir Hossein Momeni Azandariani 3
1 Master's student, Malik Ashtar University of Technology
2 Associate Professor, Malik Ashtar University of Technology
3 Instructor, Malik Ashtar University of Technology
چکیده [English]

Although existing Planning methods can plan under uncertainty and decentralize situation, most of
them malfunction in some complicated conditions of command and control scenarios such as real time decision
making, need accurate planning, bounded communication between agents, dynamic worlds and partially
observable environments. Among suitable models for these situations, we can consider extended models
of DEC-POMDPs such as MAOP-COMM that can handle these conditions. It is possible to improve
MAOP-COMM model to do planning for agents with double precision. In this paper we have improved the
algorithm of MAOP-COMM model by upgrading value function heuristic and using "two steps lookahead" in
the strategy of finding best policy and making correct decision. Improved algorithm performs online planning
for agents in a multi agent system in uncertain condition with better performance and high percent of
correct decision making. We experiment resulted algorithm on Grid Soccer benchmark. The results obtained
prove efficiently of proposed improvements.

کلیدواژه‌ها [English]

  • Online Collaborative Planning
  • MultiAgent Systems
  • Decentralize POMDPs
  • Policy Tree
  • Decision Theory
[1] M. Weerdt and A. Mors, “Multi-agent Planning an
introduction to planning and coordination,” Dept.
of Software Technology, Delft University of Technology,
2005.
[2] F. Wu, S. Zilbersteinand, and X. Chen, “Online
Planning with bounded Communication,”
Artificial Intelligence Journal, vol. 175, pp. 487–
511, 2011.
[3] C. Amato, J. S. Dibangoye, and S. Zilberstein,
“Incremental policy generation for finit horizon
DEC-POMDPs,” Proceedings of the 19th International
Conference on Automated Planning and
Scheduling, pp. 2–9, 2009.
[4] J. Tsitsiklis and M. Athans, “On the complexity of
decentralized decision making and detection problems,”
IEEE Transaction on Automatic Control
vol. 30, pp. 440–446, 1985.
[5] S. Kruk, “Planning with Multiple Agents,” Seminar
on Autonomous Learning System, 2013.
[6] S. Seuken and S. Zilberstein, “Formal models and
algorithms for decentralized decision making under
uncertainty,” Springer Science Conference on
Auton Agent Multi-Agent Systems, 2008.
[7] D. Alberts and R. Hayes, “Planning Complex Endeavors,”
1th Edition, CCRP Publication, Washington
D.C, 2007.
[8] E. Shahbazian , D. Blodgett, and P. Labbe, “The
Extended OODA Model for Data Fusion Systems,”
Proceedings of 4th International Conference
on Information Fusion, Montreal Canada,
2001.
[9] C. Amato, D. Bernstein, and S. Zilberstein,
“Optimizing fixed-size stochastic controllers for
POMDPs and decentralized POMDPs,” SPRING
COMP. SCI., LLC, 2009.
[10] S. Seuken and S. Zilberstein, “Improved Memory-
Bounded Dynamic Programming for Decentralized
POMDPs,” Proc. of the Twenty-Third Conference
on Uncertainty in Artificial Intelligence, 2012.
[11] F. Oliehoek and M. Spaan, “MADP Toolbox 0.2,”
Technical Report, Informatics Institute, Amsterdam
University, 2009.
[12] B. Clement and K. Decker, “Multiagent Planning:
A Survey of Research and Applications,” Seventh
Pacific Rim International Workshop on Multi-
Agents (PRIMA), 2004.
[13] S. Sadati, M. NaghianFesharaki, and M. H. Momeni
Azandaryani, “Online Collaborative Planning
in Command and Control Domain,” 7'Th
Conference on Command and Control (C4I), Iran,
[14] S. Sadati, M. NaghianFesharaki, and S. M. Hoseini,
“Survey of Planning Parameters for Command
and Control Environments in Existing Planning
Models,” 7'Th Conference on Command and
Control (C4I), Iran, 2013. (In Persian)
[15] S. Sadati, M. NaghianFesharaki, and M. H. Momeni
Azandaryani, “Online Collaborative Planning
in Command and Control Domain,” 7'Th
Conference on Command and Control (C4I), Iran,
2013.( In Persian)