کاهش اثر مخرب کاربران بدرفتار در حسگری همکارانه طیف مبتنی بر یادگیری تقویتی

نوع مقاله : مقاله پژوهشی

نویسنده

دانشجوی دکترا ، واحد بین‌الملل ارس، دانشگاه آزاد اسلامی، تبریز، ایران

چکیده

وجود کاربران بدرفتار در شبکه‌های رادیوشناختی می‌تواند موجب اخلال در فرآیند حسگری طیف و تشخیص وضعیت کاربر اولیه گردد. به منظور کاهش اثر مخرب این دسته از کاربران در شبکه‌های رادیوشناختی، در این مقاله یک سازوکار نوین مبتنی بر راهبرد یادگیری تقویتی به منظور حسگری همکارانه طیف ارائه شده است. روش پیشنهادی، یک سازوکار حسگری همکارانه مبتنی بر وزن‌دهی کاربران بوده که براساس آن کاربران وزنی متناسب با نحوه رفتار خود در حسگری طیف را دریافت می‌کنند. مدل یادگیری تقویتی بکار رفته در روش پیشنهادی یک آتوماتای یادگیر بوده که با استفاده از فرآیندهای پاداش و جریمه، به کاربران دارای رفتار نرمال در حسگری طیف وزن بیشتر و به کاربران بدرفتار مقادیر وزن کمتری اختصاص می‌دهد. بدین صورت که آتاماتای یادگیر پس از انجام عمل حسگری در هر بار تکرار، بردار وزن کاربران را براساس پاسخ دریافتی از محیط بروزرسانی می‌کند. پس از چندبار تکرار حسگری، آتاماتای یادگیر قادر خواهد بود بردار وزن کاربران را بصورتی بهینه تنظیم کند. به منظور ارزیابی روش پیشنهادی، عملکرد آن در محیط شبیه سازی مورد آزمایش قرار گرفته و نتایج حاصل با روش‌ موجود برای حسگری همکارانه طیف مقایسه شده است. نتایج حاصل نشان می‌دهد که استفاده از روش پیشنهادی در شرایط حضور کاربران بدرفتار موجب بهبود چشمگیر عملکرد شبکه خواهد شد.

کلیدواژه‌ها


Smiley face

[1] ‏S. Khamayseh, & A. Halawani, “Cooperative Spectrum Sensing in Cognitive Radio Networks: A Survey on Machine Learning-based Methods,” Journal of Telecommunications and Information Technology, Vol. 82, pp. 1-18, 2020.
[2] P.T. Sivagurunathan, P.  Ramakrishnan, & N. Sathishkumar, “Recent Paradigms for Efficient Spectrum Sensing in Cognitive Radio Networks: Issues and Challenges,” Journal of Physics: Conference Series, Vol. 1717, pp. 12-57, 2021.
[3] F. Benedetto, & G. Giunta, “A theoretical analysis of asymptotical performance of cooperative spectrum sensing in the presence of malicious users,” IEEE Wireless Communications Letters, Vol. 7, pp. 380-383, 2017.
[4] M. Botvinick, S. Ritter, J. Wang, Z. Kurth-Nelson, C. Blundell, & D. Hassabis, “Reinforcement learning, fast and slow,” Trends in cognitive sciences, Vol. 23, pp. 408-422, 2019.
[5] S. Levine, A. Kumar, G. Tucker, & J. Fu, “Offline reinforcement learning: Tutorial, review, and perspectives on open problems,” arXiv preprint arXiv:2005. 01643, 2020.
[6] A. Sharifi, M. Sharifi, and J. Niya, “Secure cooperative spectrum sensing under primary user emulation attack in cognitive radio networks:  Attack-aware threshold selection approach,” International Journal of Electronics and Communications (AEÜ), Vol. 10, pp. 1-10, 2015.
[7] X. Liu, C. Sun, M. Zhou, C. Wu, B. Peng, & P. Li, “Reinforcement learning-based multislot double-threshold spectrum sensing with Bayesian fusion for industrial big spectrum data,” IEEE Transactions on Industrial Informatics, Vol. 17, pp. 3391-3400, 2020.
[8] Y. Zhang, P. Cai, C. Pan, & S. Zhang, “Multi-agent deep reinforcement learning-based cooperative spectrum sensing with upper confidence bound exploration,” IEEE Access, Vol. 7, pp. 118898-118906, 2019.
[9] A. Kumar, N. Gupta, R. Tapwal, & J. Singh, “Trust Aware Scheme based Malicious Nodes Detection under Cooperative Spectrum Sensing for Cognitive Radio 
Networks,” Adjunct Proceedings of the International Conference on Distributed Computing and Networking, Vol. 21, pp. 56-61, 2021.
[10] R. Wan, L. Ding, N. Xiong, W. Shu, & L. Yang, “Dynamic dual threshold cooperative spectrum sensing for cognitive radio under noise power uncertainty,” Human-centric Computing and Information Sciences, Vol. 9, pp. 1-21, 2019.
[11] W. Ning, X. Huang, K. Yang, F. Wu, & S. Leng, “Reinforcement learning enabled cooperative spectrum sensing in cognitive radio networks,” Journal of Communications and Networks, Vol. 22, pp. 12-22, 2020.
[12] M. Rajendran, & M. Duraisamy, “Distributed coalition formation game for enhancing cooperative spectrum sensing in cognitive radio ad hoc networks,” IET Networks, Vol. 9, pp. 12-22, 2020.
[13] E. Ghazizadeh, D. Abbasi‐moghadam, & H. Nezamabadi‐pour, “An enhanced two‐phase SVM algorithm for cooperative spectrum sensing in cognitive radio networks,” International Journal of Communication Systems, Vol. 32, pp. 38-56, 2019.
دوره 10، شماره 4 - شماره پیاپی 40
شماره پیاپی 40، فصلنامه زمستان
بهمن 1401
صفحه 1-9
  • تاریخ دریافت: 17 شهریور 1400
  • تاریخ بازنگری: 14 آذر 1400
  • تاریخ پذیرش: 18 مرداد 1401
  • تاریخ انتشار: 01 بهمن 1401