Усовершенствованный поиск архитектур в автоматическом решении задач графового машинного обучения: расширение и динамическая приоритизация пространства поиска для повышения эффективности

В данной работе исследуются методы улучшения процесса автоматизированного поиска архитектур для графовых нейронных сетей (ГНС). Мы предлагаем новый подход, основанный на адаптивном изменении пространства поиска посредством выделения приоритетных направлений, что позволяет повысить эффективность поиска архитектур. Еще один предлагаемый подход расширяет пространство поиска, разрешая комбинировать различные типы графовых сверточных слоев. Основное внимание уделяется максимизации точности архитектур в расширенном пространстве поиска при фиксированном бюджете поиска по количеству моделей. Наши эксперименты проводятся на наборах данных цитирования, химических молекул и графов покупок. Результаты экспериментов показывают, что предложенный подход позволяет находить более эффективные модели без увеличения вычислительных ресурсов и демонстрирует высокую перспективность для автоматизации решений реальных задачах анализа графовых данных.

1. Xiao Li, Li Sun, Mengjie Ling, Yan Peng A survey of graph neural network based recommendation in social networks. Neurocomputing, 2023, 126441, https://doi.org/10.1016/j.neucom.2023.126441.

2. Fan, Wenqi, Ma, Yao, Li, Qing, He, Yuan, Zhao, Eric, Tang, Jiliang, Yin, Dawei Graph Neural Networks for Social Recommendation. 2019, 417–426, 10.1145/3308558.3313488.

3. Park, Jaehong, Shim, Youngseon, Lee, Franklin, Rammohan, Aravind, Goyal, Sushmit, Shim, Munbo, Jeong, Changwook, Kim, Dae Sin Prediction and Interpretation of Polymer Properties Using the Graph Convolutional Network. ACS Polymers Au, 2022, 213-222, 10.1021/acspolymersau.1c00050.

4. Pietro Bongini, Monica Bianchini, Franco Scarselli Molecular generative Graph Neural Networks for Drug Discovery. Neurocomputing, 2021, 242-252, https://doi.org/10.1016/j.neucom.2021.04.039.

5. Fan Zhou, Xovee Xu, Ce Li, Goce Trajcevski, Ting Zhong, Kunpeng Zhang A Heterogeneous Dynamical Graph Neural Networks Approach to Quantify Scientific Impact. 2020.

6. Cummings, Daniel, Nassar, Marcel Structured Citation Trend Prediction Using Graph Neural Networks. 2020, 3897-3901, 10.1109/ICASSP40776.2020.9054769.

7. Xin He, Kaiyong Zhao, Xiaowen Chu AutoML: A survey of the state-of-the-art. Knowledge-Based Systems, 2021, 106622, https://doi.org/10.1016/j.knosys.2020.106622.

8. Rashidi, Hooman H., Tran, Nam, Albahra, Samer, Dang, Luke T. Machine learning in health care and laboratory medicine: General overview of supervised learning and Auto-ML. International Journal of Laboratory Hematology, 2021, 15-22, https://doi.org/10.1111/ijlh.13537.

9. Zoph, Barret, Le, Quoc Neural Architecture Search with Reinforcement Learning. 2016.

10. Hochreiter, S Long Short-term Memory. Neural Computation MIT-Press, 1997.

11. Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Graph neural networks: A review of methods and applications. AI Open, 2020, 57-81, https://doi.org/10.1016/j.aiopen.2021.01.001.

12. Gao, Yang, Yang, Hong, Zhang, Peng, Zhou, Chuan GraphNAS: Graph Neural Architecture Search with Reinforcement Learning. 2019.

13. Jiaxuan You, Rex Ying, Jure Leskovec Design Space for Graph Neural Networks. 2021.

14. Zhao, Huan, Wei, Lanning, Yao, Quanming Simplifying Architecture Search for Graph Neural Network. 2020.

15. Zhao, Huan, Yao, Quanming, Tu, Weiwei Search to aggregate neighborhood for graph neural network. 2021.

16. Cai, Rongshen and Tao, Qian and Tang, Yufei and Shi, Min ALGNN: Auto-Designed Lightweight Graph Neural Network. 2021, 500--512.

17. Pytorch library, https://pytorch.org

18. Pytorch Geometric library, https://pytorch-geometric.readthedocs.io

19. Thomas N. Kipf, Max Welling Semi-Supervised Classification with Graph Convolutional Networks. 2017.

20. William L. Hamilton, Rex Ying, Jure Leskovec Inductive Representation Learning on Large Graphs. 2018.

21. Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio Graph Attention Networks. 2018.

22. Jian Du, Shanghang Zhang, Guanhang Wu, Jose M. F. Moura, Soummya Kar Topology Adaptive Graph Convolutional Networks. 2018.

23. Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka How Powerful are Graph Neural Networks? 2019.

24. Felix Wu, Tianyi Zhang, Amauri Holanda de Souza Jr. au2, Christopher Fifty, Tao Yu, Kilian Q. Weinberger Simplifying Graph Convolutional Networks. 2019.

25. Hao Zhu, Piotr Koniusz Simple Spectral Graph Convolution. 2021.

26. Federico Monti, Davide Boscaini, Jonathan Masci, Emanuele Rodolà, Jan Svoboda, Michael M. Bronstein Geometric deep learning on graphs and manifolds using mixture model CNNs. 2016.