Graph Neural Networks là gì?

Graph Neural Networks hay Mạng thần kinh đồ thị áp dụng sức mạnh dự đoán của học sâu cho các cấu trúc dữ liệu phong phú mô tả những đối tượng và mối quan hệ của chúng dưới dạng các điểm được kết nối bằng các đường trong biểu đồ.

Trong GNN, các điểm dữ liệu được gọi là nút, được liên kết bằng các đường - gọi là cạnh - với các phần tử được biểu thị bằng toán học để các thuật toán học máy có thể đưa ra các dự đoán hữu ích ở cấp độ nút, cạnh hoặc toàn bộ biểu đồ.

GNN có thể làm gì?

Hiện nay nhiều công ty đang áp dụng Graph Neural Networks để cải thiện hệ thống phát hiện thuốc, phát hiện gian lận và đưa ra những đề xuất phù hợp với công việc kinh doanh. Các ứng dụng này và nhiều ứng dụng khác dựa vào việc tìm kiếm các mẫu trong mối quan hệ giữa các điểm dữ liệu.

Các nhà nghiên cứu đang khám phá các trường hợp sử dụng GNN trong đồ họa máy tính, an ninh mạng, bộ gen và khoa học vật liệu. Một bài báo gần đây đã báo cáo cách GNNs sử dụng bản đồ giao thông dưới dạng biểu đồ để cải thiện dự đoán về thời gian xe có để di chuyển đến điểm xác định.

Nhiều ngành khoa học và công nghiệp đã lưu trữ dữ liệu có giá trị trong cơ sở dữ liệu đồ thị. Với deep learning (học sâu), họ có thể đào tạo các mô hình dự đoán để khám phá những hiểu biết mới từ biểu đồ của họ.

“GNN là một trong những lĩnh vực nghiên cứu deep learning hấp dẫn nhất và chúng tôi nhận thấy ngày càng có nhiều ứng dụng tận dụng GNN để cải thiện hiệu suất của chúng,” George Karypis, nhà khoa học cấp cao tại AWS, cho biết trong một cuộc nói chuyện vào đầu 2022.

Ai sử dụng Graph Neural Networks?

Amazon đã báo cáo vào năm 2017 về công việc sử dụng GNN để phát hiện gian lận. Vào năm 2020, nó đã triển khai một dịch vụ GNN công cộng mà những người khác có thể sử dụng để phát hiện gian lận, hệ thống đề xuất và các ứng dụng khác.

Để duy trì mức độ tin cậy cao của khách hàng, Amazon Search sử dụng GNN để phát hiện người bán, người mua và sản phẩm độc hại. Sử dụng GPU NVIDIA, nó có thể khám phá các biểu đồ với hàng chục triệu nút và hàng trăm triệu cạnh trong khi giảm thời gian đào tạo từ 24 xuống còn 5 giờ.

Về phần mình, công ty dược phẩm sinh học GSK duy trì một sơ đồ tri thức với gần 500 tỷ nút được sử dụng trong nhiều mô hình ngôn ngữ máy của mình, Kim Branson, giám đốc AI toàn cầu của công ty, phát biểu trong một hội thảo tại hội thảo GNN.

Jaewon Yang, kỹ sư phần mềm nhân viên cấp cao của công ty, phát biểu trong một hội thảo khác tại hội thảo, LinkedIn sử dụng GNN để đưa ra các đề xuất xã hội và hiểu mối quan hệ giữa kỹ năng của mọi người và chức danh công việc của họ.

Joe Eaton, một kỹ sư nổi tiếng tại NVIDIA, người đang lãnh đạo một nhóm áp dụng tính toán tăng tốc cho GNN, cho biết: “GNN là công cụ đa năng và mỗi năm chúng tôi khám phá ra một loạt ứng dụng mới cho chúng. “Chúng tôi thậm chí còn chưa vạch ra bề nổi của những gì GNN có thể làm.”

Một dấu hiệu khác cho thấy sự quan tâm đến GNN là các video về khóa học về chúng mà Leskovec giảng dạy tại Stanford đã nhận được hơn 700.000 lượt xem.

GNNs đang hoạt động như thế nào?

Cho đến nay, học sâu vẫn chủ yếu tập trung vào các hình ảnh và văn bản, các loại dữ liệu có cấu trúc có thể được mô tả dưới dạng chuỗi từ hoặc lưới pixel. Ngược lại, đồ thị không có cấu trúc. Chúng có thể có bất kỳ hình dạng hoặc kích thước nào và chứa bất kỳ loại dữ liệu nào, bao gồm cả hình ảnh và văn bản.

Bằng cách sử dụng một quy trình được gọi là chuyển thông báo, GNN tổ chức các biểu đồ để các thuật toán máy học có thể sử dụng chúng.

Thông báo đi qua nhúng vào mỗi nút thông tin về hàng xóm của nó. Các mô hình AI sử dụng thông tin được nhúng để tìm các mẫu và đưa ra dự đoán.

Ví dụ: các hệ thống đề xuất sử dụng một dạng nút nhúng trong GNN để khớp khách hàng với sản phẩm. Các hệ thống phát hiện gian lận sử dụng các nhúng cạnh để tìm các giao dịch đáng ngờ và các mô hình phát hiện thuốc so sánh toàn bộ đồ thị của các phân tử để tìm hiểu cách chúng phản ứng với nhau.

GNN là duy nhất theo hai cách khác: Chúng sử dụng phép toán thưa thớt và các mô hình thường chỉ có hai hoặc ba lớp. Các mô hình AI khác thường sử dụng toán học dày đặc và có hàng trăm lớp mạng thần kinh.

Lịch sử của Graph Neural Networks

Một bài báo năm 2009 của các nhà nghiên cứu ở Ý là bài báo đầu tiên đặt tên cho Graph Neural Networks. Nhưng phải mất 8 năm trước khi hai nhà nghiên cứu ở Amsterdam thể hiện sức mạnh của họ bằng một biến thể mà họ gọi là mạng tích chập đồ thị (GCN), một trong những GNN phổ biến nhất hiện nay.

Công trình GCN đã truyền cảm hứng cho Leskovec và hai sinh viên tốt nghiệp Stanford của anh ấy tạo ra GraphSage, một GNN chỉ ra những cách thức mới mà chức năng truyền tin nhắn có thể hoạt động. Anh ấy đã thử nghiệm nó vào mùa hè năm 2017 tại Pinterest, nơi anh ấy từng là nhà khoa học chính.

Họ đã triển khai ra PinSage, là một hệ thống đề xuất có 3 tỷ nút và 18 tỷ cạnh để vượt trội hơn các mô hình AI khác vào thời điểm đó.

Pinterest áp dụng nó ngày hôm nay trên hơn 100 trường hợp sử dụng trên toàn công ty. “Nếu không có GNN, Pinterest sẽ không hấp dẫn như ngày nay,” Andrew Zhai, kỹ sư máy học cao cấp của công ty, phát biểu trên một hội thảo trực tuyến.

Trong khi đó, các biến thể và kết hợp khác đã xuất hiện, bao gồm các mạng biểu đồ lặp lại và mạng chú ý biểu đồ. GAT mượn cơ chế chú ý được xác định trong các mô hình máy biến áp để giúp GNN tập trung vào các phần của bộ dữ liệu được quan tâm nhiều nhất.

Mở rộng mạng lưới thần kinh đồ thị

Nhìn về tương lai phía trước, GNN cần mở rộng theo mọi chiều.

Các tổ chức chưa duy trì cơ sở dữ liệu đồ thị cần các công cụ để giảm bớt công việc tạo các cấu trúc dữ liệu phức tạp này.

Những người sử dụng cơ sở dữ liệu đồ thị biết rằng trong một số trường hợp, họ đang phát triển để có hàng nghìn tính năng được nhúng trên một nút hoặc một cạnh. Điều đó đặt ra những thách thức trong việc tải các bộ dữ liệu khổng lồ một cách hiệu quả từ các hệ thống con lưu trữ qua mạng đến bộ xử lý.

Eaton cho biết: “Chúng tôi đang cung cấp các sản phẩm tối đa hóa bộ nhớ, băng thông tính toán và thông lượng của các hệ thống được tăng tốc để giải quyết các vấn đề về tải và mở rộng dữ liệu này.

Là một phần của công việc đó, NVIDIA đã thông báo tại GTC rằng họ hiện đang hỗ trợ PyTorch Geometric (PyG) bên cạnh Thư viện đồ thị sâu (DGL). Đây là hai trong số các khung phần mềm GNN phổ biến nhất.

Bộ chứa DGL và PyG được NVIDIA tối ưu hóa được điều chỉnh hiệu suất và thử nghiệm cho GPU NVIDIA. Chúng cung cấp một nơi dễ dàng để bắt đầu phát triển các ứng dụng sử dụng GNN.

Các ứng dụng của Graph Neural Networks

Dữ liệu có cấu trúc đồ thị hiện diện ở khắp mọi nơi. Đồ thị là một cấu trúc dữ liệu phổ biến để lưu trữ, phân tích và biểu diễn thông tin cũng như tìm các mẫu trong dữ liệu mà nếu không thì có thể không phát hiện được.

Ứng dụng của GNN:

• Phân loại nút liên quan đến việc xác định cách ghi nhãn của các mẫu bằng cách xem nhãn của chúng và nhãn của các mẫu lân cận. Những vấn đề này thường được đào tạo bán giám sát, chỉ với một phần của biểu đồ được dán nhãn.
• Phân cụm đồ thị đề cập đến việc phân cụm dữ liệu dưới dạng biểu đồ. Phân cụm đỉnh tìm cách phân cụm các nút thành các nhóm gồm các vùng được kết nối dày đặc dựa trên trọng số cạnh hoặc cạnh. Hình thức thứ hai của phân cụm đồ thị coi đồ thị là các đối tượng được phân cụm và các cụm này dựa trên sự giống nhau.
• Phân loại biểu đồ là một công nghệ quan trọng để phân loại hình ảnh, hệ thống đề xuất, NLP và phân tích mạng xã hội.
• Trực quan hóa đồ thị là một lĩnh vực toán học và khoa học máy tính tại giao điểm của lý thuyết đồ thị hình học và trực quan hóa thông tin. Nó liên quan đến việc trình bày trực quan các biểu đồ cho thấy các cấu trúc và sự bất thường có thể có trong dữ liệu và giúp người dùng hiểu các biểu đồ.
• Dự đoán liên kết là một nhiệm vụ quan trọng trong các mạng xã hội, nơi cần suy ra các tương tác xã hội giữa các thực thể hoặc giới thiệu những người bạn có thể cho người dùng. Nó cũng đã được sử dụng trong các vấn đề về hệ thống gợi ý và dự đoán các hiệp hội tội phạm.

Graph Neural Networks trong thị giác máy tính

Graph Neural Networks là một công cụ mới mạnh mẽ trong thị giác máy tính và các ứng dụng của chúng đang phát triển hàng ngày.

Chúng có thể được áp dụng cho các vấn đề phân loại hình ảnh, đặc biệt là những vấn đề vẫn còn cần nhiều sự phát triển để máy móc có trực giác trực quan của con người.

Trong một vấn đề như vậy, tạo biểu đồ cảnh, mô hình nhằm phân tích một hình ảnh thành một biểu đồ ngữ nghĩa bao gồm các đối tượng và các mối quan hệ ngữ nghĩa của chúng. Đưa ra một hình ảnh, các mô hình tạo biểu đồ cảnh phát hiện và nhận dạng các đối tượng và dự đoán mối quan hệ ngữ nghĩa giữa các cặp đối tượng.

Graph Neural Networks là một trong những công cụ máy tính hiện đại và đang trên đà phát triển mạnh mẽ. GNNs giúp trực quan hóa đồ thị, trình bày các dữ liệu một cách dễ hiểu hơn và cũng đem lại nhiều lợi ích khác.

Bùi Bích Hạnh