https://www.sowwn.dev/Hoang-Son Vo2026-07-24T23:53:21.542Zhttps://github.com/jpmonette/feedHoang-Son Vohoangson.vothanh@gmail.comhttps://www.sowwn.devHi guys 👋🏻, I am Sho, an AI Engineer/AI Researcher from Vietnam working on Computer Vision, Medical Image Analysis, and Brain-Computer Interaction. I love Artificial Intelligence and I would like to share my passion with you. Follow me and waiting something in the future 🫶🏻.https://www.sowwn.dev/favicon.svgAll rights reserved 2026, Hoang-Son Vo<![CDATA[IUI-Instruction]]>https://www.sowwn.dev/iui-ins2025-09-29T17:00:00.000Z
]]><![CDATA[ATL-Diff: Audio-Driven Talking Head Generation using Early Landmark Guide Noise Diffusion.]]>https://www.sowwn.dev/pub-atl-diff2024-12-04T17:00:00.000Z
Audio-driven talking head generation presents significant challenges in creating realistic facial animations that accurately synchronize with audio signals. This paper introduces ATL-Diff, a novel approach that addresses key limitations in existing methods through an innovative three-component framework. The Landmark Generation Module supports to construction a sequence of landmarks from audio. Landmarks Guide Noise is the approach adds movement information by distributing the noise following landmarks so it isolates audio from the model. 3D Identity Diffusion network to preserve keep the identity characteristics. Experimental validation on the MEAD and CREMA-D datasets demonstrates the method’s superior performance. ATL-Diff significantly outperforms state-of-the-art techniques across all critical metrics. The approach achieves near real-time processing capabilities, generating high-quality facial animations with exceptional computational efficiency and remarkable preservation of individual facial nuances. By bridging audio signals and facial movements with unprecedented precision, this research advances talking head generation technologies with promising applications in virtual assistants, education, medical communication, and emerging digital platforms.
Overview Architecture:
Overview of the proposed method: The model consists of three components: the Landmarks Generation Module, the Landmarks Guide Noise approach, and 3D Identity Diffusion. Snowflake symbols indicate pre-trained models that will not be updated during training, while fire symbols represent models that will undergo training.
Qualitative results:
Qualitative comparisons with the state-of-the-art including We show two examples with source audio in CREMA dataset, the Identity samples we used are respectively 1101 and 1083. The red box is the weakness of the previous method when having limitations to build fine details in the eye area, and the blue box is our method that can reconstruct in detail the movement of the mouth.
Ours results on real data out of dataset. We collect images on the internet. First row are the origin images, second row are the images after preprocessing. Three last rows are our results on these data. (* free license from Unsplash and Pinterest)
]]><![CDATA[Image Super-Resolution -Tăng cường độ phân giải hình ảnh với AI]]>https://www.sowwn.dev/blog-imageSR2024-09-18T17:00:00.000Z
Trong thời đại công nghệ số, việc xử lý và cải thiện chất lượng hình ảnh đã trở thành một thách thức lớn trong nhiều lĩnh vực từ y tế, giám sát cho đến truyền thông. Trong bài viết này, chúng ta sẽ tìm hiểu về một kỹ thuật đặc biệt có tên Image Super Resolution (ISR) và mình sẽ giới thiệu một ứng dụng demo mà mình đã làm, cách bạn tham khảo và sử dụng vào các đồ án môn học. Đặc biệt, đồ án này dành riêng cho các sinh viên ngành AI, giúp các bạn tiếp cận với những công nghệ tiên tiến một cách trực quan và dễ hiểu.
1. Image Super Resolution (SR) là gì?
Image Super Resolution (ISR) là quá trình tăng cường độ phân giải của hình ảnh, từ một bức ảnh có độ phân giải thấp (Low Resolution) lên một bức ảnh với độ phân giải cao (High Resolution). Quá trình này không chỉ đơn thuần là phóng to hình ảnh mà còn phải duy trì được độ sắc nét và chi tiết của nó. Nhờ các kỹ thuật machine learning và deep learning, chúng ta có thể tạo ra những hình ảnh chất lượng cao từ những bức ảnh mờ nhạt hoặc kém chi tiết.
Ứng dụng của ISR:
Y tế: Cải thiện hình ảnh chụp cắt lớp hoặc MRI để hỗ trợ bác sĩ trong việc chẩn đoán.
Giám sát: Nâng cao chất lượng video từ camera an ninh giúp nhận dạng khuôn mặt hoặc các chi tiết quan trọng.
Đồ họa và phim ảnh: Tăng chất lượng hình ảnh, video phục vụ cho hậu kỳ trong các dự án truyền thông và giải trí.
2. Giới thiệu về project và repository
Đây là một dự án mình đã làm lúc tham gia nghiên cứu khoa học sinh viên, mình đã xây dựng một ứng dụng web đơn giản để tăng cường độ phân giải hình ảnh bằng cách sử dụng các công cụ như Dash và OpenCV. Ứng dụng cho phép người dùng tải lên hình ảnh có độ phân giải thấp và trả lại phiên bản có độ phân giải cao hơn.
Xây dựng một ứng dụng web cho phép người dùng trải nghiệm trực tiếp kỹ thuật ISR.
Ứng dụng đơn giản, dễ sử dụng, giúp sinh viên có cái nhìn thực tế về cách machine learning có thể được áp dụng để xử lý hình ảnh.
Công cụ và thư viện sử dụng:
Dash: Để xây dựng giao diện web.
OpenCV và PIL: Để xử lý hình ảnh.
TensorFlow hoặc PyTorch: Nếu bạn sử dụng mô hình deep learning để thực hiện ISR.
3. Thuật toán và mô hình
Các mô hình phổ biến cho Image Super Resolution:
SRCNN (Super-Resolution Convolutional Neural Network): Đây là một trong những mô hình đầu tiên áp dụng deep learning cho ISR.
VDSR (Very Deep Super Resolution): Tăng cường hiệu quả bằng cách sử dụng mạng neural sâu hơn.
EDSR (Enhanced Deep Super-Resolution): Cải tiến từ VDSR, giúp cải thiện chất lượng và chi tiết hình ảnh.
SRGAN (Super-Resolution Generative Adversarial Network): Sử dụng GAN để tạo ra những hình ảnh có độ phân giải cao với độ sắc nét và chi tiết tốt hơn.
Trong dự án này, bạn có thể bắt đầu với một mô hình cơ bản như SRCNN hoặc VDSR, hoặc thậm chí thử nghiệm với ESRGAN nếu muốn tìm hiểu sâu hơn.
Để hiểu rõ hơn về những thuật toán này mọi người có thể tìm hiểu tại bài viết này.
4. Ứng dụng minh họa
Ứng dụng web của bạn cho phép người dùng tải lên hình ảnh có độ phân giải thấp và nhận lại phiên bản cải tiến. Giao diện đơn giản nhưng trực quan sẽ giúp mọi người dễ dàng sử dụng.
Hướng dẫn sử dụng:
Tải hình ảnh lên: Người dùng chọn một bức ảnh từ máy tính của họ.
Xử lý hình ảnh: Ứng dụng sẽ sử dụng mô hình ISR để cải thiện độ phân giải của hình ảnh.
Nhận kết quả: Kết quả sẽ được hiển thị ngay trên trang web với độ phân giải cao hơn.
5. Hướng dẫn chạy ứng dụng
Sinh viên có thể dễ dàng cài đặt và chạy ứng dụng này trên máy tính của mình bằng cách làm theo các bước sau:
Bước 1: Clone repo từ GitHub
Bước 2: Cài đặt các thư viện cần thiết
Bước 3: Chạy ứng dụng
Bước 4: Truy cập ứng dụng
Mở trình duyệt và truy cập http://localhost:8050/ để sử dụng ứng dụng web.
6. Mở rộng và cải tiến
Dự án này là một bước khởi đầu để bạn làm quen với ISR. Dưới đây là một số ý tưởng để bạn có thể mở rộng:
Sử dụng các mô hình tiên tiến hơn: Thử nghiệm với ESRGAN để tạo ra hình ảnh có chất lượng tốt hơn.
Cải thiện giao diện: Tạo giao diện đẹp và thân thiện hơn cho người dùng.
Tối ưu hóa tốc độ: Giảm thời gian xử lý hình ảnh bằng cách sử dụng phần cứng tốt hơn hoặc tối ưu hóa mã nguồn.
7. Tài liệu tham khảo
Để hiểu rõ hơn về các kỹ thuật và mô hình trong ISR, bạn có thể tham khảo các tài liệu sau:
Hy vọng bài viết này sẽ giúp bạn dễ dàng triển khai và giới thiệu project Image Super Resolution của mình đến cộng đồng sinh viên và người dùng quan tâm đến AI. Chúc bạn thành công!
]]><![CDATA[Diffusion model là gì?]]>https://www.sowwn.dev/blog-diffusion12024-07-16T17:00:00.000Z
Mô hình tạo sinh (Generate model) hiện nay đang rất được quan tâm không chỉ riêng trong ngành Trí tuệ nhân tạo. Một trong những tiêu biểu của mô hình tạo sinh là mô hình Diffusion, là nền tảng của các công nghệ như Stable Diffusion, Dall-E, hay Midjourney.
Trong bài viết này, tôi sẽ trình bày cách về cơ bản của mô hình Diffusion.
1. Giới thiệu
Trước đây, khi nói đến những mô hình có khả năng tạo sinh trong lĩnh vực thị giác máy tính chúng ta luôn nói về GANs và VAEs. Trong đó, GAN đã cho thấy độ hiểu quả của mình trong nhiều ứng dụng, tuy nhiên, nó lại rất khó để huấn luyện (training) và kết quả cũng chưa thật sự phong phú. VAE, một mô hình có nền tảng lý thuyết rất vững chắc nhưng việc mô hình hóa một hàm mất mát (loss function) tốt lại là một thử thách khiên cho đầu ra của VAE không thực sự tốt.
Các nhà nghiên cứu đã lấy ý tưởng từ hiện tượng vật lý là học tập cách phân rã vào các môi trường nhiễu (Ví dụ: Liquid Diffusion), vì thế mô hình này có tên là Diffusion. Các nhà nghiên cứu sẽ cố gắng xây dựng một mô hình có thể tìm hiểu được sự phân rã thông tin do nhiễu và đảo ngược quy trình gây nhiễu sẽ thu được kết quả mong muốn. Khái niệm này khá tương tự với VAE, tuy nhiên thay vì tìm hiểu cách phân phối dữ liệu, hệ thống này sẽ nhắm đến việc mô hình hóa phân phối nhiễu của môi trường bằng mô hình Markov Chain và giải mã (decodes) dữ liệu bằng việc khử nhiễu (denoising) theo từng cấp nhỏ.
2. Khử nhiễu trong mô hình Diffusion
Ý tưởng về mô hình khử nhiễu đã có từ lâu. Nó có nguồn gốc từ khái niệm Diffusion Maps, một trong những kỹ thuật giảm kích thước được sử dụng trong tài liệu Máy học (machine learning). Nó cũng mượn các khái niệm từ các phương pháp xác suất như Markov Chain đã được sử dụng trong nhiều ứng dụng. Phương pháp khuếch tán khử nhiễu ban đầu được đề xuất trong Sohl-Dickstein et al. [1].
Mô hình khử nhiễu là một quá trình gồm hai bước: quá trình khuếch tán thuận và quá trình ngược lại hoặc tái thiết. Trong quá trình khuếch tán (forward), nhiễu gaussian được đưa vào lần lượt cho đến khi dữ liệu trở thành nhiễu hoàn toàn. Quá trình đảo ngược (backward) sẽ loại bỏ nhiễu bằng cách tìm hiểu mật độ xác suất có điều kiện bằng mô hình mạng nơ-ron. Một ví dụ mô tả quá trình như vậy có thể được minh họa trong Hình 1.
Hình 1. Quá trình khử nhiễu của mô hình Diffusion. (Medium)
3. Khuếch tán (Forward).
Quá trình khuếch tán hướng về trước có thể được định nghĩa chính thức như một chuỗi Markov. Do đó, không giống như bộ mã hóa trong các mô hình tự mã hóa biến đổi (VAE), nó không yêu cầu đào tạo. Bắt đầu với điểm dữ liệu ban đầu, chúng ta thêm nhiễu Gaussian trong bước liên tiếp và thu được một tập các mẫu nhiễu. Dự đoán mật độ xác suất tại thời điểm chỉ phụ thuộc vào người tiền nhiệm trực tiếp tại thời điểm và do đó, mật độ xác suất có điều kiện có thể được tính như sau:
Phân phối đầy đủ của toàn bộ quá trình sau đó có thể được tính như sau:
Ở đây, giá trị trung bình và phương sai của hàm mật độ phụ thuộc vào một tham số βₜ, là một siêu tham số có giá trị có thể được lấy như một hằng số trong suốt quá trình hoặc có thể thay đổi dần dần theo các bước khuếch tán. Đối với việc gán giá trị tham số khác biệt, có thể có một loạt các hàm có thể được sử dụng để mô hình hóa hành vi (ví dụ: sigmoid, tanh, tuyến tính, v.v.).
Phép dẫn xuất trên là đủ để dự đoán các trạng thái liên tiếp, tuy nhiên, nếu chúng ta muốn lấy mẫu tại bất kỳ khoảng thời gian t nào mà không cần thông qua tất cả các bước trung gian, do đó, cho phép lấy mẫu hiệu quả, thì chúng ta có thể xây dựng phương trình trên bằng cách thay thế siêu tham số αₜ = 1 - βₜ. Công thức của phương trình trên sau đó trở thành:
Để tạo ra các mẫu tại một bước thời gian t với ước tính mật độ xác suất có sẵn tại thời điểm t-1, chúng ta có thể sử dụng một khái niệm khác từ cơ học thống kê gọi là 'động lực Langevin'. Theo 'động lực Langevin', chúng ta có thể lấy mẫu các trạng thái mới của hệ thống chỉ bằng gradient của hàm mật độ trong một Chuỗi Markov không đổi. Quá trình lấy mẫu một điểm dữ liệu mới tại thời điểm t cho một kích thước bước ε dựa trên điểm trước đó tại thời điểm t-1 có thể được tính như sau:
]]><![CDATA[Prompt Engineering for GPT #1: Prompt Engineering là gì?]]>https://www.sowwn.dev/blog-prompt12023-08-31T17:00:00.000Z
Introduction.
OpenAI ChatGPT hay Google Bard là những mô hình ngôn ngữ lớn (LLMs) đã và đang được sử dụng rất nhiều trong cuộc sống của con người hiện nay. Tuy nhiên, phần lớn người dùng chỉ sử dụng các mô hình này ở một mức độ rất cơ bản, như sử dụng để trả lời các câu hỏi hay hỗ trợ trong việc viết văn… 🥹
Một sự thật là LLMs có thể làm hơn thế, chúng ta có thể sử dụng chúng để giải quyết các bài toán cụ thể trong lĩnh vực Machine Learning hay NLP một cách dễ dàng. Để làm được điều này, chúng ta cần phải xây dựng một phương pháp để tương tác với mô hình LLM và cách làm đó được gọi là Prompt engineering.
Trước tiên, để tối ưu được sức mạnh của Prompt Engineering, bạn cần biết đến việc sử dụng API của OpenAI hoặc Google. Tuy nhiên, bạn vẫn có thể sử dụng ChatGPT hoặc Bard để thử nghiệm độ hiệu quả của phương pháp này 🥳.
Basic prompt.
Như chúng ta đã biết 😊, LLM có thể dễ dàng trả lời hoặc hoàn thành các câu hỏi mà bạn đưa ra.
Ví dụ:
Đây là điển hình của việc tương tác với các mô hình LLMs. Cú pháp của chúng ta sẽ là:
Yêu cầu, mong muốn của chúng ta (Instructions)
Câu hỏi dành cho mô hình. (Questions)
Từ đó chúng ta có rút ra được một cú phát tương tác đầu tiên như sau:
Cách tương tác với dạng này được gọi là Zero-shot, tức là người dùng chỉ hỏi đơn thuần và không có bất kỳ ví dụ hoặc minh họa nào về nhiệm vụ bạn muốn nó đạt được. Với cách làm này, mô hình đôi khi không thể hiểu được hết yêu cầu của bạn.
Few-shot prompting
Để khắc phục điều đó, chúng ta có thể thêm các ví dụ về câu trả lời để mô hình có thể theo dõi và trả lời tương tự. Với cách làm này, bạn hãy thêm các cặp “câu hỏi” - ”câu trả lời” cho mô hình.
Ví dụ:
Thật tuyệt đúng không, câu trả lời đã khác so với ban đầu. Mô hình đã mô tả màu sắc của bầu trời cùng với bối cảnh của không gian, tương tự như những câu mà chúng ta cho làm ví dụ.
Cú phát của Few-shot prompting như sau:
Hãy thử dùng các phương pháp này để giải quyết các bài toàn đặc biệt hơn xem sao?
Ví dụ: Text Classification
Kết quả nhìn chung là đúng yêu cầu, tuy nhiên đây là bài toán phân lớp và để tránh khó khăn trong việc xử lý kết quả, liệu có cách nào để mô hình trả lại kết quả là một chữ “chó” hoặc “gà” không?
Hãy thử phương pháp few-shot xem sao
Kết quả vẫn không như mong đợi nhỉ?
Vậy liệu chúng ta có thể đề xuất cấu trúc của output hay không?
Great 🥳 🥳. Đã đúng như mong đợi rồi nhỉ.
Overall of prompting.
Các ví dụ trên chỉ là những ví dụ tôi đặc ra để các bạn có góc nhìn khách quan hơn về sức mạnh cũng như cách tương tác với các mô hình LLM.
Qua quá trình thực nghiệm, là ứng dụng vào thực tế. Các kỹ sư đã đề xuất một cấu trúc rất cụ thể cho toàn bộ quá trình tương tác với mô hình LLM.
Cấu trúc của một câu prompt tốt sẽ có các thành phần như sau:
Instruction - một nhiệm vụ hoặc hướng dẫn cụ thể mà bạn muốn mô hình thực hiện
Context - thông tin bên ngoài hoặc bối cảnh bổ sung có thể giúp mô hình phản hồi tốt hơn
Input Data - thông tin đầu vào hoặc câu hỏi mà chúng ta quan tâm để tìm câu trả lời cho
Output Indicator - loại hoặc định dạng của đầu ra.
Example - các ví dụ minh hoạ
Bạn không cần tất cả bốn thành phần cho lời nhắc và định dạng tùy thuộc vào nhiệm vụ hiện tại. Chúng tôi sẽ đề cập đến các ví dụ cụ thể hơn trong các hướng dẫn sắp tới.
To be continue
]]><![CDATA[3D-DDA: 3D Dual-Domain Attention for Brain Tumor Segmentation ]]>https://www.sowwn.dev/pub-dualdomain2023-08-31T17:00:00.000Z
Grad-cam visualization of the encoding feature map at three axes in DynUnet with/without 3D-DDA
Abstract
Accurate brain tumor segmentation plays an essential role in the diagnosis process. However, there are challenges due to the variety of tumors in low contrast, morphology, location, annotation bias, and imbalance among tumor regions. This work proposes a novel 3D dual-domain attention module to learn local and global information in spatial and context domains from encoding feature maps in Unet. Our attention module generates refined feature maps from the enlarged reception field at every stage by attention mechanisms and residual learning to focus on complex tumor regions. Our experiments on BraTS 2018 have demonstrated superior performance compared to existing state-of-the-art methods
Method
3D Dual-domain Attention attached into DynUnet backbone at four stages
]]><![CDATA[Khóa luận tốt nghiệp: Phân đoạn ung thư não sử dụng các phương pháp học sâu]]>https://www.sowwn.dev/pub-bachelorthesis2023-06-13T17:00:00.000Z
Ung thư não, cụ thể là ung thư thần kinh đệm là một loại ung thư ác tính, phát triển nhanh và rất kháng thuốc. Cách điều trị tốt nhất loại ung thư này là phẫu thuật cắt bỏ tối đa khối ung thư. Hình ảnh chụp cộng hưởng từ là phương pháp thu nhận hình ảnh tốt nhất cho quá trình phân tích và chẩn đoán khối u. Để hỗ trợ việc phân tích khối ung thư, các phương pháp dựa trên học sâu đã và đang được áp dụng. Luận văn này sẽ trình bày tổng quát về vấn đề hiện nay của bài toán phân đoạn khối u thần kinh đệm, các tiến bộ gần đây trong học sâu đã chứng minh sự thành công trong các bài toán ứng dụng lĩnh vực y học, đặc biệt là nhận dạng ung thư. Luận văn đề xuất mô hình 3D Dual-Domain Attention dựa trên cơ chế Attention để nhận dạng khối u chính xác hơn, dựa trên sự kết hợp giữa ngữ cảnh và miền không gian. Bên cạnh đó, luận văn còn đề xuất phương pháp kết hợp nhiều mô hình với mạng 3D Dual-Fusion Attention. Phương pháp này sẽ tăng cường chất lượng kết quả bằng cách tổng hợp thông tin chung toàn cục và thông tin cục bộ của những feature maps được trích xuất từ các mô hình. Ngoài ra trong luận văn này còn phát triển một ứng dụng trên nền tảng 3D Slicer giúp người dùng có thể dễ dàng sử dụng các phương pháp của tôi.
Giới thiệu
U thần kinh đệm là một là một trong những bệnh ung thư ác tính và rất khó để loại bỏ. Nó được hình thành từ các tế bào thần kinh đệm, một loại tế bào trong não bộ và tuỷ sống có nhiệm vụ nhận và truyền các tín hiệu. Hình 1.1 thể hiện u thần kinh đệm phát triển lan rộng vào các phần bình thường của não gây ra các triệu chứng đau đầu, động kinh, yếu cơ, các vấn đề trí nhớ, tư duy, …
U thần kinh đệm và phát hiện thông qua chụp cộng hưởng từ
Hơn thế nữa, u thần kinh đệm là loại ung thư chiếm 50% tỉ lệ các loại ung thư não và bệnh nhân thường có thời gian sống trung bình từ 14-15 tháng sau khi được chẩn đoán mắc bệnh [2]. Bao bọc quanh khối ung thư là rất nhiều mạch máu được gọi là các hàng rào mạch máu não (blood-brain tumor barrier), những hàng rào này cản lại phần lớn các chất xạ trị [3]. Phương pháp điều trị hiệu quả nhất cho loại ung thư này là loại phẫu thuật loại bỏ tối đa khối u [4] càng sớm càng tốt thông qua ảnh chụp cắt lớp (CT) và chụp cộng hưởng từ (MRI). Tuy nhiên, việc phân tích và chẩn đoán ung thư thần kinh đệm đòi hỏi rất nhiều thời gian, công sức của các bác sĩ, cũng như dễ bị sai sót. Do đó, nhiều nghiên cứu khoa học được tiến hành với mục đích giải quyết bài toán phân đoạn u thần kinh đệm bằng hình ảnh MRI [6-7]. Với sự phát triển nhanh chóng của các mạng học sâu, hiệu quả của bài toán phân đoạn u thần kinh đệm ngày càng được cải thiện và có các bước đột phá lớn [8].
Vì vậy, vấn đề cần giải quyết trong luận văn là chẩn đoán u thần kinh đệm thông qua phân đoạn khối ảnh MRI từ nhiều nguồn phương thức chụp MRI như trong Hình 1.2 áp dụng các kỹ thuật học sâu. Dữ liệu đầu vào là các ảnh MRI ứng với các phương thức chụp khác nhau đã được chuẩn hóa về cùng một trục tọa độ (image registration). Kết quả mong muốn là dự đoán từng voxel trong khối MRI đâu là phần bình thường (normal), đâu là tồn tại khối u, trong đó có 3 loại khối u theo tiến triển gồm toàn bộ khối u (whole tumor), lõi khối u (tumor core), khối ngấm thuốc (enhancing tumor).
Trong những chương tiếp theo, luận văn này phát triển một mô hình sử dụng cơ chế Attention để giải quyết những vấn đề về ngữ cảnh của khối ung thư. Đối với phương pháp này luận văn sẽ đề xuất một module Attention song miền sử dụng phương pháp Residual learning và có thể tích hợp vào mô hình mạng DynUNet [18] đề góp phần tăng cường hiệu suất. Module này sẽ trích xuất thông tin từ miền không gian và miền nội dung của dữ liệu sau đó có thể kết hợp thông tin từ hai miền để giúp tăng cường hiệu quả của cả mô hình. Hơn thế nữa, luận văn này phát triển một mô hình có thể kết hợp hai mô hình cơ bản. Mô hình này sẽ sử dụng phương pháp Fusion, cơ chế tự chú ý (Self-Attention) và phương pháp Residual learning. Mô hình này sẽ giúp kết hợp hai feature maps được trích xuất từ hai mô hình cơ bản. Cơ chế tự chú ý sẽ tạo dựng mặt nạ đặc trưng chung, điều này sẽ giúp làm nổi bật những thông tin toàn cục. cuối cùng khối dạng residual learning sẽ làm nhiêm vụ tổng hợp các thông tin miền cục bộ từ các đặc trưng riêng biệt. Vì thế kết quả của phương pháp này có thể nhấn mạnh các thông tin chung của 2 feature maps đầu vào mà không bỏ qua các thông tin riêng biệt.
Mạng 3D Dual-Domain Attention
Giới thiệu
Trong chương này, chúng tôi đề xuất một module 3D Dual-Domain Attention mới (DDA3D) được hiển thị tại Hình 3.2. Module được gắn vào trong các giai đoạn mã hóa của đường trục DynNet để học những thông tin toàn cục và cục bộ bằng phương pháp học tập chú ý dư [44]. Điểm nổi bật của DDA3D là xây dựng khối miền không gian S và khối giải mã D trên trục chính của mô hình gốc để tập trung vào các chi tiết cục bộ từ voxel-to-voxel. Ngược lại, khối ngữ cảnh C có nhiều lớp sâu hơn để học thông tin toàn cầu bằng một trường tiếp nhận lớn. Khối Dual-Domain Fusion dựa trên [45] sẽ hợp nhất thông tin của hai miền với độ phân giải không gian và kích thước kênh khác nhau. Hình 3.1 là hình ảnh grad-cam cho thấy feature maps sau khi được mã hóa khi sử dụng và không sử dụng 3D-DDA trên DynUNet cho thấy feature maps mã hóa sử dụng 3D-DDA có trường tiếp nhận lớn hơn trên các vùng khối u so với trường hợp không sử dụng 3D-DDA.
Những đóng góp chính của chương này như sau: (1) 3D Dual-Domainn Attention tinh chỉnh feature maps đầu vào sau đó tinh chỉnh bằng cách kết hợp thông tin cục bộ và toàn cục, (2) áp dụng phương pháp Residual Learning để có thể hợp nhất các chi tiết phong phú trong miền không gian với các trường tiếp nhận lớn hơn trong miền ngữ cảnh, (3) các thử nghiệm của chúng tôi trên BraTS 2018 đạt được hiệu suất tốt so với các phương pháp hiện tại.
Phương pháp đề xuất
Module 3D Dual-Domain Attention (b) được gắn vào giai đoạn encoder của mạng DynUNet (a).
Kết quả
Gradcam thể hiện phân vùng được mô hình tập trung vào khi dùng và không dùng 3D-DDA
Method
Year
Dice score
ㅤ
ㅤ
WT
TC
ET
Brugger et al. [48]
2019
0,91
0,86
0,81
Nuechterlein et al. [49]
2019
0,85
0,78
0,67
Zhou et al. [50]
2020
0,86
0,77
0,74
GLF-Net [13]
2020
0,893
LGMSU-Net [11]
2022
0,8735
Ours method
0,9135
0,8677
0,8069
Bảng so sánh kết quả với những phương pháp hiện nay
Mạng 3D Dual-Fusion Attention
Phương pháp 3D Dual-Domain Attention của chúng tôi đã có những kết quả rất tốt trong việc phân đoạn khối u thần kinh đệm. Tiếp theo, trong chương này hướng tiếp theo mà chúng tôi hướng đến là sử dụng phương pháp Fusion. Để tận dụng tính năng bổ trợ lẫn nhau từ các feature maps đã được trích xuất.
Giới thiệu
Hiện nay để giải quyết những bài toán liên quan đến hình ảnh y học, các nhà nghiên cứu thường có xu hướng sử dụng các phương pháp Fusion (Fusion method) [15]. Cách riêng với bài toán phân đoạn u thần kinh đệm cũng đã có những phương pháp áp dụng phương pháp Fusion và đã có những kết quả rất tốt như [15–17]. Các phương pháp Fusion thường gặp nhất bao gồm 3 loại là early fusion, late fusion và joint-early fusion như Hình 4.1. Tuy nhiên, những phương pháp Fusion cơ bản khó có thể trích xuất được những thông tin cấp cao từ các feature maps.
Vì thế trong chương này, chúng tôi sẽ đề xuất một mạng 3D Dual-Fusion Attention bằng cách sử dụng phương pháp Fusion, cơ chế Attention và phương pháp Residual Learning để có thể trích xuất được các thông tin tương hỗ giữa 2 feature maps ban đầu. Trong đó, phương pháp kết hợp sẽ làm nhiệm vụ tổng hợp thông tin từ 2 miền khối này sẽ được gọi là Khối Early Fusion. Sau đó một khối sử dụng cơ chế Attention học thông tin chung, khối này sẽ được gọi là khối Global Fusion Attention. Cuối cùng là một khối sử dụng phương pháp Residual Learning để học những thông tin riêng lẽ để giảm thiểu sự hao hụt dữ liệu.
Phương pháp đề xuất
Tổng quan Mạng 3D Dual-Fusion Attention
Kết quả
Kết quả dự đoán được trên từng mô hình bao gồm early-fusion, joint-fusion và our method
Validation set
Year
ㅤ
Dice
ㅤ
ㅤ
ㅤ
WT
TC
ET
Zhang et al.[51]
2021
0,903
0,836
0,791
Zhou et al. [52]
2022
0,876
0,784
0,688
Akbar et al. [53]
2022
0,8959
0,7977
0,7771
Ours
0,9064
0,8449
0,7832
Bảng so sánh kết quả với những phương pháp gần đây
[Accepted] Nhu-Tai Do, Hoang-Son Vo-Thanh, Tram-Tran Nguyen-Quynh, and
Soo-Hyung Kim, “3D-DDA: 3D Dual-Domain Attention for brain tumor
segmentation”, in 2023 IEEE International Conference on Image Processing
(ICIP), IEEE, 2023
[Accepted] Hoang-Son Vo-Thanh, Tram-Tran Nguyen-Quynh, Nhu-Tai Do, and
Soo-Hyung Kim, “3D Dual-Fusion Attention Network: A fusion attention
network for Brain Tumor Segmentation,” in ASK 2023 : Annual Spring
Conference of KIPS, pp. 496–498, 2023.
In my graduate thesis we was proposed 2 methode for 3D Brain Tumor Segmentation(BTS) problem.
3D Dual-Domain Attention Network: We was develop a module using Attention Mechanism can combine 2 level information of the feature… Read more
3D Dual-Fusion Attention Network: We introduce a new way of fusion 2 trained model for BTS. Using fusion method, Self-Attention and Residual Learning. Read more
Demo Application
My app is an Extension of 3D Slicer. So you need to installed this app first. You also need all of trained models to using in my extention. Download here.
How to install.
Clone this repository.
Import independent python module
Open Python Console
Add trained module into Extension.
Copy the path of the trained folder
Replace the path at the “trained_path” variable in the file TumorSeg.py
Import module:
Modules —> Developer Tools —> Extension Wizard
Select Extension —> Choose clone folder —> Open
Now you can see my Extension in Module list
How to use:
If you like that, please Star my repo 🌟 And if you want to support let's follow my GitHub 🎆
Our results predict comparison with traditional fusion methods
Abtract
Brain tumor segmentation problem has challenges in the tumor diversity of location, imbalance, and morphology. Attention mechanisms have recently been used widely to tackle medical segmentation problems efficiently by focusing on essential regions. In contrast, the fusion approaches enhance performance by merging mutual benefits from many models. In this study, we proposed a 3D dual fusion attention network to combine the advantages of fusion approaches and attention mechanisms by residual self-attention and local blocks. Compared to fusion approaches and related works, our proposed method has shown promising results on the BraTS 2018 dataset.
.png?table=block&id=ef0f90b7-f010-42c5-a066-22b83e3dcec5&cache=v2)
