Makine öğrenimi yöntemleri ile modelleme sonucu elde edilen sonuçların daha yorumlanabilir ve açıklanabilir olması amacıyla bazı yöntemlere ihtiyaç duyulmuştur. Bu gereksinimlere dayalı olarak açıklanabilir yapay zekâ kavramı ortaya atılmıştır. Açıklanabilir yapay zekâ modelleme sonucu elde edilen sonuçların daha anlaşılabilir ve açıklanabilir olması amacıyla her bir gözlem için çıktı ve girdi değişkenleri arasındaki ilişkileri ortaya koyarak modelin daha anlaşılabilir olması için geliştirilen yöntemler bütünüdür. Sağlık alanında hastalığı teşhis etmek için sınıflandırma modellerinin kullanımı, büyük ölçüde oluşturulan modellerin araştırıcı tarafından yorumlanabilmesine ve açıklanabilmesine bağlıdır. Sağlık alanında oluşturulan yapay zekâ modellerinin açıklanabilirliğini artırmanın birçok farklı yolu vardır ve değişken önemliliği bunlardan biridir. Bu amaçla kullanılan açıklanabilir yapay zekâ yöntemleri, belirli bir sınıflandırma için hastaya özel bir açıklama sağlar, böylece herhangi bir karmaşık sınıflandırıcının klinik ortamda daha basit bir şekilde açıklanmasına olanak tanır. Açıklanabilir yapay zekâ yazılımı kullanıcıların kolay ve hızlı bir şekilde kod yazmayı gerektirmeden hastalıklara ilişkin tahmin modellerini oluşturmalarına olanak sağlar. Ayrıca elde edilen modellerin klinik yorumlanabilirliğini arttırmak için açıklanabilir yapay zekâ yöntemlerini kombine eder.