What Is Explainable Artificial Intelligence?

Cập nhật thông tin chi tiết về What Is Explainable Artificial Intelligence? mới nhất ngày 23/10/2020 trên website Zdungk.com. Hy vọng nội dung bài viết sẽ đáp ứng được nhu cầu của bạn, chúng tôi sẽ thường xuyên cập nhật mới nội dung để bạn nhận được thông tin nhanh chóng và chính xác nhất. Cho đến thời điểm hiện tại, bài viết này đã đạt được 4,653 lượt xem.

This article is part of Demystifying AI, a series of posts that (try to) disambiguate the jargon and myths surrounding AI.

If your bank declines your loan application, the person who made the decision must be able to provide an explanation of the process and information that led to the rejection. But we are increasingly entrusting our decisions to artificial intelligence algorithms, and in many cases, we don’t know how those algorithms function.

The difficulty in interpting AI-based decisions has become an aggravating concern, especially as AI finds a prominent role in critical domains such as medicine, law enforcement, banking and transportation. The lack of visibility into how AI algorithms work raise challenges, especially in fields where wrong decisions can cause irreparable harm or where regulations legally allow inpiduals to challenge automated decisions and require decision-makers to provide explanations for their actions.

Known as the ” AI black box,” the problem has spurred several scientists, startups and companies to find ways to create explainable artificial intelligence, AI that explains its decisions or is open to investigation.

Why is it hard to interpt AI decisions?

Firstly, artificial intelligence is a loaded term and encompasses a lot of different technologies, and not all of its subsets suffer from the black box problem. What we’re specifically concerned with is deep learning and neural networks, a branch of AI that has become very popular in the past few years.

Neural networks are software constructs named after the human brain functionality-though we know that they are fundamentally different from the way the human mind works. Unlike traditional software, where human programmers meticulously write all the rules of an application, neural networks and deep learning algorithms are given relevant sets of data and left to create their own rules. The most basic way to train a neural network is to feed it with a set of labeled examples, a process called “supervised learning.” It then finds common patterns and correlations between those examples and uses that information to categorize unlabeled examples.

For instance, when you give a neural network a million labeled pictures of different cat species, it runs those images through layers upon layers of artificial neurons and “learns” what are the common traits of cat pictures. It will then be able to spot cats in new pictures it has never seen before. This is an approach that is extremely effective in tasks that are hard to define with classic rules, such as image classification and voice recognition.

However, since neural networks effectively create their own rules, we can’t know for sure the details of their inner workings. For instance, both a human and a neural network might say the animals in the following picture are cats, but not for the same reasons.

Humans will tell you that cats have pointy ears, triangular noses, whiskers, furry tails… A neural network has no understanding of the different body parts of a cat. It can only tell with a high level of confidence that these pictures contain cats because the structure and color of their pixels resembles the millions of cat pictures it has pviously seen.

This is the basic reason why neural networks are opaque. They are black boxes that receive inputs and produce outputs without giving explanations. This is all fine while everything works perfectly. But things can turn problematic when mistakes happen-and mistakes do happen.

Why is explainable AI important?

The human mind is not perfect, a fact that everyone agrees on. We make mistakes all the time, but we can explain the logic behind those mistakes. For instance, a human might mistake a person from someone else and say that from that specific angle, the facial features along with the physical stature made them make the erroneous distinction.

Like humans, neural networks make mistakes. But because of their underlying differences, their mistakes are dramatically different from those of humans, and we can’t know how they fail. For instance, they might mistake a turtle for a rifle, a cat for guacamole or a panda for a gibbon. What makes this significant is that no human would make the same mistake, and that is because as pviously mentioned, our visual system is fundamentally different. This means that, without being able to interpt the way AI algorithms work, we have no way to anticipate how the AI black box will fail.

Unexpected mistakes can range from annoying (bad results in image search) to embarrassing (labeling dark-skinned people as gorillas) to harmful (an autonomous vehicle crashing into a tractor-trailer because of AI failure).

All of these accidental and intentional mistakes will remain under a shroud of mystery so long as we don’t have ways to explain and investigate decisions made by artificial intelligence.

The legal requirements of explainable AI

Aside from the mishaps, the use of non-explainable AI psents challenges in domains that explicitly require all decisions to be retraceable. An example is law, where the defendant should be able to challenge the decision made by the court. If judges use automated software based on neural networks to pass judgement-even if they use software as a guide for suggestions-they should be able to explain the motives and facts behind their decision.

Other areas include medicine, where doctors should be able to investigate and cross-examine any therapy and treatment suggestion that a deep learning algorithm might suggest. In loan application and banking (mentioned at the beginning of the article), an applicant whose request has been rejected is entitled to seeing the details of the process that led to their application being turned down.

There are also an increasing number of regulations that are restricting how companies and organizations make use of automated decisions, especially as data collection and mining practices by tech companies have been at the center at a number of widespad scandals.

One very important example is the European Union’s General Data Protection Rules (GDPR). The GDPR states: “The data subject shall have the right not to be subject to a decision based solely on automated processing.” The key here is the word “solely,” which means that if an organization wants to use automated decision-making (say for processing loan applications or employee salary adjustments), a human must examine and confirm the conclusions that an AI algorithm reaches before implementing them. But that person can only vet the automated decision if they can retrace the steps that led to it.

Another example is the New York City Council’s algorithmic accountability bill, which will require the validity and fairness of automated decisions to be verifiable. We are likely to see more of such regulations as deep learning and other AI techniques find their way into different aspects of our daily lives.

The different approaches to creating explainable AI

Explainable AI is still an evolving field and scientists are trying to find different ways to make neural networks interptable without compromising their performance. We have yet to see standards emerge, there are however several interesting initiatives that are aimed at creating explainable AI and keeping track of where the defining attributes for an automated decision come from.

Prominent among them is the Defense Advanced Research Projects Agency’s Explainable Artificial Intelligence project (XAI). DARPA, which is the research arm of the U.S. Defense Department, is exploring interptable AI as part of its drive to increase the use of automated tools in various areas of the military.

There are also a slate of AI startups and large tech companies that are working on the subject. As we have discussed in these pages, opening the lid of the black box will be a key component of enabling AI to take the next big leap.

While the specific approaches to explainable AI are a bit technically involved to discuss them here, from a high-level perspective, there are basically two ways to interpt AI decisions.

The first, which is the simpler and more achievable of the two, has to do with investigating AI decisions after they happen. For instance, this means that if a neural network wrongly classifies the image of desert dunes as nude pictures, the operators of the application should be able to investigate the error. There are already methods that allow this kind of post-decision investigation. Staying on the image classification example, when you give an input to a neural network, it usually returns a list of classes, each with a confidence score. Scientists can investigate how different parts of the image have influenced the decision of the neural network by making small changes to the input and observing how those changes affect the weights of the output classes.

Though effective, the first approach still doesn’t look inside the AI black box and is still tackling the issue from the outside. Also, there are instances where we want to know how an AI works before it makes a decision, not after.

The second approach to explainable AI, which is much more challenging, is creating mechanisms that can shed light on the inner workings of neural networks. This is crucial in areas where you want to investigate the potential vulnerabilities of a neural network (say the computer vision technology used in self-driving cars) before deploying it in the real world.

The problem is that neural networks are best optimized when they are left to create their own complex connections. As soon as you try to break down the complexity to help a human analyst to explore its mechanisms, you risk damaging its speed and efficiency.

This is an interesting area of research, with many efforts going into AI algorithms being able to self-explain their own decision-making processes. We have yet to see some notable results in this domain and we might still be a few years (or decades) away from AI algorithms that can explain their own inner-mechanisms.

Until then, we’ll have to p out how to create techniques that can bring more transparency, interptability and accountability to an industry that is becoming more relevant in every aspect of our lives.

Liên quan

Giải Vbt Vật Lý Lớp 6 - Xem 34,947

Giải bài tập môn Vật lý 6 Giải VBT Vật lý lớp 6 – Bài 8: Trọng lực – Đơn vị lực là tài liệu tham khảo môn Vật lý 6 hay dành cho các em học sinh, giúp các em ôn tập và củng cố kiến thức đã học ... Mặt Trăng luôn luôn bị Trái Đất hút. Nhưng Mặt Trăng không bị rơi vào Trái Đất. Vì lực hút chỉ có tác dụng làm Mặt Trăng quay tròn quanh Trái

Ethernet Switch Có Chức Năng Gì? - Xem 29,997

Ethernet Switch có chức năng gì? Switch là một thiết bị chọn lựa đường dẫn để gửi frame đến đích, hoạt động ở Lớp 2 của mô hình OSI. Đôi khi Switch còn được gọi là Bridge đa port hay Hub chuyển mạch. Switch quyết định chuyển frame dựa trên ... Switch bảo đảm cung cấp băng thông nhiều hơn cho người dùng bằng cách tạo ra các miền đụng độ nhỏ hơn. Switch chia nhỏ mạng LAN thành nhiều đoạn mạng (segment) nhỏ. Mỗi segment này là một kết nối riêng giống như một làn đường riêng 100

Oxit Axit Là Gì? Tính Chất Hóa Học Và Hướng Dẫn Bài Tập Oxit Axit - Xem 23,760

Oxit axit là các oxit khi tác dụng với nước sẽ tạo ra axit, tác dụng với kiềm tạo thành muối hóa học. Oxit axit thường là oxit của phi kim ứng với một axit hoặc kim loại có hóa trị cao. Vậy tính chất hóa học của oxit axit ... Oxit axit thường là oxit của phi kim ứng với một axit hoặc kim loại có hóa trị cao. Vậy tính chất hóa học của oxit axit là gì? Cách giải bài tập oxit axit tác dụng với bazo như thế nào? Cách gọi tên oxit axit Tên oxit axit: (Tên tiền tố chỉ số nguyên tử của phi kim) + Tên phi kim + (tên tiền tố chỉ số nguyên tử oxi) + ''Oxit'' Tính chất hóa học của oxit axit Trừ SiO 2 thì hầu hết các oxit axit

Drama Là Gì ? Ý Nghĩa Của Từ Drama Trên Facebook Là Gì? - Xem 21,285

Xã hội ngày càng phát triển kéo theo nhiều trào lưu xuất hiện, các thuật ngữ, ngôn từ mới lạ ngày càng nhiều trên các mạng. Những nội dung, các câu chuyện có tính chất kịch tính, gay cấn kéo dài luôn dành được sự quan tâm của các bạn ... Nhân vật chính trong câu chuyện đến bước đường cùng. Ví dụ như vụ câu chuyện nữ sinh chia tay bạn trai bị phát tán clip quan hệ trên mạng. Để lại hậu quả đó là nữ sinh không chịu nổi dư luận mà chọn kết thúc cuộc sống bằng cách tự

Đa Dạng Sinh Học Là Gì? Nguyên Nhân, Biện Pháp Hạn Chế Suy Giảm Đa Dạng Sinh Học - Xem 21,087

Đa dạng sinh học là sự phong phú của nhiều nhiều dạng, loài và các biến dị di truyền của mọi sinh vật trong đời sống tự nhiên, sự đa dạng và phong phú này được chia làm nhiều cấp độ tổ chức sinh giới đặc biệt là với các ... Hầu hết các chuyên gia đều cho rằng với nguyên nhân từ con người là do sự phá hủy đất để canh tác nông nghiệp cũng như gây xáo trộn trong việc nhập nội các loài đã tính đa dạng đồng thời còn săn bắn và giết thịt, việc loài người định cư cũng là một trong những nguyên nhân chính cho sự tuyệt chủng của những loài động vật và chim đã tồn tại từ nhiều năm trước đây! Tốc độ

Tb Là Gì Trên Facebook? - Xem 18,513

TB nghĩa là gì? TB là viết tắt của từ gì? TB là 1 từ viết tắt có rất nhiều nghĩa tiếng việt và tùy từng ngữ cảnh mà ta hiểu nó sẽ có nghĩa là gì, dưới đây là các nghĩa hay được sử dụng nhất của từ viết ... Đơn vị này cao cấp hơn Gigabyte - GB. 1 TB = 1024 GB 5 TB = 5120 GB 10 TB = 10240 GB Ví dụ: Bạn có ổ cứng dung lượng 2 TB tức là ổ cứng của bạn bằng 2048 GB Một bộ phim, thư mục, video có dung lượng 1TB tức là 1048 GB -phim HD dung lượng cao. Vậy nếu bạn thấy đứng đằng trước TB là 1 con số thì nó thường là viết tắt của cụm từ Terabyte TB trên Facebook nghĩa là gì? Đối với

Z Là Gì Trong Toán Học? - Xem 18,513

Bạn có từng nghe về tập hợp R trong toán học chưa? Hẳn là rất rất quen phải không? Dĩ nhiên rồi vì lớp 6 lớp 7 chúng ta được học cái này mà. Vậy Z là gì trong toán học nhỉ? “Tập hợp Z là tập hợp các số ... Tương tự như các tập hợp số khác, tập hợp Z cũng là một tập hợp vô hạn. Ví dụ về các bài toán sử dụng tập hợp z- (số nguyên) Trong toán học, các dạng bài tập về số nguyên thường rất đa dạng. Nhưng loại tập hợp này thường chỉ được ra điều kiện trong một bài toán khó. Hoặc ở các chương trình nhỏ hơn chẳng hạn toán lớp 6, số nguyên lại được sử dụng như một bài toán

Từ Hán Việt Là Gì? Các Từ Hán Việt Thường Gặp & Giải Nghĩa - Xem 17,622

Bài học hôm này các em sẽ làm quen với khái niệm từ Hán Việt là gì? các từ Hán Việt thường gặp và một số thông tin quan trọng về vai trò, cách nhận viết và ví dụ của từ Hán Việt. Kiến thức này nằm trong chương trinh ... Kiến thức này nằm trong chương trinh ngữ văn lớp 7 trung học cơ sở. Hãy đọc kiến thức bên dưới để hiểu hơn về bài học ngày hôm nay. Khái niệm từ Hán Việt Từ Hán Việt là gì? Từ Hán Việt là các từ ngữ trong tiếng Việt vay mượn, có nghĩa gốc từ tiếng Hán (Trung Quốc) nhưng được ghi bằng chữ cái La tinh. Về mặt âm thanh từ Hán Việt khi phát âm gần giống với tiếng Trung

Kimochi Yamate Là Gì? Ý Nghĩa Của I Cư Kimochi Yamete Trong Tiếng Nhật? - Xem 16,731

Kimochi Yamate hay i cư kimochi và i kư kimochi là những thuật ngữ, cụm từ được sử dụng khả phổ biến trong thời đại hiện nay. Nhưng bạn có thật sự hiểu được nghĩa của từ kimochi là gì? Ở bài viết dưới đây, Zdungk.com sẽ giải đáp toàn ... Mời các bạn cùng tham khảo. Kimochi là gì? Nhắc đến Kimochi thì hầu như ai cũng biết đây là âm thanh quen thuộc được nhắc đến tại xứ sở hoa anh đào - Nhật Bản. Và ở trong tiếng Nhật thì Kimochi là từ nghĩa mang hàm ý biểu đạt cảm xúc, tâm trạng thích thú của một người nói sau khi đã chứng kiến một sự vật hay hiện tượng nào đó. Còn trong tiếng Anh thì kimochi được hiểu đồng

Mã Zip Iphone Là Gì? - Xem 16,533

Zip Code (mã zip) là một trong những khái niệm không quá xa lạ đối với thế hệ trẻ. Chúng liên quan trực tiếp tới quy trình giao – Nhận bưu kiện khi mua sắm online hay đặt hàng thông qua các ứng dụng giao dịch trực tuyến. Không chỉ ... Do đó, trong quá trình đăng ký ID Apple hoặc xác minh thông tin thanh toán, các website chính thức của Apple đều yêu cầu người dùng phải cung cấp mã zip hoặc mã bưu điện trong khu vực. Không chỉ vậy, mã zip iPhone còn là thông tin cần thiết mà bạn phải điền vào khi kích hoạt thiết bị của mình ở lần sử dụng đầu tiên. Mã zip này sẽ giúp Apple quản lý tốt hơn thiết bị, đồng thời hỗ trợ

Đề xuất

Quản Lý Sản Xuất Là Gì - Xem 5,346

Quản lý sản xuất hiệu quả giúp doanh nghiệp có sự chủ động trong hoạt động SXKD của mình, giảm thiểu tối đa rủi ro, hạn chế được nhiều chi phí không đáng có. Bài viết cung cấp những kiến thức xoay quanh hoạt động quản lý sản xuất như: ... Dựa theo tiêu chí về chức năng, cơ cấu tổ chức quản lý sản xuất trong doanh nghiệp sẽ có một số bộ phận chính sau: - Bộ phận quản lý: thường là giám đốc sản xuất, trưởng phòng - phó phòng sản xuất. Đây là bộ phận đầu

Làm Quen Với Tính Năng Breakout Rooms (Chia Nhóm Trong Cuộc Họp) - Xem 5,049

Giới thiệu tính năng Cho phép chia ra 50 nhóm nhỏ trong một host. Số lượng thành viên trong mỗi host tối đa lên đến 200 thành viên (để host có thể chứa 200 thành viên cần mua thêm gói mở rộng 200 người) Mỗi nhóm được chia có đầy ... Người khác với tư cách thành viên tham gia cuộc họp không thể chủ động chia nhóm trong cuộc họp đó. Nếu muốn thành viên khác chia nhóm giúp bạn, bạn hãy cho phép họ trở thành co-host với bạn. Khi đó thành viên trở thành đồng chủ tọa và có

Kpop Là Gì? Fan Kpop Là Gì? Giải Đáp Thắc Mắc Về Dòng Nhạc Kpop - Xem 4,950

Số lượt đọc bài viết: 4.949 Kpop là viết tắt của từ tiếng anh Korean pop, tức là nhạc pop xuất xứ từ Hàn Quốc. Là một thể loại âm nhạc có nguồn gốc từ Hàn Quốc và đặc trưng bởi rất nhiều các yếu tố nghe nhìn trực quan. ... H.O.T xứng đáng được nhắc đến như nhóm nhạc xuất sắc nhất trong thế hệ đầu tiên của idol Kpop. Nhắc tới H.O.T là nhắc tới những cái đầu tiên. Họ là nhóm nhạc đầu tiên nhận được 7 giải daesang trong 1 năm, nhóm nhạc đầu tiên

Hàm Iferror Trong Excel, Công Thức Và Cách Dùng - Xem 6,237

Hàm IFERROR trong Excel thuộc hàm Excel cơ bản, hàm logic để trả về giá trị mong muốn khi điều kiện của hàm này cho kết quả lỗi. Trong khi chúng ta tính toán dữ liệu trong Excel thì việc lỗi khi thực hiện là điều không thể tránh khỏi. ... Còn với những ô nhập sai sẽ thay bằng thông báo như dưới đây. Như vậy hàm IFERROR trong Excel rất dễ sử dụng. Chúng ta chỉ cần nhập tên hàm rồi công thức tính và giá trị thay thế cho báo lỗi là được. Người dùng có thể nhập giá trị

Dịch Tên Tiếng Việt Sang Tiếng Anh Chính Xác Nhất - Xem 10,296

Dịch tên tiếng Việt sang tiếng Anh chính xác nhất Đã bao giờ bạn từng thắc mắc ý nghĩa của tên mình khi được dịch sang tiếng Anh là gì chưa? Việc dịch tên tiếng Việt sang tiếng Anh vừa cho bạn một cái nhìn đầy thú vị và mới ... Vì vậy mà một số tên tiếng Việt không được chúng tôi đề cập trong bài viết. Các bạn cũng có thể xem ý nghĩa tên của mình qua ngày tháng năm sinh TẠI ĐÂY. Nếu tên của bạn không có trong bài viết, hãy tham khảo thêm những cái tên

Bạn đang xem bài viết What Is Explainable Artificial Intelligence? trên website Zdungk.com. Hy vọng những thông tin mà chúng tôi đã chia sẻ là hữu ích với bạn. Nếu nội dung hay, ý nghĩa bạn hãy chia sẻ với bạn bè của mình và luôn theo dõi, ủng hộ chúng tôi để cập nhật những thông tin mới nhất. Chúc bạn một ngày tốt lành!