Vina Technology at AI time - Công nghệ Việt Nam thời AI Lê Quang Văn

The Coming AI Hackers - Part 1

Bruce Schneier. Schneier Security.

Belfer Center for Science and International Affairs, Harvard Kennedy School, April 2021.

Introduction

Artificial intelligence—AI—is an information technology. It consists of software. It runs on computers. And it is already deeply embedded into our social fabric, both in ways we understand and in ways we don’t. It will hack our society to a degree and effect unlike anything that’s come before. I mean this in two very different ways. One, AI systems will be used to hack us. And two, AI systems will themselves become hackers: finding vulnerabilities in all sorts of social, economic, and political systems, and then exploiting them at an unprecedented speed, scale, and scope. It’s not just a difference in degree; it’s a difference in kind. We risk a future of AI systems hacking other AI systems, with humans being little more than collateral damage.

This isn’t hyperbole. Okay, maybe it’s a bit of hyperbole, but none of this requires far-future science-fiction technology. I’m not postulating any “singularity,” where the AI-learning feedback loop becomes so fast that it outstrips human understanding. I’m not assuming intelligent androids like Data (Star Trek), R2-D2 (Star Wars), or Marvin the Paranoid Android (The Hitchhiker’s Guide to the Galaxy). My scenarios don’t require evil intent on the part of anyone. We don’t need malicious AI systems like Skynet (Terminator) or the Agents (Matrix). Some of the hacks I will discuss don’t even require major research breakthroughs. They’ll improve as AI techniques get more sophisticated, but we can see hints of them in operation today. This hacking will come naturally, as AIs become more advanced at learning, understanding, and problem-solving.

In this essay, I will talk about the implications of AI hackers. First, I will generalize “hacking” to include economic, social, and political systems—and also our brains. Next, I will describe how AI systems will be used to hack us. Then, I will explain how AIs will hack the economic, social, and political systems that comprise society. Finally, I will discuss the implications of a world of AI hackers, and point towards possible defenses. It’s not all as bleak as it might sound.

Hacks and Hacking

First, a definition:

Definition: Hack (noun)

1. A clever, unintended exploitation of a system which: a) subverts the rules or norms of that system, b) at the expense of some other part of that system.

2. Something that a system allows, but that is unintended and unanticipated by its designers.1

Notice the details. Hacking is not cheating. It’s following the rules, but subverting their intent. It’s unintended. It’s an exploitation. It’s “gaming the system.” Caper movies are filled with hacks. MacGyver was a hacker. Hacks are clever, but not the same as innovations. And, yes, it’s a subjective definition.2

Systems tend to be optimized for specific outcomes. Hacking is the pursuit of another outcome, often at the expense of the original optimization Systems tend be rigid. Systems limit what we can do and invariably, some of us want to do something else. So we hack. Not everyone, of course. Everyone isn’t a hacker. But enough of us are.

Hacking is normally thought of something you can do to computers. But hacks can be perpetrated on any system of rules—including the tax code.

The tax code isn’t software. It doesn’t run on a computer. But you can still think of it as “code” in the computer sense of the term. It’s a series of algorithms that takes an input—financial information for the year—and produces an output: the amount of tax owed. It’s deterministic, or at least it’s supposed to be.

All computer software contains defects, commonly called bugs. These are mistakes: mistakes in specification, mistakes in programming, mistakes that occur somewhere in the process of creating the software. It might seem

Các tin tặc (hacker) AI tương lai – Phần 1

Bruce Schneier. Bảo mật Schneier.

Trung tâm Khoa học và Quan hệ Quốc tế Belfer, Trường Harvard Kennedy. Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

Giới thiệu

Trí tuệ nhân tạo - AI - là một công nghệ thông tin. Nó bao gồm phần mềm. Nó chạy trên máy tính. Nó đã ăn sâu vào kết cấu xã hội của chúng ta, cả theo những cách chúng ta hiểu và theo những cách chúng ta không hiểu. Nó sẽ hack xã hội của chúng ta ở một mức độ và hiệu quả

giống như bất cứ điều gì xảy ra trước đây. Tôi muốn nói điều này theo hai cách rất khác nhau. Một, hệ thống AI sẽ được sử dụng để hack chúng ta. Và hai, các hệ thống AI sẽ tự trở thành tin tặc: tìm lỗ hổng trong tất cả các loại hệ thống xã hội, kinh tế và chính trị, sau đó khai thác chúng với tốc độ, quy mô và phạm vi chưa từng có. Nó không chỉ là sự khác biệt về mức độ; Đó là một sự khác biệt về hiện vật. Chúng ta có nguy cơ một tương lai của các hệ thống AI hack các hệ thống AI khác, với con người chỉ là thiệt hại tài sản thế chấp. [Cụm từ này gợi ý rằng trong một tương lai nơi các hệ thống AI tham gia hack lẫn nhau, con người có thể bị tổn hại hoặc chịu hậu quả, nhưng nó sẽ được coi là tương đối không đáng kể so với mối quan tâm chính của xung đột giữa các hệ thống AI.]

Đây không phải là cường điệu. Tuy vậy, có thể đó là một chút cường điệu, nhưng không điều nào trong số này đòi hỏi công nghệ khoa học viễn tưởng trong tương lai xa. Tôi không đưa ra bất kỳ "điểm kỳ dị" nào, nơi vòng phản hồi học tập AI trở nên nhanh đến mức nó vượt xa sự hiểu biết của con người. Tôi không giả định các android thông minh như Data (trong Star Trek), R2-D2 (trong Star Wars) hoặc Marvin the Paranoid Android (trong The Hitchhiker's Guide to the Galaxy). Kịch bản của tôi không đòi hỏi ý định xấu xa từ phía bất cứ ai. Chúng ta không cần các hệ thống AI độc hại như Skynet (trong Kẻ hủy diệt) hoặc Đặc vụ (trong Ma trận). Một số hack tôi sẽ thảo luận thậm chí không đòi hỏi những đột phá nghiên cứu lớn. Chúng sẽ được cải thiện khi các kỹ thuật AI trở nên tinh vi hơn, nhưng chúng ta có thể thấy gợi ý về chúng trong hoạt động ngày nay. Việc hack này sẽ đến một cách tự nhiên, khi AI trở nên tiên tiến hơn trong việc học, hiểu và giải quyết vấn đề.

Trong bài tiểu luận này, tôi sẽ nói về ý nghĩa của tin tặc AI. Đầu tiên, tôi sẽ khái quát hóa "hacking" để bao gồm các hệ thống kinh tế, xã hội và chính trị - và cả bộ não của chúng ta. Tiếp theo, tôi sẽ mô tả cách các hệ thống AI sẽ được sử dụng để hack chúng ta. Sau đó, tôi sẽ giải thích cách AI sẽ hack các hệ thống kinh tế, xã hội và chính trị bao gồm xã hội. Cuối cùng, tôi sẽ thảo luận về ý nghĩa của một thế giới tin tặc AI và chỉ ra những biện pháp phòng thủ có thể. Nó không phải là tất cả đều ảm đạm như nó có vẻ.

Hack và hack

Đầu tiên, một định nghĩa:

Định nghĩa: Hack (danh từ)

1. Khai thác một hệ thống một cách khôn ngoan, ngoài ý muốn, để: a) phá vỡ các quy tắc hoặc chuẩn mực của hệ thống đó, và b) gây thiệt hại cho một số phần khác của hệ thống đó.

2. Một cái gì đó mà một hệ thống cho phép, nh

Why Wall Street is transfixed by a BofA banker's untimely death

Reed Alexander and Emmalyse Brownstein. Business Insider. May 7, 2024.

• An investment banker at Bank of America died Thursday, sending shockwaves across Wall Street.

• The Army veteran died after closing a deal, sparking questions about the bank's working conditions.

• Current and former BofA junior bankers told BI that 100-hour-plus weeks weren't unusual.

The untimely death of a 35-year-old Bank of America associate has sparked a conversation across Wall Street over working conditions.

You won't be charged until May 05, 2025. Cancel anytime.

Leo Lukenas III, an Army veteran turned investment banker, died Thursday, leaving behind a wife and two children. Lukenas, who was a Green Beret in the Army Special Forces, died of "acute coronary artery thrombus," which causes blood to clot in the heart, Reuters confirmed with the New York City Office of Chief Medical Examiner. He left military service and joined BofA last year to "pursue new opportunities for his family," an online fundraiser says.

While the coroner's report did not establish a connection between his death and work, chatter has nonetheless ignited among members of the investment-banking community about the industry's onerous demands for junior bankers working on live deals — including at Bank of America.

Inside BofA, the death has prompted a swift, concerned reaction and a raft of questions, particularly among the junior ranks, according to current and former investment bankers who spoke with Business Insider.

"I think what we all would want is some acknowledgment about what happened, and at least not completely dismiss the fact that it could have been work-related," said a junior banker at BofA who was granted anonymity since they were not authorized to speak with reporters about Lukenas' death but whose identity is known to BI. "And to at least just start having those conversations as to how they can make junior bankers work life much better because it's been long overdue. And I believe that, if anything, it's gotten worse."

At BofA, 100-hour-plus weeks logged by junior bankers aren't unusual, said current and former employees who questioned whether the firm's system for flagging excessive work was effective.

"It's hard as a junior to push back," an investment-banking analyst who departed the firm last year said. "You don't have the ability as an associate or analyst to tell your MD, 'Hey, I'm tired. Can we pick this up tomorrow?'"

A representative for BofA declined to comment on those workers' specific claims. In an emailed statement on Tuesday, the spokesperson said: "We are very saddened by the loss of our teammate. We continue to focus on doing whatever we can to support the family and our team, especially those who worked closely with him."

Lukenas recently worked on a $2 billion deal

Investment banking is a notoriously grueling profession, and young bankers have repeatedly complained about burnout and pressure over the years. In 2021, a group of investment-banking analysts at Goldman Sachs kicked off a flurry of pay raises after a report they had prepared for their bosses about working long hours leaked online. In 2013, an intern at Bank of America in London died after working for three days in a row until 6 a.m., a blog post from that time said.

Lukenas — who joined the bank last summer and was a member of its financial-institutions group, which handles transactions for financial companies — had been part of a team working on UMB's $2 billion all-stock acquisition of Heartland Financial USA, announced in late April. A spokesperson for UMB did not respond to a request for comment on Tuesday about Lukenas' death.

Within BofA, Lukenas' team had developed a reputation for being particularly demanding, the current banker said. This person also said that recent departures of junior bankers, including from the financial-institutions and the industrials groups, left those

Phố Wall bị chấn động bởi cái chết không đúng lúc của một chủ ngân hàng Mỹ (BofA)

Reed Alexander và Emmalyse Brownstein. Business Insider. Ngày 7 tháng 5 năm 2024. Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

• Một nhân viên ngân hàng đầu tư tại Ngân hàng Mỹ đã qua đời hôm thứ Năm, gây chấn động khắp Phố Wall.

• Cựu chiến binh quân đội đã chết sau khi chốt một thỏa thuận, làm dấy lên câu hỏi về điều kiện làm việc của ngân hàng.

• Các nhân viên ngân hàng cấp dưới hiện tại và trước đây của BofA nói với BI rằng hơn 100 giờ mỗi tuần không phải là bất thường.

Cái chết đột ngột của một cộng tác viên 35 tuổi của Ngân hàng Mỹ đã làm dấy lên một cuộc trò chuyện trên khắp Phố Wall về điều kiện làm việc.

Leo Lukenas III, một cựu chiến binh quân đội trở thành chủ ngân hàng đầu tư, đã qua đời hôm thứ Năm, để lại một người vợ và hai đứa con. Lukenas, người từng là lính mũ nồi xanh trong Lực lượng Đặc biệt Quân đội, đã chết vì "huyết khối động mạch vành cấp tính", khiến máu đông lại trong tim, Reuters xác nhận với Văn phòng Giám định Y khoa Thành phố New York. Anh rời nghĩa vụ quân sự và gia nhập BofA vào năm ngoái để "theo đuổi những cơ hội mới cho gia đình", một người gây quỹ trực tuyến cho biết.

Mặc dù báo cáo của nhân viên điều tra không thiết lập mối liên hệ giữa cái chết và công việc của anh ta, nhưng cuộc trò chuyện vẫn bùng lên giữa các thành viên của cộng đồng ngân hàng đầu tư về nhu cầu khắt khe của ngành đối với các nhân viên ngân hàng cơ sở làm việc trên các giao dịch trực tiếp - bao gồm cả tại Ngân hàng Mỹ.

Bên trong Ngân hàng Mỹ, cái chết đã gây ra phản ứng nhanh chóng, lo ngại và một loạt câu hỏi, đặc biệt là trong hàng ngũ cấp dưới, theo các chủ ngân hàng đầu tư hiện tại và trước đây đã nói chuyện với Business Insider.

"Tôi nghĩ rằng tất cả chúng ta đều muốn là một sự thừa nhận nào đó về những gì đã xảy ra, và ít nhất là không hoàn toàn bác bỏ thực tế rằng nó có thể liên quan đến công việc", một nhân viên ngân hàng cấp dưới tại Ngân hàng Mỹ, người được giấu tên vì họ không được phép nói chuyện với các phóng viên về cái chết của Lukenas nhưng BI biết danh tính. Và ít nhất chỉ cần bắt đầu có những cuộc trò chuyện đó về cách họ có thể làm cho các nhân viên ngân hàng cấp dưới làm việc tốt hơn nhiều vì nó đã quá hạn từ lâu. Và tôi tin rằng, nếu có bất cứ điều gì, nó sẽ trở nên tồi tệ hơn."

Tại Ngân hàng Mỹ, hơn 100 giờ mỗi tuần được ghi lại bởi các nhân viên ngân hàng cấp dưới không phải là bất thường, các nhân viên hiện tại và cựu nhân viên đặt câu hỏi liệu hệ thống gắn cờ làm việc quá mức của công ty có hiệu quả hay không.

"Thật khó để đẩy lùi với tư cách là một người cấp dưới", một nhà phân tích ngân hàng đầu tư đã rời công ty vào năm ngoái cho biết. "Bạn không có khả năng như một cộng sự hoặc nhà phân tích để nói với bác sĩ của bạn, 'Này, tôi mệt mỏi. Ngày mai chúng ta có thể lấy cái này không?"

Một đại diện của Ngân hàng Mỹ từ chối bình luận về những tuyên bố cụ thể của những công nhân đó. Trong một tuyên bố gửi qua email hôm thứ Ba, n

Dẫn đầu trong một thế giới nơi AI nắm giữ sức mạnh của riêng mình – Phần 3

Các hệ thống mới có thể tự học và đưa ra các phán đoán phức tạp. Các nhà lãnh đạo cần hiểu các tác nhân "tự động" này và cách làm việc với chúng.

Jeremy Heimans và Henry Timms. Từ Tạp chí (Tháng Giêng–Tháng Hai 2024). Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

Thay đổi động lực quyền lực

Autosapience (phẩm chất của sự khôn ngoan hoặc có trí tuệ) sẽ xác định lại các khía cạnh cốt lõi của cuộc sống hàng ngày, nền kinh tế và xã hội của chúng ta, giống như sự chuyển đổi từ quyền lực cũ sang quyền lực mới đã làm trong hai thập kỷ qua. Hiểu được quyền lực sẽ hoạt động như thế nào ở cấp độ vĩ mô là điều cần thiết cho các nhà lãnh đạo, trong các tổ chức mà nhiều sự thay đổi sẽ diễn ra. [Thay đổi động lực quyền lực" đề cập đến những thay đổi trong phân phối, cân bằng và thực thi quyền lực trong một hệ thống, xã hội hoặc tổ chức. Trong bối cảnh này, nó cho thấy rằng sự ra đời của autosapience, hoặc trí tuệ nhân tạo tiên tiến có khả năng ra quyết định độc lập, sẽ dẫn đến những thay đổi đáng kể trong các cấu trúc và cơ chế cơ bản mà qua đó quyền lực hoạt động. Nó ngụ ý rằng khi autosapience trở nên phổ biến và có ảnh hưởng hơn, nó sẽ định hình lại các khía cạnh khác nhau của cuộc sống hàng ngày, nền kinh tế và xã hội. Những thay đổi này có thể bao gồm sự thay đổi về thẩm quyền, ảnh hưởng, kiểm soát tài nguyên và quy trình ra quyết định.]

Ý tưởng và thông tin phân phối như thế nào.

Trong thế giới quyền lực cũ, thông tin được phân phối từ một số ít đến nhiều bởi một số ít những người thủ đắc thông tin mạnh mẽ. Sức mạnh mới nảy sinh khi khả năng sản xuất và chia sẻ nội dung được phân cấp và đặt vào tay hàng tỷ người, tạo ra một khoản phí bảo hiểm khổng lồ cho các ý tưởng và thông tin (và thông tin sai lệch) lan truyền theo chiều ngang thay vì từ trên xuống. Những người chiến thắng lớn trong thế giới này là các nền tảng công nghệ thu hút dữ liệu và sự chú ý của chúng tôi.

Giờ đây, chúng ta có nguy cơ tái tập trung hóa luồng thông tin và ý tưởng, phần lớn là do việc lọc và tổng hợp các vai trò mà kỹ thuật số được hỗ trợ bởi AI sẽ đóng vai trò quan trọng. Nó sẽ tóm tắt hộp thư đến của chúng ta, sắp xếp cuộc sống kỹ thuật số của chúng ta và cung cấp cho chúng ta các câu trả lời được đóng gói thanh lịch, phù hợp và có thẩm quyền cho nhiều câu hỏi mà chúng ta đã từng dựa vào các công cụ tìm kiếm hoặc phương tiện truyền thông xã hội, làm cho tài liệu nguồn gốc mà các công cụ khai thác này ít cần thiết hơn và ít hiển thị hơn nhiều. Một số lượng rất nhỏ các công ty (và có lẽ các quốc gia) có khả năng kiểm soát "mô hình cơ sở" cho các giao diện này. Điều nguy hiểm là mỗi chúng ta cuối cùng sẽ được cung cấp thông tin thông qua một kênh nhận thức ngày càng hẹp (thiển cận và thành kiến). Đối mặt với điều này, các nhà lãnh đạo và tổ chức phải làm việc để trau dồi một loạt các quan điểm, cố gắng chống lại sự xác nhận và các thành kiến khác, và tránh phụ thuộc quá mức vào bất kỳ

Estados Unidos y China todavía pueden cooperar

Joseph S. Nye, Jr.. Project Syndicate. May 6, 2024

Durante su reciente visita a Beijing para estabilizar la relación con China, el secretario de Estado de los Estados Unidos Antony Blinken discutió con el presidente chino Xi Jinping muchos temas polémicos. Por ejemplo, advirtió a China que no provea materiales o tecnología a Rusia para ayudarla en su guerra contra Ucrania, y cuestionó los reclamos territoriales en el Mar Meridional de China y el hostigamiento a Filipinas (aliado de Estados Unidos). También hubo disputas por la interpretación de la política estadounidense de «una sola China» en lo referido a Taiwán y por los controles comerciales y de exportación al flujo de tecnología de Estados Unidos a China.

Yo estuve en Beijing más o menos por las mismas fechas para presidir un «diálogo paralelo» sinoestadounidense, un foro en el que ciudadanos que tienen contacto con sus respectivos gobiernos pueden encontrarse y expresar opiniones a título personal. Por ser extraoficiales y fácilmente negables, a veces estas conversaciones pueden ser más francas. Es lo que sucedió en esta reunión entre una delegación del Grupo Estratégico de Aspen y enviados de la influyente Escuela Central del Partido Comunista de China en Beijing (el sexto encuentro de este tipo mantenido por ambas instituciones en la última década).

Como era de esperar, los estadounidenses reforzaron el mensaje de Blinken sobre los temas polémicos, y los chinos repitieron las posiciones de su gobierno. Como advirtió un general chino retirado: «la cuestión central de nuestras cuestiones centrales es Taiwán».

Pero el diálogo se puso más interesante cuando empezamos a hablar de posibles áreas de cooperación. El hecho de que Estados Unidos haya pasado de una política de vinculación con China a una estrategia de competencia entre grandes potencias no impide la cooperación en algunas áreas. Para enmarcar la discusión, usamos como analogía un partido de fútbol: dos equipos luchan ferozmente, pero patean la pelota (no a los otros jugadores) y se espera que todos respeten las líneas blancas.

Cambiando de metáfora, algunos de los representantes chinos manifestaron su preocupación por el énfasis estadounidense en poner «barreras de protección»; temían que fuera como poner cinturón de seguridad en un coche y alentar el exceso de velocidad. Pero la mayoría coincidió en la importancia de evitar un choque; y con ese objetivo, identificamos siete áreas de cooperación posibles.

La primera y más evidente es el cambio climático, que amenaza a ambos países. Aunque China sigue construyendo centrales termoeléctricas impulsadas por carbón, también aceleró la adopción de fuentes de energía renovables; y asegura que sus emisiones de dióxido de carbono tocarán su punto máximo en 2030 y que alcanzará la neutralidad de carbono en 2060. Nuestra exhortación en tal sentido fue que se agilice el cronograma y se lleven adelante intercambios científicos.

La segunda cuestión es la salud pública mundial. Los científicos dicen que la pregunta no es si habrá otra pandemia, sino cuándo. Ambos gobiernos tuvieron una respuesta deficiente a la COVID‑19, y el resultado fue la muerte de millones de personas. Pero en vez de ponernos a repartir culpas, sugerimos estudiar de qué manera la cooperación científica entre ambas partes ayudó a frenar el SARS en 2003 y el ébola en 2014, y qué aplicación podrían tener esas enseñanzas en el futuro.

En la cuestión de las armas nucleares, los chinos defendieron su veloz acumulación de arsenales, señalando que los misiles balísticos intercontinentales son más precisos, y que la vulnerabilidad de los submarinos puede poner en riesgo su capacidad para responder a un eventual ataque. Repitieron su objeción habitual contra adoptar controles de armas mientras no tengan un arsenal a la altura de los de Estados Unidos y Rusia. Pero