[KOR][30]AI-&-Cybersecurity--Dan-Boneh-Interviews

다시 오신 것을 환영합니다.

본 세션에서는 샘 알트먼(Sam Altman) 님을 특별 연사로 모셨습니다.

AI를 커리어 선택지로 삼는 것에 대해 강연해 주실 분은 Sam Altman입니다. Sam은 OpenAI의 founder이자 CEO입니다. OpenAI 이전에는 Y Combinator의 president였습니다. 그 이전에는 Loopt의 founder이자 CEO였으며, 그보다 앞서 Stanford에서 학생으로 재학했습니다.

스탠포드 강의에서 저는 학생들에게 어려운 문제들을 제시하곤 합니다. 그 오랜 가르침 속에서 샘은 유일하게 학부생으로서 제시된 문제들에 대해 novel research idea를 제시했던 학생입니다. 샘에 대해 말씀드리자면 그렇습니다. 샘, 환영합니다. 그리고 저희와 이야기 나눌 시간을 내주셔서 진심으로 감사합니다. 물론입니다.

이러한 기회를 얻게 되어 매우 기쁩니다.

훌륭합니다. 좋습니다.

논의할 질문이 많습니다.

그러면 바로 시작해 볼까요? 먼저 전반적인 분위기를 설정하기 위해 높은 수준의 질문으로 시작하고 싶습니다. 여러분의 생각으로는 AI 분야에서 사람들이 연구할 만한 가장 중요한 공개 질문은 무엇이라고 생각하십니까?

딥러닝의 놀라운 발전 가능성을 확인했지만, 아직 초기 단계에 있다고 생각합니다. 시스템은 매년 더욱 발전하고 있으며, 이러한 추세는 오랫동안 지속될 것입니다.

데이터 효율성은 여전히 큰 문제입니다. 인간과 딥러닝 시스템의 가장 큰 차이점 중 하나입니다. 사전 학습(pre-training)과 강화 학습(RL)을 분리하는 방식에서 새로운 발견의 여지가 있을 것으로 보입니다.

우리가 아직 모르는 것은 많습니다. 학습 가능한 알고리즘이라는 마법 같은 존재를 바탕으로, 더욱 인상적인 결과를 만들어내는 새로운 방법을 계속 찾고 있습니다. ChatGPT 출시 후 불과 2년 반이 지났지만, 초기 버전은 성능이 매우 낮았습니다.

따라서 발전 속도는 여전히 매우 빠르지만, 앞으로 해결해야 할 문제와 미지의 영역은 여전히 방대합니다. 과학적 발견을 자율적으로 수행할 시스템을 구축하는 데 필요한 것이 무엇인지는 아직 명확하지 않으며, 이를 실현하기까지는 많은 노력이 필요합니다.

많은 분들이 학습 데이터 부족 문제에 대해 이야기하고 있습니다. 이에 대한 더 많은 연구와 노력이 필요하다고 보시는지요?

이는 데이터 효율성 문제와 같은 의미입니다. 각 바이트의 데이터를 훨씬 더 많이 학습할 수 있다면, 데이터 부족에 직면하지 않을 것입니다.

우리는 어떻게 우리의 감각을 통해서 학습할 수 있는 것입니까?

이는 흥미로운 지점입니다. 시스템이 학습하는 방식과 인간의 학습 방식은 분명히, 적어도 어느 정도는 차이가 있습니다. 매우 다를 수도 있겠지요. 인간이 단 하나의 데이터 포인트에서 학습하는 능력은 매우 인상적입니다.

몇 가지 데이터 포인트만으로도 일반화가 가능합니다. 이 기술들은 어떤 이유에서인지 많은 데이터 포인트를 필요로 하며, 이를 통해 일반화합니다. 따라서 이를 정확히 어떻게 달성하는지에 대해 더 많은 연구가 필요할 것으로 예상됩니다. 흥미로운 점은, 우리가 인간의 능력을 단순히 모방하려는 것인지, 아니면 인간의 능력을 넘어서려는 것인지에 대한 질문이 제기된다는 것입니다.

이 시스템들은 이미 많은 면에서 인간의 능력을 넘어섰다고 생각합니다. 모든 면에서 그런 것은 아니지만, 특정 작업에 있어서는 분명히 초인적인 수준을 훨씬 뛰어넘고 있습니다.

AI의 목표는 인간을 만드는 것이 아닙니다. 이미 인간을 만드는 방법을 알고 있기 때문입니다. 중요한 것은 '무언가 다른 것'을 어떻게 만들 것인가입니다.

인류 문명의 본질은 축적된 지식과 도구의 연결망에 있습니다. 초지능은 특정 천재의 뇌가 아닌, 우리 모두가 함께 만들어온 기술 트리와 툴 체인으로 이루어진 비계(scaffolding)와 같습니다. 개인이 땅에서 원자재를 캐내 컴퓨터를 만드는 것은 불가능하지만, 사회는 집단적으로 이러한 경이로운 발전을 이룹니다.

과학적 발견과 물질 조작 등 놀라운 일들은 가능하며, AI 또한 이러한 외적 비계에 기여하는 또 다른 요소가 될 것입니다. AI가 새로운 물리학을 발견하고 인류가 이를 활용한다면, 이는 AI가 초지능으로 느껴질지, 아니면 비계가 더욱 높아진 것으로 인식될지는 알 수 없습니다. AI가 최초의 연구 논문을 작성하여 학술지에 발표될 날이 기다려집니다.

아마 그렇게 오래 걸리지는 않을 것입니다. 네, 정말 멋질 것 같습니다. 이제 주제를 조금 바꾸어, AI 분야에 해야 할 일이 훨씬 더 많다는 점을 분명히 하고 싶습니다. AI에 대해서는 우리가 이 여정의 시작점에 불과하다는 말씀으로 들립니다. 이 분야는 앞으로 극적으로 성장할 것이며, AI 분야에서 할 일이 부족할 것이라는 두려움은 전혀 없습니다. 따라서 학생들이 AI를 선택한다면, 할 일이 정말 많을 것입니다.

저의 개인적인 의견임을 밝히며, 스스로의 분야를 칭찬하는 사람을 비판적으로 받아들이셔야 함을 인지하고 있습니다. 하지만 현재로서는 컴퓨터 그래픽스(CG) 분야가 가장 유망한 분야라고 생각합니다.

네, 좋습니다. 바로 그 점을 여쭙고자 하였습니다. 컴퓨터 과학 분야 종사자들은 금융, 소비자 앱, 바이오테크, 교육 기술 등 매우 다양한 분야에서 일할 수 있습니다. CS 지식을 바탕으로 사회에 기여할 수 있는 기회가 많다는 말씀입니다.

이러한 상황에서 AI 회사나 스타트업의 제안과 금융, 바이오테크 회사 사이에서 진로를 고민하는 분들에게 어떤 조언을 해주시겠습니까? 혹은 어떤 분야로 나아가고 싶은지 어떻게 결정해야 할까요?

가장 하고 싶은 일을 우선적으로 하십시오. 흥미를 느끼는 사람들과 함께, 마음을 끄는 문제에 집중하십시오. 이는 일반적인 조언보다 더 중요합니다.

역사적으로 인류는 항상 소수의 핵심적인 과학적 지평을 넓혀왔습니다. 물리학, 생물학, 컴퓨터 과학, 인터넷 구축 등이 그랬습니다. 현재는 인공지능(AI)에 대한 지식, 이해, 적용을 확장하는 것이 가장 중요한 과제라고 생각합니다.

이는 현시대뿐만 아니라, 이 세대, 나아가 훨씬 긴 기간 동안 가장 중요한 흐름일 것입니다. 이러한 거대한 변화의 시기에 살며 일하게 된 것은 행운입니다.

저의 편향된 조언은, 당신에게 인생에서 가장 중요한 일을 할 기회가 있다는 것입니다. 이 기회를 꼭 잡으십시오.

현재는 AI가 핵심적으로 개발되는 매우 특별하고 고유한 시기입니다. 이러한 시대에 동참하지 않을 이유가 없습니다.

핵심 기술 개발이 진행되고 있으며, 이것이 다른 모든 것에 가장 큰 총체적 영향을 미칠 것입니다.

네, 그 말씀은 정말 일리가 있습니다. 따라서 저희 청중분들께서 여러 구직 제안을 평가하실 때, 당연히 개발을 선도하는 기업에 속하고 싶어 하신다는 점을 염두에 두시는 것이 합리적일 것입니다.

그렇게 생각합니다.

완전히 이해가 됩니다. 몇 년을 빠르게 건너뛰어 미래를 예측해 보겠습니다. 미래 예측은 항상 어렵지만, 질문해주신 대로 가정해보겠습니다. 5년, 10년, 혹은 20년 후에도 AI가 현재처럼 뜨거운 분야일 것이라고 생각하십니까? 아니면 어느 시점에 AI의 열기가 식고 다른 분야가 그 자리를 차지하게 될 것이라고 보십니까? 물론 언젠가는 다른 분야가 부상하겠지만, 그 시점이 언제쯤이 될지 궁금합니다.

세상은 이에 더욱 의존적이겠지만, 이미 너무 익숙해져 같은 방식으로 생각하지 않을 수도 있습니다. 2008년경 앱스토어 출시 당시를 기억합니다. 이후 몇 년간 모두 '모바일 우선'을 외치며 이야기했습니다.

저는 모바일 게임 개발사입니다.

10년 전 인터넷 붐 시대를 돌아보면, 모든 것이 닷컴(dot com) 열풍이었음을 알 수 있습니다. 당시 닷컴은 가장 뜨거운 것이었습니다. 각 분야에서 엄청난 관심과 집중을 받았지만, 곧 인터넷 기업이라는 말은 사라졌습니다. 인터넷 전략을 가진 모든 기업이 당연하게 여겨졌기 때문입니다.

이후 몇 년 지나 아이폰에 앱스토어가 출시되면서, 모바일 기업이라는 말도 더 이상 쓰이지 않게 되었습니다. 모바일이 당연한 환경이 되었기 때문입니다. 5년에서 10년 뒤 AI도 마찬가지가 되기를 바랍니다. 더 이상 AI 기업이라는 말은 쓰이지 않고, 모든 제품과 서비스에 AI가 당연하게 통합될 것입니다.

이러한 변화는 지금의 AI에 대한 과도한 hype를 줄일 수 있지만, 훨씬 더 강력하고 삶에 깊숙이 통합된 AI를 경험하게 할 것입니다. 모든 것이 AI를 활용하게 될 세상이 기대됩니다.

무엇인지 정의하자면, 기술이란 여러분이 태어난 이후 발명된 모든 것을 의미합니다. 그렇기에 오늘날 유치원생들이 ChatGPT 없는 세상을 모른다는 사실은 놀랍기 그지없습니다.

저는 아이를 키우면서 제 아이가 AI보다 똑똑해질 수 없을 것이라는 점을 많이 생각합니다. 하지만 동시에, 컴퓨터, 제품, 서비스 등이 매우 똑똑하고 자신을 이해하며 필요한 것을 해줄 것이라고 기대하지 않는 세상에서 성장하지 않을 것이라는 점도 생각합니다.

자녀를 그러한 세상에 준비시키는 방법에 대해 어떻게 생각하시는지 정말 궁금합니다.

아이들은 이제 놀라울 정도로 뛰어난 일을 해낼 것입니다. 제 어린 시절, 컴퓨터는 경이로운 존재였고 부모님보다 제가 훨씬 더 잘 다루고 활용했습니다. 당시 컴퓨터는 새로운 기술이 아니었지만, 지금처럼 생활 속에 깊숙이 통합되지는 않았습니다. 부모님께서는 "이것이 중요해질 것 같다. 네가 흥미를 느끼니 장려하겠다." 외에 컴퓨터가 등장할 세상을 어떻게 준비시켜야 할지 모르셨을 것입니다.

그저 "이것이 중요하다고 생각한다. 사용법을 익히렴. 네게는 나보다 더 많은 것을 할 수 있게 해줄 것이다. 정말 멋지지 않니. 네가 나보다 훨씬 더 많은 것을 성취하길 바란다."라고 말하는 것 외에 아이를 위해 무엇을 할 수 있었을지 모르겠습니다. 이것이 해답이라고 생각합니다. 세상을 바꾸는 큰일들이 있고, 아이들에게 회복탄력성, 적응력, 호기심, 창의력 등을 가르쳐야 하지만, 실질적인 방법은 새로운 도구와 함께 사람들은 더 많은 것을 해낼 것이라고 믿고, 아이들이 이러한 도구들에 매우 능숙해지도록 격려하는 것입니다. 아이들은 아마 이미 그렇게 하고 있을 것입니다.

자동차의 등장 사례를 보면 흥미로운 점이 있습니다. 대부분의 사람들은 자동차 운전 및 사용법을 알았지만, 그 작동 원리를 설명하지는 못했습니다. 극소수의 사람들만이 엔진 제작 및 세부적인 부분을 파고들며 이를 이해했습니다. 이들은 엔진을 만지고 개조하며 설계 의도와는 다른 기능들을 구현하는 하위 문화를 형성했습니다.

컴퓨터의 경우도 마찬가지입니다. 대다수 사용자는 인터넷을 이용할 줄 알지만, 컴퓨터가 어떻게 작동하는지는 알지 못합니다. 여기서 더 나아가, 컴퓨터의 성능을 극한으로 끌어올리고 새로운 가능성을 탐구하는 특정 사용자층이 존재합니다.

AI 분야에서도 컴퓨터의 한계를 시험하는 시대가 올지 궁금합니다. AI가 일상 곳곳에 자리 잡아 대중은 AI 사용에 익숙해질 것입니다. 하지만 딥러닝 신경망의 작동 원리를 깊이 이해하고 이를 활용하는 전문가는 소수일 것입니다.

네, 새로운 가능성이 열릴 것입니다. 대부분의 사람들은 컴퓨터의 작동 방식을 상세히 알지 못하더라도 그것으로 놀라운 결과물을 만들어냅니다. 이는 분업화와 공유된 도구 사슬을 통한 진보가 이루어지는 방식과 같습니다. 미래에 가장 중요한 역량은 AI를 구축하는 능력이 아니라, AI를 활용하여 놀라운 일을 해내는 능력이 될 것입니다.

마치 오늘날 OpenAI의 연구원들이 컴퓨터를 처음부터 만드는 모든 과정을 알지 못하더라도, 컴퓨터를 사용하여 AGI를 창조하는 방법을 알고 있듯이 말입니다. 이것이 바로 다음에 구축해야 할 가치 있는 계층입니다. 그리고 AGI 위에 또 다른 새로운 것이 구축될 것이며, 누군가는 그것을 알아내야 할 것입니다. 그들은 신경망을 훈련하는 방법을 몰라도 될 수도 있습니다.

네. 기술을 파악하고 작동 방식을 이해할 필요가 있다는 말씀을 해주시기를 기대하고 있었습니다.

어떤 사람들에게는 그렇습니다. 지금 당장은 세계에서 가장 가치 있는 기술일지도 모릅니다. 앞으로도 계속 가치가 있을 것이라고 생각합니다. 제 요점은 10년, 20년 후를 상상할 때, 아직 우리가 상상할 수 없는 더 흥미로운 새로운 것들이 있을 수도 있다는 것입니다.

흥미로운 관점이십니다. 오늘날 컴퓨터 과학자들에게 DNN(Deep Neural Networks)의 작동 방식과 학습 방법을 이해하는 것은 매우 중요합니다. DNN 또는 다른 유형의 학습 알고리즘을 구축하기 위한 새로운 아이디어를 개발하는 데도 활용될 수 있습니다. 하지만 말씀하신 것처럼, 장기적으로는 이러한 기술이 우리의 도구함에 포함될 것입니다.

그렇다고 생각합니다.

네, 아마 작동할 것으로 추정됩니다. 하지만 계산기를 어떻게 만드는지는 알지 못합니다.

비록 전기 공학에 대한 기억의 한계에 부딪힐 수 있겠지만, 계산기 제작에 대해서는 깊이 생각해 본 적이 없습니다. 저는 여전히 계산기를 자주 사용하며, 제게 중요한 많은 것들이 계산기 안에 담겨 있습니다. 계산기는 제가 더 높은 수준의 문제를 고민하거나 더 강력한 작업에 집중할 수 있도록 돕는 도구와 같습니다.

아마도 새로운 AI 애플리케이션과 혁신적인 기술에 집중하는 것이 합리적일 것입니다. 컴퓨터를 직접 만드는 방법에 대해서는 전혀 알지 못하지만, 이는 충분히 이해가 되는 부분입니다.

이전에 보지 못했던 새로운 기술들이 등장할 것으로 예상되며, 이것이 미래의 최첨단 기술 방향을 제시할 수 있습니다. 앞으로 5년에서 10년 동안 매우 흥미로운 미래가 펼쳐질 것입니다.

놀라울 것입니다.

강의 주제를 조금 바꾸어 AI 시스템의 보안에 대해 이야기하고자 합니다. AI 시스템이 보안을 갖춘다는 것은 무엇을 의미할까요? AI가 의도하지 않은 동작을 하도록 만드는 시도는 무엇을 의미할까요?

강의에서는 prompt injection attacks, adversarial examples와 같이 모델을 혼란스럽게 만드는 다양한 공격 기법을 다룰 것입니다. 또한, 상호작용을 통해 모델을 추출하는 model extraction과 같은 공격도 살펴볼 것입니다. AI 보안은 매우 광범위한 주제이며, 이러한 공격에 대한 방어 전략 또한 함께 논의할 것입니다.

AI는 훈련, 추론 등 다양한 하위 분야를 가진 매우 넓은 분야입니다. AI 보안을 어떻게 이해하고 계시며, AI의 다양한 활용 가능성 중 이 강의에서 다루는 특정 분야가 흥미로운가요?

해당 분야는 연구에 매우 적합하다고 생각합니다. AI safety 문제들이 AI security 문제로 재정의될 가능성이 높으며, 모델의 능력 향상에 따라 광범위한 배포를 위해서는 보안 문제가 더욱 중요해질 것입니다.

특히 Adversary robustness는 매우 심각해지고 있으며, 두 가지 요소가 결합되어 큰 보안 과제를 제시합니다. 첫째, 모델의 개인화 능력이 뛰어납니다. ChatGPT는 사용자 대화 기록과 연결된 데이터를 통해 개인에게 맞춰진 경험을 제공합니다.

둘째, 모델이 외부 서비스와 연동되어 웹 검색 등 다양한 작업을 수행할 수 있습니다. 하지만 개인 모델에서 사용자에 대한 모든 정보를 유출하는 것은 큰 위험입니다. 인간은 합리적 판단을 기대할 수 있지만, 모델은 아직 이러한 점이 부족합니다.

개인 건강 문제를 모델에게 공유한 후, 해당 정보를 기반으로 상품을 구매할 때 전자상거래 사이트에 민감한 건강 정보가 노출되는 것을 원치 않을 것입니다. 이러한 문제를 100%의 견고함으로 해결하는 것은 매우 흥미로운 보안 과제입니다.

이는 말 그대로 직업으로 삼을 수 있는 예시입니다. 여러분의 모든 의도가 그러한 것입니다.

AI security 분야는 현재 매우 저평가된 영역이라고 생각합니다.

저는 웹 기업, 예를 들어 Google, Amazon과 같은 전통적인 기술 기업들이 수천 명의 엔지니어를 플랫폼 보안에 투입하는 것을 보았습니다. AI 기업들도 AI 보안 팀 구축에 상당한 투자를 시작해야 할 것으로 보입니다. 따라서 AI로 전환하고자 하는 분들은 어떤 분야에 집중해야 할지 고민할 것입니다. AI 보안 분야에서 높은 수요가 있을 것으로 예상됩니다.

네, 정말 환상적입니다. 그렇게 말씀해주시니 매우 기쁩니다.

AI 보안의 질문에서, 또 다른 측면이 존재합니다. 이에 대한 귀하의 생각을 듣고 싶습니다. 지금까지는 AI를 위한 보안에 대해 이야기했습니다. 흥미로운 점은 보안을 위한 AI 역시 존재한다는 것입니다. ChatGPT가 소프트웨어에서 버그를 찾는 데 탁월하다는 사실은 정말 흥미롭고 놀랍습니다.

저희는 이 분야에서 더 많은 작업을 시작하고 있습니다. 곧 초인적인 AI 보안, 보안 분석가, 혹은 원하시는 어떤 이름으로든 불릴 수 있을 것이라 생각합니다.

네, 소프트웨어 테스트에 AI를 활용하는 것은 상당한 성장 가능성이 있는 분야로 보입니다.

네. 그건 양방향으로 작동합니다. 시스템 보안을 강화하는 데에도 사용할 수 있습니다. 사이버 공격에 큰 영향을 줄 것이라 생각합니다.

맙소사. 그렇게 말씀해주셔서 정말 기쁩니다. AI가 취약점을 찾는다고 하면, 많은 분들이 공격적인 능력을 먼저 떠올리십니다. 하지만 코드 배포 전에 AI 시스템으로 코드의 취약점을 테스트하고 수정하는 것이 현실입니다.

네.

이것은 OpenAI에게 소프트웨어 테스팅을 수행할 수 있는 기회가 될 수 있습니다.

저도 그렇게 생각합니다.

네. 그래서 사람들이 많은 시간을 투자할 수 있는 잠재적인 영역으로 보시는군요.

네, 그렇습니다. 정말 놀랍습니다.

AI가 컴퓨터 과학 전반에 미치는 영향에 대한 의견을 나누고 싶습니다. 최근 AI는 놀라울 정도로 발전하여, 저 또한 코드를 직접 작성하기보다 pseudocode로 작성한 후 ChatGPT와 같은 AI 엔진을 이용해 실제 코드로 변환하는 방식을 사용하고 있습니다.

박사 과정 학생들도 이러한 방식을 적극적으로 활용하며, 이는 연구 개발 속도를 획기적으로 높이고 업무 효율성을 극대화하는 데 크게 기여하고 있습니다.

따라서 코드 개발에 종사하는 많은 분들을 위해, 앞으로 2년, 5년, 10년 뒤 소프트웨어 개발은 어떤 모습일지 전문가님의 견해를 듣고 싶습니다.

현재 보이는 것과는 매우 다를 것입니다. 제 생각에는 주로 컴퓨터와 대화하는 방식이 될 것입니다. 예를 들어, pseudo code를 사용하거나 영어와 훨씬 유사한 표현을 사용할 수도 있습니다.

회사가 특정 목적의 앱을 개발한다고 가정해 보겠습니다. 예를 들어, 도서 구매 결정을 돕는 앱을 만드는 경우를 생각해 볼 수 있습니다. 현재 이러한 앱 개발 과정은 다음과 같습니다. 먼저, Product Manager가 앱 개발에 필요한 요구사항을 상세히 작성합니다. 이후, 해당 요구사항을 구현하기 위해 수많은 Developer가 투입됩니다.

하지만 미래에는 이러한 개발 방식이 변화할 것으로 예상됩니다. 특히, 첫 번째 버전을 신속하게 출시해야 하는 경우, 개발 과정은 더욱 효율적으로 진행될 것입니다.

[추가적인 내용이 있으면 이어서 작성하십시오.]

원하는 소프트웨어를 설명하시면, 저희가 밤새 고민하고 코드를 작성 및 테스트하여 다음 날이면 바로 책 판매와 같은 결과물을 보실 수 있을 것입니다. 시스템이 더 커지고 복잡해짐에 따라, 소프트웨어 엔지니어링 에이전트들이 여러분의 레포지토리를 돌아다니며 코드를 작성하고 테스트하며 체크인하는 등의 작업을 대신 수행할 것입니다. 심지어 소프트웨어 개발뿐만 아니라, 기업 운영의 많은 부분을 자동화하는 것까지도 상상할 수 있습니다. 소프트웨어 개발의 경우, 앞으로 어떻게 작동할지에 대한 명확한 경로가 보입니다.

개발자 생산성을 크게 향상시킬 것으로 예상됩니다. 현재는 직접 코드를 작성해야 하지만, 앞으로는 원하는 기능을 코드로 구현하는 대신 설명만으로도 가능해질 것입니다.

그렇게 생각합니다.

네, 정말 훌륭하네요. 무척 흥미롭습니다. 교육자로서 컴퓨터 과학 교육이 앞으로 5년에서 10년 안에 어떻게 변화할 것이라고 생각하시는지 여쭙고 싶습니다. 현재는 운영체제, C++, 컴파일러 등을 가르치고 있는데, 5년에서 10년 후에는 무엇을 가르치게 될까요?

제가 학교에 처음 왔을 때, 106x 강의실에서 알고리즘 작성법 같은 것을 가르치셨던 기억이 납니다. 그 당시에는 실생활에 전혀 필요 없을 것 같다는 생각이 들었습니다. 물론 생각하는 방법을 배우는 데는 흥미로웠지만, 다시는 이런 것을 할 일이 없을 것 같았습니다. 웹 앱을 만드는 법 같은 실용적인 것을 배우고 싶었습니다.

현재의 상황도 비슷하다고 느낍니다. 지난 2년 동안 코드 작성 방식은 크게 변화했으며, 앞으로도 더욱 달라질 것입니다. 저는 컴퓨터 과학 개론이나 프로그래밍 입문 과목의 커리큘럼과 교수법이 상당히 많이 변화해야 한다고 생각합니다.

트레버 버러스는 다비드 페레즈처럼 완전히 바뀌어야 한다고 생각합니다.

트레버 버러스, 저도 그렇게 생각합니다.

C++를 계속 가르쳐야 하지 않겠습니까? 또는 우리가 적절하다고 생각하는 다른 언어라도 말입니다.

강의 내용에 대한 질문이 있으신 것으로 이해됩니다. 소프트웨어 엔지니어링 에이전트가 존재하는 시대에 코드 작성법을 가르치는 것과 더불어, 다른 교육 내용을 더 높은 비율로 다루는 것이 좋다고 생각하시는 것 같습니다.

이것은 몇 가지 고려가 필요할 것입니다.

C++ 학습은 매우 유익했습니다. 흥미로운 부분들이 많았지만, 미래에 고부가가치 소프트웨어 개발에 기여할 현업 개발자의 일상은 저희가 가르치는 방식과는 매우 다를 것이라고 생각합니다.

이 논리를 귀하께 적용해 보고자 합니다. 이에 대한 귀하의 생각을 듣고 싶습니다. 초등학교와 중학교 시절, 우리는 덧셈과 곱셈을 배우는데, 사실상 숫자를 더하거나 곱할 일이 거의 없습니다. 계산기가 있기 때문입니다. 그럼에도 불구하고 우리가 사는 세상을 이해하기 위해 여전히 배우는 것입니다. 운영체제(Operating Systems)와 컴파일러(Compilers) 학습도 이와 마찬가지라고 생각하십니까? 즉, 실제로 사용하지는 않더라도, 이해하기 위해 배워야 하는 것과 같은 맥락입니까?

초등학교 시절, 선생님께서 '기초 편집'의 중요성을 강조하셨던 기억이 납니다. 계산기가 있는데 왜 굳이 배워야 하는지 의문을 품었지만, '선생님 말씀이기 때문'이라는 답을 들었습니다. 같은 선생님께서 흘려쓰기(cursive)를 배워야 한다고도 하셨는데, 당시 저는 앞으로 다시는 사용하지 않을 것이라고 확신했습니다. 무엇을 배워야 하고 무엇을 배우지 않아도 되는지 구분하는 것은 매우 어렵습니다.

'학습하는 방법을 배우는' 메타 스킬은 무척 중요합니다. 어떤 것이든 배우는 과정에서 다른 것을 습득하게 되기 때문입니다. 운영체제와 컴파일러의 작동 방식에 대해 알게 된 것은 매우 만족스럽습니다. 하지만 대부분의 사람들에게 이러한 지식의 가치는, 뇌를 확장하고 지적 호기심을 충족시키는 일반적인 메타 학습에 있을 것입니다.

AI를 활용하여 상상도 못 할 새로운 것을 창조해야 하는 사람들의 비율이 늘어나는 반면, 훌륭한 운영체제를 만드는 방법에 대해 깊이 이해해야 하는 사람들의 수는 줄어들 것입니다.

기술적인 부분에 국한하더라도

기술적인 측면에만 집중하더라도, 어떤 분야에서는 여전히 실제 전문가가 필요하다고 생각합니다. 예를 들어, 전체 시스템의 아주 작은 부분만을 위해 어셈블리 언어를 직접 작성해야 하는 전문가들이 존재합니다. 제가 말씀드리고 싶은 핵심은 상대적인 중요성입니다.

컴파일러를 직접 작성하는 법을 배우는 것보다 신경망을 훈련시키는 방법을 배우는 것이 현재 더 중요해졌을지도 모릅니다. 또한 10년 후에는 컴파일러 작성의 중요성이 크게 줄어들 수도 있습니다. 신경망 훈련법 학습은 여전히 어느 정도 중요하지만, 주로 세상을 이해하는 좋은 지식 기반을 제공하기 때문입니다.

미래에는 인공지능(AI)을 활용하여 탁월함을 추구해야 할 새로운 최전선이 등장할 것이며, 바로 그 분야가 우리가 집중해야 할 진정한 목표가 될 것입니다.

다른 사람이 훈련한 툴이라는 말씀이시군요. 네, 알겠습니다. 말씀하신 것처럼 우리가 알아야 할 지식은 변화할 것입니다. 마치 네트워크를 훈련하는 방법을 배울 필요조차 없을 정도로요. 어떤 시점에는 AI에게 '훈련'이라고 말하면 될 것이기 때문입니다.

새로운 네트워크가 이를 매우 잘 수행할 수 있겠습니다. 네, 그렇군요. 와, 대단합니다.

놀라운 뷰였습니다. 현재로서는 학습 방법을 익히는 것이 매우 흥미롭고 중요합니다.

뉴럴 네트워크는 지금 배우기에 매우 좋은 기술입니다.

네, 지금 그렇습니다. 네, 논쟁의 여지가 없습니다. 네, 그것은 매우 흥미롭습니다. 결국 5년 뒤 CS education이 어떤 모습일지에 대해 저희에게 좋은 숙제를 던져주시는 셈입니다.

저는 그 부분에 대해 매우 관심이 있습니다.

컴퓨터 과학자라면 기본적인 프로그래밍, 예를 들어 sorting program 작성법 정도는 알아야 한다는 주장이 있을 것입니다. 이는 마치 누구나 기본적인 기술은 익혀야 하는 것과 같습니다. 따라서 청취자 여러분께서도 많은 시간을 투자하신 것에 대해 낙담하지 마시기를 바랍니다.

현대 기술 환경은 매우 빠르게 변화하고 있으며, 새로운 패러다임에 맞춰 사고하는 것이 어렵습니다.

네, 그렇습니다. 이와 관련하여 메타적인 질문을 드리지 않을 수 없습니다. 코드 생성기는 정말 놀랍습니다. 단순히 사용해 보기만 해도, 이들이 생성하는 코드의 수준이 믿기 어려울 정도입니다.

그러합니다.

AI 코드 제너레이터들은 Java, Go, Rust와 같이 인간 개발자를 위해 설계된 언어로 코드를 작성하고 있습니다. 이는 ML 코더나 AI 코더를 위한 언어가 아닙니다. 따라서 AI 코드 생성을 위해 특별히 설계된 새로운 언어를 개발하게 될 것이라고 생각하십니까? 아니면 AI가 스스로 이러한 새로운 언어를 생성하게 될까요?

인간 친화적인 프로그래밍 언어가 중요할 것이라고 생각합니다. AI가 코드를 작성할 수 있지만, 사람이 쉽게 읽고 수정할 수 있다는 점이 매우 가치 있기 때문입니다. 따라서 컴퓨팅 효율성 측면에서 최적이 아니더라도, 인간이 이해하기 쉬운 언어가 더 오래 중요성을 가질 것으로 예상합니다.

이해했습니다. 가독성이 중요한 부분이군요.

'가독성보다 편집 용이성이 훨씬 더 중요합니다.'

현재 AI 코드 생성은 95% 정도의 정확도를 보입니다. 코드를 생성한 후에는 항상 검토하고 일부 수정하는 과정이 필요합니다. 하지만 미래에는 AI가 완벽한 코드를 생성할 수 있을지도 모릅니다.

그러기를 바랍니다. 그렇게 되면 좋을 것 같습니다.

그리고 코드를 읽을 필요도 없어질 것입니다. 그러면 원하는 어떤 언어로든 코드를 생성하기 시작할 수 있습니다. 어쩌면 가독성 자체가 필요 없을지도 모릅니다. 네. 하지만 현재로서는 사람이 읽을 수 있는 언어에 계속 머무를 것이라고 말씀하시는군요. 따라서 학생들이 Java, Go, Rust와 같은 언어들을 배워야 할 것입니다...

네, 그렇게 생각합니다. 이 요소들이 생성됩니다.

하지만 미래는 조금 달라질 수 있습니다. 흥미로운 부분입니다. 이제 AI 시스템 자체의 아키텍처에 관한 다른 주제를 논하고자 합니다. AI에 적합한 아키텍처를 찾았다고 생각하시는지 궁금합니다. 몇 년 전만 해도 SVM(Support Vector Machines)과 GAN(Generative Adversarial Networks)이 AI 분야의 주류였습니다.

하지만 모든 것이 갑자기 변했습니다. 이제는 딥 뉴럴 넷(Deep Neural Nets)과 그 가능성에 대한 논의가 주를 이루고 있습니다. 트랜스포머(Transformers), 스테이블 디퓨전(Stable Diffusion)과 같은 기술들이 지난 몇 년간 등장하며 판도를 완전히 바꾸었습니다.

과연 우리는 올바른 AI 아키텍처를 찾은 것일까요? 아니면 2~3년 후에 또 다른 변화가 일어나 새로운 아키텍처를 배워야 할까요?

얼마나 변화할지는 모르겠으나, 분명 어느 정도는 변화할 것입니다. 저는 이 변화가 더 흥미로울 것이라 기대합니다. 아직 엄청난 발견들이 이루어질 여지가 있다고 생각합니다. 첫 번째 트랜스포머(transformer)부터 현재 우리가 사용하는 것에 이르기까지 상당히 달라졌지만, 훨씬 더 나아갈 수 있을 것이라고 확신합니다. 저는 아직 이 로드맵의 끝에 가까워졌다고 느껴지지 않습니다.

듣고 계시는 모든 분들께는 분명 도전 과제일 것입니다. 아직 완전히 도달하지는 못했으며, 새로운 아키텍처가 곧 등장할 가능성이 있다는 데에 동의하시는 것 같습니다. 따라서 연구할 부분이 훨씬 더 많이 남아 있습니다.

그렇게 생각합니다. 제 직관이 그렇게 말하고 있습니다. 네.

네, 말씀하신 대로 이러한 아이디어는 여러분도 충분히 찾아낼 수 있습니다. 자신에게 맞는 'right idea'를 찾는 것이 중요합니다.

다음 질문은 AI 아키텍처와 새로운 아이디어가 어디서 나올지에 대한 것입니다. 학계의 뛰어난 PhD 학생들에게서 비롯될까요, 아니면 OpenAI, Google과 같은 산업계나 오픈소스 커뮤니티의 누군가로부터 나올 것이라고 생각하십니까?

어떤 지점에서 출발하는지 예측할 수 없다는 점이 좋습니다. 이러한 혁신이 어디서 시작될지 미리 알기 어렵기 때문입니다. 소수의 재능 있는 인물들이 새로운 방향으로 나아가려는 노력 한두 번의 시도로도 충분하며, 이는 세계 어느 곳에서든, 어떤 환경에서도 일어날 수 있습니다.

훌륭한 메시지라고 생각합니다. 이는 특별한 배경이 없어도 누구나 이러한 놀라운 아이디어를 떠올리고 세상을 바꿀 수 있다는 것을 의미하기 때문입니다. 헌신하는 똑똑하고 유능한 사람이라면 누구나 가능합니다. 따라서 이 메시지는 매우 중요하다고 생각합니다.

그렇다면 마지막 기술적인 질문으로, 모두가 궁금해하는 '에너지'에 대해 여쭙겠습니다. 인간의 뇌는 우리가 하는 모든 일을 수행하는 데 약 20와트의 에너지를 사용합니다. 20와트입니다. 하지만 현재 ML training은 20와트보다 더 많은 에너지를 소비합니다.

이는 공정한 비교가 아니라고 생각합니다. 먼저, 냉각 시스템과 balance of plant를 모두 고려해야 합니다. 인간 요소에 대해 100 watts로 타협한다고 가정합시다. 현재 ML 시스템의 training cost와 인간의 inference cost를 비교하고 계십니다. 만약 20년간 100 watts를 지속적으로 소비하여 훈련하는 비용과, 현재의 뇌 구조를 만드는 데 필요한 진화 과정 및 인력을 고려한다면, 에너지 소비량은 훨씬 유사해 보일 것입니다.

물론 GPT-4가 훈련될 당시에는 순간적으로 더 많은 watts를 소비했지만, 훈련 시간은 훨씬 짧았습니다. 또한, 이미 많은 정보가 writing을 통해 압축되었다고 볼 수도 있습니다. 이 경우 오랜 진화 과정을 상쇄할 수 있겠지만, 이는 고려할 만한 요소입니다.

더욱 공정한 비교는 GPT-4가 생성하는 token당 watts와 Dan Bonet이 생성하는 token당 watts를 비교하는 것입니다. 저는 이 수치가 상당히 유사할 것이라고 생각합니다.

현재 대화 중인 이 시점에서 저는...

이는 추론(inference) 토큰 당 추론(inference) 토큰만큼이었습니다. 크게 다르지 않을 것이라고 생각합니다. 흥미롭군요.

알겠습니다.

정확한 수치는 지금 당장 알 수 없으나, 제 직감으로는 크게 벗어나지 않았다고 생각합니다.

네, 맞습니다. 결국 문제는 회계(accounting)에 있는 것 같습니다. 저희가 비교를 수행할 때, 실제로는 회계를 올바르게 처리하고 있지 않습니다.

사람들은 20년이라는 시간이 걸려야 겨우 똑똑해져서 적은 에너지로 빠르게 답할 수 있다고 생각하는 것 같습니다. 하지만 이것은 인간의 추론과 AI 학습을 비교하는 것이 아닙니다. 추론은 추론끼리, 학습은 학습끼리 비교해야 합니다. 맞습니다. 전적으로 동의합니다.

동시에, 소비되는 에너지 양을 줄이는 이 질문은 정말 놀라운 연구 분야처럼 들립니다.

시간이 지남에 따라 100배 이상 발전할 가능성이 있다고 생각합니다. 어쩌면 그 이상일 수도 있습니다. 만약 혁신적인 기술이 성공한다면 말입니다.

우리 뇌는 저장과 연산을 한쪽에만 집중하는 것이 아니라, 두 기능을 혼합하여 사용합니다. 그러나 GPU는 메모리와 연산 부가 분리되어 있어, 데이터 전송에 상당한 에너지가 소모됩니다. 이러한 점을 고려할 때, 연산 효율을 높이기 위한 완전히 새로운 하드웨어 아키텍처에 대한 가능성이 있다고 생각하십니까?

네, 네. 새로운 하드웨어 기판에 대해서도 말씀드리고 싶습니다. 예를 들어 광학 컴퓨팅이 가능하다면 엄청난 에너지 절약을 이룰 수 있을 것입니다. 하지만 그전에 기존 기술로 새로운 아키텍처를 구현할 가능성도 있을 것입니다.

네. 에너지 효율이 더 좋은 알고리즘도 가능할 것입니다. 오늘 우리의 대화를 통해 이 분야에 얼마나 새롭고 개척되지 않은 영역이 많은지 보여드릴 수 있기를 바랍니다.

냉각 방식을 액체 질소 온도까지 낮추는 단순한 기술만으로도 칩의 에너지 효율성을 크게 향상시킬 수 있습니다. 따라서 1 token당 소비 전력(watts per token)을 획기적으로 줄일 수 있을 것이라 확신합니다. 이처럼 탐구할 만한 과제가 무궁무진하며, 이는 매우 어려운 연구 문제이자 중요한 엔지니어링 과제라 할 수 있습니다.

우리는 이 거대한 변화의 아주 초기 단계, 즉 태동기에 있으며 탐험할 영역이 무궁무진합니다. 지금까지의 논의는 매우 유익했습니다. 마지막으로, 샘님께서는 오랜 경험을 바탕으로 귀중한 조언을 주실 수 있습니다. 스탠포드 재직 시절부터 흥미로운 여정을 거쳐오셨기에, 컴퓨터 과학 분야 경력 초기에 있는 분들에게 어떤 조언을 해주시겠습니까?

먼저, 제 생애 최고의 시기이자 컴퓨터 과학 커리어 초기에 있다면 더할 나위 없이 훌륭한 시기라고 생각합니다. AI 분야에 집중하는 것을 추천합니다. 저는 언제나 똑똑하고 낙관적인 사람들이 흥미로운 일을 하는 곳에 모여 최대한 많은 시간을 함께 보내는 것이 제게 큰 도움이 되었다고 생각합니다. 이것이 제 의도치 않은 최고의 커리어 조언이었습니다. Stanford는 그런 면에서 좋은 환경이었습니다.

특별하고 깊은 통찰력보다는, 흥미로운 문제를 풀고, 똑똑한 사람들과 함께하며, 끊임없이 피드백을 통해 자신의 역량을 향상시키려고 노력하는 것이 중요합니다. 학부 시절을 즐기는 것도 좋습니다. 저는 Stanford 학부 시절을 매우 좋아했으며, 인생에서 특별한 시간이었습니다.

저는 학창 시절의 경험들을 기억합니다. 수업 외적인 부분들도 좋았지만, 강의실에서의 배움 역시 최고의 순간 중 하나였습니다. 모든 것이 정말 훌륭했습니다.

삼, 오늘 귀한 시간을 내어 학생들과 청중 여러분께 귀한 말씀을 전해주셔서 정말 감사드립니다. 이번 시간이 매우 인상 깊었습니다. 앞으로도 멋진 활동 응원하겠습니다.