르쿤 신문 '세탁' 혐의? LSTM의 아버지는 화를 내며 다음과 같이 썼습니다. 내 작업을 복사하여 원본으로 표시하세요.

튜링상 수상자 얀 르쿤(Yann Lecun)은 AI 업계 3대 거인 중 한 명으로, 그가 발표한 논문은 자연스럽게 '성경'으로 연구된다.

그런데 최근 누군가 갑자기 르쿤을 “같은 페이지에 앉아 있다”고 비난하는 일이 벌어졌습니다. “그것은 내 핵심 관점을 바꿔 말한 것에 지나지 않습니다.”

혹시...

네, 이 분은 다름 아닌 'LSTM의 아버지' 위르겐 슈미트후버입니다.

Schmidhuber는 LeCun의 논문이 1990년부터 2015년까지의 중요한 결과를 언급하지 않았다고 말했습니다. 기사에 언급된 "주요 원본 결과"에는 "하위 목표 학습, 예측 가능한 추상 표현, 다중"과 같은 개념도 발표했습니다. 시간 규모".

원본 트윗에 사용된 rehash라는 단어는 혁신을 이루지 않고 독창적인 아이디어를 다른 방식으로 표현하는 것을 의미하며, 이것이 적절한 "rehash"입니다.

동시에 증거를 자세하게 나열한 장문의 글도 올렸습니다. 물론 이는 슈미트후버의 일방적인 발언으로밖에 볼 수 없다.

그러나 네티즌들은 당연히 구매하지 않았습니다.

"당신은 한때 AI 커뮤니티의 거물이었지만 이제는 모든 사람의 학업 성취가 당신의 아이디어를 표절했다고 주장하는 것으로 유명해졌습니다."

"당신은 신경망, 변환기, LSTMS를 발명했습니다. 그리고 화장지와 빵 조각도 당신 가족이 발명했습니다."

그럼 뭔데요?

먼저 문제의 내용을 자세히 살펴보겠습니다.

2022년 6월 14일, Schmidhuber의 Science Tabloid(MIT Technology Review)라는 '과학 타블로이드'는 LeCun의 보고서를 발표했는데, 이 보고서는 그의 새로운 AGI 개념을 자세히 설명합니다.

얀 르쿤(Yann LeCun)은 지난 6월 27일, "AI의 미래 발전 방향을 제시하는 작품"이라며 수년간 아껴두었던 "자율 기계 지능을 향한 길(A Path Towards Autonomous Machine Intelligence)"이라는 논문을 출판했습니다.

이 논문은 "기계가 어떻게 동물과 인간처럼 학습할 수 있는가"라는 문제를 체계적으로 이야기하고 있습니다. 60페이지가 넘는 분량이므로 관심 있는 친구들이 읽어볼 수 있습니다.

LeCun은 이 기사가 향후 5~10년 동안 AI 개발의 일반적인 방향에 대한 자신의 생각일 뿐만 아니라 향후 몇 년 동안 연구할 계획이며 AI 분야에 더 많은 사람들에게 영감을 주기를 희망한다고 말했습니다. ​​​함께 공부할 분야.

LeCun의 논문의 영향력이 커지면서 Schmidhuber는 마침내 7월 7일에 LeCun이 자신의 아이디어를 표절했다고 화가 나서 직접 작성한 장문의 기사를 공개하기로 결정했습니다.

Schmidhuber는 기사가 공개되기 전에 "과학 타블로이드"가 보고서 초안(여전히 기밀)을 보냈으며 이에 대해 몇 가지 의견을 제시할 수 있기를 바랐다고 말했습니다.

그래서 슈미트후버는 르쿤의 글이 기본적으로 그의 전작을 복제한 것이며 인용되지 않았다는 '불만'을 설득력 있게 썼다.

당연히 그의 발언은 호의적이지 않았습니다.

LeCun이 내 작업을 인용 없이 반복했습니다!

슈미트후버는 이 장문의 글에서 독자들이 원본 논문을 연구하고 이러한 논평의 과학적 내용을 스스로 판단할 수 있기를 바라며, 또한 자신의 작업이 인정받고 인정받기를 바란다고 밝혔습니다.

LeCun은 논문 시작 부분에서 이 기사에 설명된 많은 아이디어가 (거의 모두) 다양한 저자에 의해 다양한 맥락과 다양한 형태로 제안되었다고 말했습니다. Schmidhuber는 불행히도 이 논문의 내용 대부분은 단지 단순한 내용일 뿐이라고 반박했습니다. 1990년 이후에 작성된 논문은 "친숙"하며 인용 식별자가 없습니다.

먼저 이번 르쿤 공격의 증거(일부)부터 살펴보겠습니다.

증거 1:

LeCun: 오늘날의 인공 지능 연구는 세 가지 주요 과제를 해결해야 합니다. (1) 기계는 어떻게 주로 관찰을 통해 세계를 표현하고, 예측하고, 행동을 취하는 방법을 배울 수 있습니까? (2) 기계 경사 기반 학습과 호환되는 방식으로 추론하고 계획하는 방법(3) 기계가 여러 수준의 추상화 및 여러 시간 규모에서 계층적 방식으로 인식(3a) 및 행동 계획(3b)을 표현하는 방법을 학습하는 방법

Schmidhuber : 이러한 질문은 1990년, 1991년, 1997년 및 2015년에 발표된 일련의 논문에서 자세히 다루어졌습니다.

1990년, 장기 계획 및 강화 학습(RL)과 인공 호기심을 통한 탐색을 위한 경사 기반 인공 신경망(NN)에 대한 첫 번째 작품이 출판되었습니다.

컨트롤러라고 불리는 두 개의 순환 신경망(RNN, 가장 강력한 NNN)과 월드 모델의 조합을 설명합니다.

그 중에서 월드 모델은 컨트롤러의 동작 결과를 예측하는 방법을 학습합니다. 컨트롤러는 월드 모델을 사용하여 여러 시간 단계를 미리 계획하고 예측된 보상을 최대화하는 동작 시퀀스를 선택할 수 있습니다.

신경망을 기반으로 한 계층적 인식(3a)에 대한 답과 관련하여 이 문제는 1991년에 출판된 나의 "최초의 딥 러닝 머신 - 신경 시퀀스 차단기"에 의해 적어도 부분적으로 해결되었습니다.

RNN(반복 신경망)의 심층 계층에서 비지도 학습 및 예측 코딩을 사용하여 여러 수준의 추상화 및 여러 시간 규모(정확히 LeCun이 쓴 내용) 내부 표현에서 "긴 데이터 시퀀스의 가장 좋은 특징"을 찾습니다.

신경망을 기반으로 한 계층적 행동 계획(3b)에 대한 답변과 관련하여 이 문제는 1990년 계층적 강화 학습(HRL)에 대한 나의 논문을 통해 적어도 부분적으로 해결되었습니다.

증거 2:

LeCun: 비용 모듈의 두 하위 모듈이 모두 미분 가능하므로 에너지 구배는 다른 모듈, 특히 월드 모듈, 성능 모듈 및 인식 모듈을 통해 역전파될 수 있습니다. .

Schmidhuber: 1980년에 출판된 "Feedforward Neural Networks를 사용한 시스템 식별" 논문을 인용하여 제가 1990년에 출판한 내용이 바로 이것입니다.

2000년에 나의 전 박사후 연구원인 Marcus Hutter는 세계 모델과 컨트롤러를 학습하기 위한 이론적으로 최적이고 일반적이며 미분 불가능한 방법을 발표하기도 했습니다. (Gödel 머신이라고 불리는 수학적으로 최적인 자기 참조 AGI도 참조하세요.)

증거 3:

LeCun: 단기 메모리 모듈 아키텍처는 키-값 메모리 네트워크와 유사할 수 있습니다.

Schmidhuber: 그러나 그는 내가 1991년에 시퀀스 처리 "Fast Weight Controllers" 또는 Fast Weight Programmers(FWPs)를 설명할 때 이러한 "키-값 메모리 네트워크"를 처음으로 출판했다는 사실을 언급하지 않았습니다. FWP에는 역전파를 통해 학습하여 다른 신경망의 빠른 가중치를 빠르게 수정하는 느린 신경망이 있습니다.

증거 4:

LeCun: 이 논문의 주요 원래 기여는 다음과 같습니다. (I) 모든 모듈이 구별 가능하고 그 중 많은 모듈이 구별 가능하도록 훈련된 전체적인 인지 아키텍처. (II) H-JEPA: 여러 추상화 수준과 여러 시간 규모에서 표현을 학습하는 세계의 비생성 계층적 아키텍처를 예측하는 모델입니다. (III) 유익하면서도 예측 가능한 표현을 생성하는 일련의 비대조적인 자기 지도 학습 패러다임입니다. (IV) 불확실성 하에서 계층적 계획을 위한 예측 세계 모델의 기초로 H-JEPA를 사용합니다.

이와 관련하여 슈미트후버님도 르쿤이 나열한 4개의 모듈에 따라 하나씩 교정을 해주시고, 자신의 논문과 겹치는 점을 지적해 주셨습니다.

기사 끝에서 그는 이 기사의 요점이 출판된 논문이나 저자가 반영한 아이디어를 공격하는 것이 아니라고 밝혔습니다. 핵심은 이러한 아이디어가 LeCun의 논문에 쓰여진 것처럼 "독창적"이지 않다는 것입니다.

그는 이러한 아이디어 중 많은 부분이 나와 내 동료들의 노력으로 제시되었다고 말했습니다. 현재 LeCun이 제안하는 그의 "주요 독창적인 기여"는 실제로 독자들이 스스로 판단할 수 있기를 바랍니다. 내 댓글 중.

LSTM의 아버지부터...

사실 이 남성이 자신의 결과를 다른 사람이 표절했다고 주장한 것은 이번이 처음이 아닙니다.

작년 9월 초, 그는 가장 많이 인용되는 신경망 논문 결과가 내 연구실에서 완료된 작업을 기반으로 한 것이라고 자신의 블로그에 게시했습니다.

"물론 LSTM도 있습니다. 오늘날의 유명한 선구적인 작업은 다음과 같습니다. ResNet, AlexNet, GAN, Transformer 등이 모두 내 작업과 관련이 있기 때문에 일부 작업의 첫 번째 버전은 내가 수행했지만 이제 이 사람들은 무도덕을 따르지 않으며 인용이 불규칙합니다. "삼촌은 매우 화가 났지만, 지난 몇 년간 위르겐 슈미트후버는 다소 화가 났다는 점을 말씀드리고 싶습니다. 두 사람 모두 인공지능(AI) 분야의 최고 권위자이자 획기적인 성과를 많이 거두었지만, 그들이 받는 평판과 인지도는 항상 기대에 크게 뒤떨어지는 것 같다.

특히 2018년 딥 러닝의 3대 거인인 요슈아 벤지오(Yoshua Bengio), 제프리 힌튼(Geoffrey Hinton), 얀 르쿤(Yann LeCun)이 튜링상을 수상했을 때 많은 네티즌들은 왜 LSTM의 아버지인 위르겐 슈미트후버(Jurgen Schmidhuber)에게 튜링상을 수여하지 않았느냐고 의문을 제기했습니다. 그는 딥러닝 분야의 달인이기도 하다.

2015년, 벤지오, 힌튼, 르쿤 세 명의 천재가 공동으로 네이처에 리뷰를 올렸는데, 제목이 바로 '딥러닝'이었습니다.

이 기사는 전통적인 기계 학습 기술에서 시작하여 현대 기계 학습의 주요 아키텍처와 방법을 요약하고 다층 네트워크 아키텍처 훈련을 위한 역전파 알고리즘과 컨볼루션 신경망의 탄생, 분산 표현 및 언어 처리에 대해 설명합니다. 순환 신경망 및 그 응용 등

한 달도 채 지나지 않아 Schmidhuber는 자신의 블로그에 비판 글을 올렸습니다.

Schmidhuber는 딥 러닝에 대한 다른 선구자들의 초기 기여를 언급하지 않은 채 전체 기사에서 세 저자의 연구 결과를 여러 번 인용했기 때문에 이 기사가 자신을 매우 불행하게 만들었다고 말했습니다.

튜링상을 수상한 '딥 러닝 3인방'이 남의 신용을 탐하고 자기 이익만을 추구하는 도둑이 되었다고 생각합니다. 그들은 세상에서 자신의 지위를 이용하여 서로 아부하고 선배들을 억압합니다. .

2016년 Jurgen Schmidhuber는 NIPS 컨퍼런스 튜토리얼에서 "GAN의 아버지" Ian Goodfellow와 정면 대결을 펼쳤습니다.

당시 Goodfellow가 GAN을 다른 모델과 비교하는 것에 대해 이야기하고 있을 때 Schmidhuber가 자리에서 일어나 질문을 했습니다.

Schmidhuber의 질문은 매우 길어서 2분 정도 진행되었습니다. 주요 내용은 그가 1992년에 PM을 제안했다는 점을 강조한 후 PM의 원칙, 구현 프로세스 등에 대해 많은 이야기를 나누는 것이었고 마지막으로 그림이 나왔습니다. 다키미: 당신의 GAN과 내 PM 사이에 어떤 유사점이 있는지 말씀해주실 수 있나요?

Goodfellow는 약점을 보여주지 않았습니다. 이전에 이메일을 통해 여러 번 언급하신 문제에 대해 전달했으며, 이번 기회에 청중의 인내심을 낭비하고 싶지 않습니다.

잠깐, 잠깐...

아마도 Schmidhuber의 이러한 "꿀벌 작전"은 LeCun의 이메일로 설명될 수 있습니다:

"Jurgen은 모든 사람의 인정에 너무 집착하고 항상 자신이 그것을 얻지 못한다고 말합니다. 그는 그는 거의 습관적으로 연설이 끝날 때마다 자리에서 일어나 방금 발표한 결과에 대해 책임이 있다고 말합니다. 일반적으로 이러한 행동은 불합리합니다.

위 내용은 르쿤 신문 '세탁' 혐의? LSTM의 아버지는 화를 내며 다음과 같이 썼습니다. 내 작업을 복사하여 원본으로 표시하세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!