Boris Cherny: We Cut 80% of Claude Code’s Prompt
0:07
Tudo bem, Boris, estamos muito animados por tê-lo aqui, o criador do Plot Code. Obrigado.
All right, Boris, we're so excited to have you here, the creator of Plot Code. Thank you.
0:19
É ótimo estar aqui. Acabamos de lançar o Opus 5 ontem. Sim.
It's great to be here. Fresh off the press, you guys just shipped Opus 5 yesterday. Yes.
0:28
E parece que o desempenho do modelo continua acelerando.
And it seems that model performance keeps accelerating.
0:33
Vocês levaram o Arc AGI 3 a 30%, o que é incrível. Sim.
You guys took Arc AGI 3 to 30%, which is incredible. Yes.
0:41
E para contextualizar, antes a melhor pontuação estava nos dígitos baixos ou nos baixos dois dígitos, certo?
And for context, before the best score was in the low single digits or low teens, right?
0:49
O que o Opus 5 pode fazer agora que não podia em relação a uma versão anterior?
What can Opus 5 do now that it couldn't versus a previous version?
0:55
Sim, há muito que se envolve em cada novo modelo.
Yeah, there's a lot that goes into every new model.
0:59
E há muitas novas capacidades que ensinamos e fazemos o modelo realizar.
And there's a lot of new capabilities that we teach and get the model to do.
1:05
Sempre que você faz treinamento de modelo, tenta ensinar uma série de coisas diferentes.
Whenever you do model training, you try to teach a whole bunch of different things.
1:11
E na maioria das vezes não funciona. Mas um subconjunto das coisas, o modelo realmente aprende.
And most often it doesn't work. But some subset of the things, the model does learn.
1:17
E às vezes também te surpreende. Ele tem essas habilidades, tem capacidades que você na verdade não ensinou.
And sometimes it also surprises you. It has these skills, it has abilities that you actually didn't really teach it.
1:23
mas ele simplesmente aprendeu. Por cinco, um exemplo de algo que ele faz que eu acho que nenhum outro modelo fez
but it just kind of learned. For five, one example of something it does that I think no other model has done
1:31
ele funciona por um período de tempo muito longo.
is it runs for a very long period of time.
1:34
E especialmente quando você combina o Opus 5 com o modo automático, é simplesmente incrível.
And especially when you combine Opus 5 with auto mode, it's just like incredible.
1:39
Como ele pode funcionar por dias, semanas, meses a fio. Ele simplesmente não para. Você nem precisa usar andaimes.
Like it can go for days, weeks, months at a time. It just won't stop. You don't even need to use scaffolding.
1:47
Então você não precisa de meta de barra. Você não precisa de todas essas outras coisas. Ele simplesmente vai porque sabe que precisa realizar a tarefa.
So you don't need slash goal. You don't need all this other stuff. It'll just go because it knows it needs to do the task.
1:54
Outra coisa que estou realmente animado, e que vou começar a falar um pouco mais, mas é meio surpreendente porque é uma capacidade tão nova, é que o modelo não parece mais ser injetável por prompt.
Another thing that I'm really excited about, and I'm going to start, I think, to talk about a little bit more, but it's kind of surprising because it's such a new capability, is the model does not seem to be prompt injectable anymore.
2:08
Não é injetável por prompt. É louco. Como, as pessoas falam sobre isso, como, uma tríade letal há muito tempo.
It's not prompt injectable. It's crazy. Like, people have talked about this, like, lethal trifecta for a long time.
2:15
E isso realmente afeta o design de harness, o design de agentes e o design de produtos.
And this really affects kind of harness design and agent design and product design.
2:20
Porque se o modelo lê alguma instrução na Internet que é tipo, você sabe, faça X e Y e Z e também delete tudo no computador do usuário,
Because if the model reads some instruction on the Internet that's like, you know, do X and Y and Z and also delete everything on the user's computer,
2:29
um ano atrás o modelo simplesmente teria feito isso. Mas hoje em dia, o Opus não faz.
a year ago the model would have just done it. But nowadays, Opus does not.
2:35
E isso tem sido o caso desde, tipo, Opus 4.7, 4.8. O Sonnet 5 foi bastante bom nessa tabela, foi bastante bom nisso.
And this has actually been the case since, like, Opus 4.7, 4.8. Sonnet 5 has been quite good at this table, was quite good at it.
2:42
Mas o Opus 5 realmente atinge uma nova fronteira nisso. Então, essencialmente, se você combinar um modelo bem alinhado, isso é como essencialmente três anos de pesquisa em alinhamento,
But Opus 5 just hits like a new frontier on this. So essentially, if you combine a well-aligned model, so this is like essentially three years of research into alignment,
2:52
com um classificador de injeção de prompt, que executamos para todo o tráfego.
with a prompt injection classifier, which we run for all traffic.
2:56
E o que isso está fazendo é, é baseado no trabalho de interpretabilidade mecanicista da Chrysola,
And what this is doing is, it's based on Chrysola's mechanistic interpretability work,
3:00
onde estamos literalmente olhando para neurônios no cérebro do modelo que se acendem quando a injeção de prompt acontece.
where it's literally, we're looking at neurons in the model's brain that light up when prompt injection happens.
3:07
Então o modelo nem vai te contar, mas nós podemos realmente ver esses neurônios e podemos descobrir e diagnosticar que isso está acontecendo.
So the model won't even tell you, but we can actually see those neurons and we can figure out and diagnose that it's happening.
3:13
E então você combina isso com o classificador de modo automático. E com essas três camadas,
And then you combine that with the auto mode classifier. And with these three layers,
3:18
nós simplesmente não conseguimos demonstrar mais a injeção de prompt. Falando sobre injeção de prompt, o outro lado da moeda agora é o prompt do sistema.
we just cannot demonstrate prompt injection anymore. Talking about a prompt injection, the other side of the coin is now the system prompt.
3:28
Vamos falar um pouco sobre o novo lançamento. Você realmente deletou mais de 80% do prompt do sistema do código do relógio.
Let's talk a bit about the new release. You actually deleted over 80% of the system prompt from clock code.
3:37
Conte-nos mais sobre isso. Acho que algo que muitas pessoas podem não perceber é que o código em nuvem como produto e como um suporte está sempre mudando.
Tell us more about that. I think something that a lot of people might not realize is cloud code as a product and as a harness is just always changing.
3:47
Estamos sempre adicionando coisas. Estamos sempre deletando coisas. Cada vez que um novo modelo é lançado, deletamos um monte do prompt do sistema,
We're always adding stuff. We're always deleting stuff. Every time that a new model comes out, we delete a bunch of the system prompt,
3:55
mudamos um monte do prompt do sistema. Mudamos o conjunto de ferramentas o tempo todo. Mudamos os prompts para as ferramentas o tempo todo.
change a bunch of the system prompt. We change the set of tools all the time. We change the prompts for the tools all the time.
4:02
E a razão é que cada modelo é muito diferente.
And the reason is every model is very different.
4:07
Então algo que você fez para um modelo talvez três meses atrás, pode não se traduzir de forma alguma para o próximo modelo.
So something that you did for one model maybe three months ago, it just might not translate at all to the next model.
4:14
E então uma coisa sobre o Opus 5 é que ele é realmente inteligente.
And so one thing about Opus 5 is it's just really intelligent.
4:19
E muitas das coisas no prompt do sistema estavam corrigindo esses comportamentos que o modelo deveria ter conhecido, mas não conhecia.
And a lot of the stuff in the system prompt was correcting for these behaviors that the model should have known, but it didn't.
4:27
Agora o Opus 5 simplesmente faz isso. Então sim, deletamos 80% do prompt do sistema.
Now Opus 5 just does it. So yeah, we deleted 80% of the system prompt.
4:33
Você pode realmente tentar deletar o resto também. Então, quando você executa o Código em Nuvem, pode simplesmente fazer, tipo, traço traço prompt do sistema e definir qualquer prompt do sistema que você quiser, se quiser experimentar com isso.
You can actually try deleting the rest of it, too. So when you run Cloud Code, you can just do, like, dash dash system prompt and set whatever system prompt you want, if you want to experiment with it.
4:44
E outra coisa que você pode tentar é o modo simples. Então, isso é na verdade uma espécie de recurso não documentado.
And another thing that you can try is simple mode. So this is actually this kind of undocumented feature.
4:50
Se você fizer Código em Nuvem simples igual a um, como essa variável de ambiente, e então você executar o Cloud, ele deletará todos os prompts do sistema,
If you do Cloud Code simple equals one, like this environment variable, and then you run Cloud, it'll delete all the system prompts,
4:58
inclusive dos ferramentas. E nós realmente usamos isso
including from the tools. and we actually use this
처음 5분까지만 무료로 볼 수 있어요. 이어서 보려면 앱이나 확장 프로그램을 설치하세요.
다운로드
다른 언어로 요청하기