A exchange de criptomoedas americana Coinbase testou recentemente o ChatGPT, o chatbot de inteligência artificial que se tornou popular. O teste era para determinar a precisão de sua revisão de segurança em um token. A empresa fez isso comparando seus resultados com os de um engenheiro de segurança blockchain.
De acordo com uma postagem no blog da Coinbase, a equipe de segurança blockchain da bolsa experimentou o ChatGPT devido ao hype em torno de sua capacidade de detectar vulnerabilidades de segurança.
O trabalho da equipe de segurança envolve pesquisar as formas mais eficientes e eficazes de revisar contratos de token. Além disso, é essa equipe que decide se um ativo pode ser listado na bolsa.
A equipe de segurança da exchange executou vários prompts no ChatGPT. Por fim, concluiu que o chatbot de IA não estava pronto para ser integrado ao processo de revisão de segurança.
A equipe comparou 20 pontuações de risco de contratos inteligentes entre o ChatGPT e uma revisão de segurança manual, e descobriu que o bot AI deu o mesmo resultado que a revisão manual 12 vezes.
A postagem do blog dizia:
“Das 8 falhas, 5 delas foram casos em que o ChatGPT rotulou incorretamente um ativo de alto risco como de baixo risco, que é o pior caso de falha: subestimar uma pontuação de risco é muito mais prejudicial do que superestimar.”
A equipe de segurança concluiu que o ChatGPT não era capaz de reconhecer quando faltava contexto para realizar uma análise de segurança completa. Isso resultou em lacunas de cobertura, onde situações adicionais não foram revisadas.
No entanto, a Coinbase reconheceu que o ChatGPT se mostrou promissor por sua capacidade de avaliar rapidamente os riscos de contratos inteligentes.
