Desde os primeiros dias do e-mail, até as redes sociais de hoje, as plataformas de internet há muito tempo têm que enfrentar abusos, incluindo mensagens em massa e comportamento automatizado que espalha contúedo problemático. O Whatsapp adota uma abordagem multifacetada para esse desafio, ao mesmo tempo em que trabalha para manter a natureza privada do serviço oferecido.
Foram construídos sofisticados sistemas de aprendizado de máquina para detectar comportamento abusivo e banir constas suspeitas no registro, durante as mensagens e em resposta a relatórios de usuários. Foram removidas mais de 2 milhões de contas por mês por comportamento em massa ou automatizado.
O Whatsapp foi criado para mensagens privadas
O WhatsApp foi criado para ajudar as pessoas a conversar com seus entes queridos, realizar negócios ou conversar confidencialmente com um médico.
Em vez de incentivar os usuários a construir um público e compartilhar amplamente, o Whatsapp foi projetado para ajudar as pessoas a compartilhar com outras pessoas que conhecem ou obter informações úteis de uma empresa. Para proteger a privacidade e a segurança dos usuários, o Whatsapp fornece a criptografia de ponta a ponta por padrão, o que significa que apenas o remetente e o destinatário podem ver o conteúdo das mensagens.
O Whatsapp não é uma plataforma de transmissão
É estabelecido limites para o tamanho dos grupos e a forma como os usuários enviam mensagens.
Aproximadamente 90% das mensagens enviadas no WhatsApp são de uma pessoa para outra, e a maioria dos grupos tem menos de dez pessoas. O WhatsApp exige que o remetente da mensagem conheça o número de telefone do destinatário. Sempre que um usuário recebe uma mensagem de alguém que não está em sua lista de contatos, perguntamos ao usuário se eles desejam bloquear ou denunciar o remetente.
Exploração do serviço oferecido
Como acontece com qualquer plataforma de comunicação, às vezes as pessoas tentam explorar o serviço oferecido pelo Whatsapp.
Alguns podem querer distribuir links sensacionalistas projetados para capturar informações pessoais,
enquanto outros desejam promover uma ideia. Independentemente da intenção, o envio automatizado e em massa de mensagens viola os termos de serviço e uma das prioridades é prevenir e interromper esse tipo de abuso.
A abordagem do Whatsapp
Foi preciso equilibrar o desejo por transparência sem comprometer a eficácia dessas medidas contra abusos. Devido à natureza da criptografia de ponta a ponta, foi concentrado no comportamento das contas e no conteúdo relatado pelos usuários.
Foram empregados uma equipe de engenheiros, cientistas de dados, analistas e pesquisadores com uma ampla gama de experiências e conhecimentos para dissuadir e prevenir abusos.
O Whatsapp presta muita atenção ao usuários
O Whatsapp presta muita atenção ao feedback dos usuários e interagem com especialistas em desinformação, cybersegurança e integridade eleitoral.
Através desse esforço abrangente, a plataforma busca tornar difícil para os adversários abusarem do serviço criado para conectar as pessoas.
- Enquanto muitos serviços online exigem um e-mail para se cadastrar, o WhatsApp é em números de
telefone e requer que todos os usuários tenham um. Isso nos oferece oportunidades únicas para identificar aqueles que buscam abusar de nosso serviço - Os números de celular são ativados por meio de cartões SIM, que são distribuídos pelas operadoras. Comprar um cartão SIM é geralmente simples para um usuário normal, mas a aquisição em grande
quantidade pode ser logisticamente difícil - Em alguns lugares, é necessário fornecer identificação para a compra, e os custos podem variar de acordo com as regiões. Projetamos nossa detecção de abuso levando esses fatores em consideração.
Números de telefone provenientes de áreas com histórico de fraudes
Podem indicar ao WhatsApp que existe um problema com uma conta. Isso também pode ser um sinal para os usuários, pois receber uma mensagem de um número desconhecido muitas vezes indica que algo não está correto.
Claro, outros tipos de serviços de mensagens também sofrem com abusos. Uma análise recente dos serviços de comunicação nos EUA citada pela CTIA indicou que 2,8% das mensagens de SMS e 50% dos e-mails são spam. Assim como nessas plataformas, prevenir que os usuários recebam esse tipo de mensagem é uma prioridade máxima.
O WhatsApp tem trabalhado para reduzir o spam
Desde que foi ativada a criptografia de ponta a ponta por padrão em 2016, o WhatsApp tem trabalhado para reduzir o spam e manter a saúde do serviço
- Enviar mensagens em massa a partir de um telefone celular é demorado. É por isso que as pessoas que tentam enviar mensagens em massa frequentemente desenvolvem hardware ou software para automatizar o processo.
- No entanto, essas etapas envolvem custo financeiro e riscos. A tecnologia do Whatsapp tem como objetivo identificar contas que utilizam automação e tomar medidas para impedir sua ação.
- Ao fazer isso, o objetivo é aumentar os custos associados a esse tipo de abuso e dissuadir os atores
mal-intencionados de tentarem novamente no futuro.
Detectando e Combatendo Abusos
A tentativa de distribuir conteúdo em massa no WhatsApp requer que os usuários contornem o design da plataforma. Ao fazer isso, eles exibem sinais que usamos para identificar contas abusivas.
O objetivo é identificar e interromper contas abusivas o mais rapidamente possível, e é porisso que identificar manualmente essas contas não é realista. Em vez disso, o Whatsapp possui sistemas avançados de aprendizado de máquina que tomam medidas para banir contas 24 horas por dia, 7 dias por semana.
Essa detecção de abuso opera em três estágios da vida útil de uma conta: no momento do registro; durante as trocas de mensagens; e em resposta a feedback negativo, que recebemos na forma de denúncias e bloqueios de usuários. Uma equipe de analistas complementa esses sistemas para avaliar casos específicos e ajudar a melhorar nossa eficácia ao longo do tempo.
Continuamente, o Whatsapp trabalha para detectar abusos o mais cedo possível, para ter o maior impacto na prevenção antes que o abuso possa atingir as pessoas.
O WhatsApp bane mais de dois milhões de contas por mês
Nos últimos três meses, o WhatsApp baniu mais de dois milhões de contas por mês devido a comportamento em massa ou automatizado, e mais de 75% dessas contas não tinham denúncias recentes de usuários.Para lidar com casos raros em que uma conta é banida por engano, temos uma equipe que revisa e responde às apelações dos usuários. Nesse processo, os usuários podem ser solicitados a fornecerinformações adicionais para recuperar o acesso à sua conta.
Todas as contas devem passar por um ponto de verificação comum
O registro. Nesta etapa, o WhatsApp envia um código temporário por SMS ou chamada telefônica. Os usuários devem inserir este código único para comprovar que têm controle sobre o número de telefone e o cartão SIM de sua conta.
Também é oferecido a verificação em duas etapas opcional para evitar que atacantes tentem assumir
contas que não possuem de fato.
Como todas as contas precisam passar pelo registro antes de poderem enviar qualquer mensagem, é um
ponto de partida eficaz para concentrar os esforços.
O WhatsApp se preocupa com a privacidade dos usuários
O WhatsApp se preocupa profundamente com a privacidade dos usuários, é porisso que não pedimos muitas informações deles. No entanto, mesmo informações básicas da conta, juntamente com um endereço IPe informações associadas à operadora, podem ser usadas para ensinar nossos sistemas de aprendizado de máquina a diferenciar entre registros em massa e registros normais.
Como são banidas contas que enviam um grande volume de mensagens, campanhas coordenadas frequentemente tentam espalhar suas atividades por várias contas diferentes.Portanto, é trabalhado para entender os sinais comportamentais que indicam registros em massa.
os sistemas detectam se um número de telefone similar foi abusado
Por exemplo, os sistemas podem detectar se um número de telefone similar foi recentemente abusado ou se a rede de computadores usada para o registro está associada a comportamentos suspeitos. Como resultado, são capazes de detectar e banir muitas contas antes mesmo de se registrarem, impedindo-as de enviar qualquer mensagem. No mesmo período de três meses, aproximadamente 20% dos bans de contas ocorreram no momento do registro.
Para contas que concluem o registro, avaliamos como elas se comportam em tempo real
Todas as mensagens são criptografadas de ponta a ponta, o que significa que o WhatsApp não pode ver o conteúdo das mensagens que passam por nosso sistema, mas somos capazes de analisar a frequência da atividade da conta.
Usuários normais operam relativamente devagar no WhatsApp, enviando mensagens uma de cada vez ou ocasionalmente encaminhando conteúdo. A intensidade da atividade do usuário pode ser um sinal de que as contas estão abusando do WhatsApp.
Por exemplo, uma conta que se registrou cinco minutos antes de tentar enviar 100 mensagens em 15 segundos é quase certamente um caso de abuso, assim como uma conta que tenta criar rapidamente dezenas de grupos ou adicionar milhares de usuários a uma série de grupos existentes.
Essas contas são banidas imediatamente e automaticamente. Em situações menos óbvias, uma nova conta pode enviar mensagens para dezenas de destinatários que não possuem o número do remetente em seus contatos. Isso pode ser o início de um ataque de spam ou apenas um usuário inocente informando seus contatos sobre um novo número de telefone.
Nesses casos, a plataforma considera informações históricas (por exemplo, a suspeição do registro) para distinguir comportamentos de usuários anormais, mas inocentes. Em resumo, os sistemas de detecção avaliam centenas de fatores para combater o abuso.
Desenvolvimento de mecanismos de detecção de automação
Também são desenvolvidos mecanismos de detecção que têm como alvo diretamente a automação. Por exemplo, é exibido no topo de uma conversa quando um usuário está digitando. Spammers que tentam automatizar o envio de mensagens podem não possuir a habilidade técnica para falsificar esse indicador de digitação. Se uma conta enviar constantemente mensagens sem acionar o indicador de digitação, isso pode ser um sinal de abuso, e a conta será banida. Essa é apenas um exemplo das combinações de ações ou omissões que a inteligência artificial analisa automaticamente para tomar decisões sobre quais contas banir em casos de abuso.
A tecnologia foi avançada ao ponto em que combina sinais para fazer determinações rápidas sem intervenção humana. Aprendemos com o comportamento de outros usuários e inferimos a reputação
das novas contas.
Por exemplo, se uma rede de computadores ativa foi recentemente utilizada por abusadores
conhecidos, há mais motivos para acreditar que uma nova conta nessa rede é provável de ser abusiva.
Esses comportamentos, juntamente com outros sinais o comportamento atual e passado, são úteis para identificar campanhas coordenadas que estão tentando abusar do WhatsApp.
Compreender as diversas motivações
É importante tentar compreender as diversas motivações envolvidas. Por exemplo, alguém que possui um incentivo econômico pode querer induzir usuários desprevenidos a clicarem em um link suspeito, que poderia levar a um site que coleta informações pessoais do usuário.
O fato de as contas serem banidas rapidamente eleva seus custos, de forma que qualquer receita incremental obtida por meio dessas táticas pode não valer o investimento para tentá-las em primeiro lugar.
Os objetivos de alguém com motivação política, como tentar distorcer a discussão pública com informações falsas, podem ser diferentes. Eles procuram organizar e despertar interesse em um país, região ou até mesmo cidade – muitas vezes dentro de um período de tempo limitado. Para isso, eles podem adquirir listas direcionadas de números de telefone de terceiros para enviar mensagens aos usuários no WhatsApp sem o consentimento deles.
Por essa razão, são mantidos limites sobre quantos grupos uma conta pode criar dentro de um determinado período de tempo, e contas com comportamento suspeito em grupos são banidas, se apropriado, mesmo que suas taxas de atividade sejam baixas ou ainda não tenham demonstrado um alto alcance.
Sempre que um usuário é adicioado a um grupo por alguém que não está em sua lista de contatos, é exibida uma opção que pergunta se o usuário deseja “denunciar” ou “sair” do grupo.
Feedback negativo acumulados
Por fim, se uma conta acumula feedback negativo, como quando outros usuários enviam denúncias ou bloqueiam a conta, os sistemas do WhatsApp avaliam a conta e tomam ação apropriada.
O WhatsApp facilita para os usuários relatarem um problema, e os usuários são incentivados a fazê-lo. Sempre que um usuário recebe uma mensagem pela primeira vez de um número desconhecido, são exibidas opções que permitem que eles “denunciem” ou “bloqueiem” a conta do remetente.
Relato de problema ao WhatsApp
Além disso, os usuários podem relatar um problema ao WhatsApp a qualquer momento, seja em uma conversa individual ou em um grupo.
Quando um usuário envia um relatório, os sistemas de aprendizado de máquina da nossa empresa revisam e categorizam os relatórios para que possamos entender melhor a motivação da conta, como se ela estivesse tentando vender um produto ou disseminar desinformação. Essas novas informações não apenas ajudam a banir contas, mas também aprimoram nossos sistemas de aprendizado de máquina para agir mais cedo no futuro (como no momento do registro ou durante as mensagens, conforme descrito ao lado).
Manipulação da ferramenta de denúncia
Embora o WhatsApp busque banir rapidamente o abuso, reconhece-se que a ferramenta de denúncia pode ser manipulada. Suponha que um grupo de pessoas queira impedir um indivíduo de usar o WhatsApp. Eles podem organizar outros usuários para fazer uma série de denúncias contra a vítima.
Se os sistemas do WhatsApp olhassem apenas para as taxas de denúncias e banissem todas as contas que excedessem um limite, ataques como esse poderiam prejudicar usuários legítimos da plataforma. Em vez disso, é avaliada a relação entre o denunciante e o usuário denunciado para avaliar rapidamente o comportamento.
Por exemplo, quando alguém denuncia a primeira mensagem que recebe de um número desconhecido, há maior confiança de que a denúncia é legítima. Nos casos em que o número denunciado não iniciou a comunicação, trabalha-se para garantir que não houve coordenação entre outras pessoas para denunciar falsamente a conta.
Os esforços do WhatsApp frente aos abusadores
Os esforços do WhatsApp para se manter à frente de abusadores altamente motivados são constantes. Com a crescente popularidade da plataforma, os esforços de detecção foram expandidos. Os sinais analisados tornaram-se complexos demais para serem avaliados individualmente em cada caso.
Felizmente, os computadores são muito bons em considerar um grande número de fatores ao mesmo tempo. Com isso em mente, o WhatsApp desenvolveu modelos de aprendizado de máquina para ajudar a identificar rapidamente abusos.
Os modelos de aprendizado de máquina requerem componentes básicos conhecidos como recursos (features), rótulos (labels) e infraestrutura para completar suas tarefas. Recursos são os sinais específicos, como número de denúncias, taxa de mensagens, reputação de outros usuários que compartilham a mesma rede de computadores, entre outros, que fornecem insights sobre comportamento abusivo.
São utilizados rótulos para marcar os piores infratores
São utilizados rótulos para marcar os piores infratores e distinguir seus comportamentos dos usuários regulares. Os recursos e rótulos são usados para ensinar os sistemas a prever melhor se um usuário provavelmente será banido no futuro.
Por exemplo, se determinarem que o comportamento de uma conta no momento do registro coincide com o comportamento de outras contas que foram banidas, iremos banir a conta antes mesmo que ela possa enviar qualquer mensagem. Se esses sistemas anteriormente detectavam contas após o envio de 50 mensagens, um modelo de aprendizado de máquina treinado com os recursos e rótulos dessas contas detectará tentativas semelhantes muito mais rapidamente.
Por fim, é necessária infraestrutura para treinar esses classificadores, avaliar seu desempenho e analisar o comportamento de envio de usuários reais. Nesse sentido, foi trabalhado para adaptar o chamado “Sistema Imune do Facebook” para uso em redes sociais no serviço de mensagens.
No futuro, queremos aumentar a velocidade desses sistemas garantindo que possam obter rótulos em tempo real de contas abusivas que foram ignoradas e de contas boas que foram identificadas incorretamente como abusivas. Isso ajudará nossos modelos de aprendizado de máquina a se adaptarem e responderem imediatamente a qualquer novo tipo de abuso. Quanto mais pudermos aumentar o custo para aqueles que tentam abusar da plataforma, menos eles terão sucesso.
Enfrentando Desafios além do produto
Também foi observado que alguns invasores tentam modificar o software do WhatsApp e compartilhar arquivos APK não autorizados para contornar as restrições codificadas no próprio cliente. Essas modificações não conseguem burlar os sistemas de detecção que são executados nos servidores do WhatsApp e se aplicam a todos os usuários sem exceção.
Ainda assim, está sendo aprimorada a capacidade de detectar essas versões modificadas do WhatsApp, pois elas violam os Termos de Serviço e representam um risco de segurança para os usuários que as instalaram em seus dispositivos. Os usuários devem baixar o WhatsApp apenas no site oficial ou em lojas de aplicativos, como o Google Play ou a Apple App Store.
Também se vai além da plataforma, quando possível. Trabalha-se com fornecedores para banir aplicativos de terceiros que afirmam fornecer serviços não autorizados para a plataforma. Além disso, quando empresas afirmam que podem enviar mensagens em massa no WhatsApp, exige-se que cessem as operações e se reservam todos os direitos disponíveis conforme a lei aplicável.
Privacidade e segurança
Acredita-se firmemente que fornecer uma plataforma para comunicação privada contribui para a segurança dos usuários. Espera-se que as mensagens estejam protegidas para evitar que caiam nas mãos erradas. Em alguns lugares, o WhatsApp se torna uma linha de vida para organizações de direitos humanos e jornalistas. Por meio de uma combinação de esforços, pode-se ajudar a prevenir abusos e continuar a fornecer os benefícios de privacidade e segurança que vêm com a criptografia de ponta a ponta.
Combater mensagens automatizadas e em massa é apenas uma das maneiras pelas quais se ajuda os usuários a permanecerem seguros. Também são feitas modificações no design do produto com base em como ele é usado. Agora, as mensagens encaminhadas são rotuladas para notificar os usuários quando a mensagem recebida não foi criada pelo remetente.
Eles limitaram a quantidade de mensagens encaminhadas que podiam ser enviadas de uma só vez. Em vários países, lançaram campanhas de educação pública para ajudar os usuários a identificar boatos e alertá-los para não espalhar rumores.
Em conclusão, a abordagem adotada por eles ao assumirem uma visão abrangente de sua responsabilidade em ajudar os usuários é fundamental para manter a privacidade e a segurança no WhatsApp. Através do incentivo aos usuários para bloquear e denunciar contas com mensagens indesejadas, eles continuam aprimorando o aplicativo, fornecendo assim um serviço valioso e seguro em escala global.
Esse artigo é uma tradução.
Você pode gostar também:
