Permitem o processamento de IA em alta velocidade e contribuem para o desenvolvimento de sistemas otimizados conectados à nuvem

A Sony Corporation anunciou hoje que irá lançar, em breve, dois novos modelos de sensores de visão inteligentes, os primeiros sensores de imagem do mundo com uma funcionalidade de inteligência artificial integrada.*1 A integração de uma funcionalidade de processamento de inteligência artificial no próprio sensor de imagem permite um processamento de inteligência artificial de alta velocidade, bem como a extração de apenas os dados necessários, reduzindo, assim, o tempo de transmissão dos dados, o consumo de energia e os custos com as comunicações e protegendo a privacidade.

Sensores de visão inteligentes À esquerda: IMX500 À direita: IMX501

Estes produtos expandem as oportunidades de desenvolvimento de câmaras equipadas com IA possibilitando uma ampla gama de aplicações nos setores do retalho e dos equipamentos industriais e contribuindo para a criação de sistemas otimizados com ligação à nuvem.

Nome do modelo Data de envio dos modelos Preço dos modelos (sem impostos)
Sensor de visão inteligente IMX500 do tipo 1/2.3 (7,857 mm diagonal) com aprox. 12,3 megapíxeis efetivos (produto bare chip) Abril de 2020 10 000 JPY
Sensor de visão inteligente IMX501 do tipo 1/2.3 (7,857 mm diagonal) com aprox. 12,3 megapíxeis efetivos (produto de pack) Junho de 2020 (previsão) 20 000 JPY

A disseminação da “Internet das Coisas” (IoT) resultou na ligação de todo o tipo de dispositivos à nuvem, generalizando a utilização de sistemas de processamento de informações, nos quais as informações obtidas a partir desses dispositivos são processadas através de inteligência artificial na nuvem. Por outro lado, o aumento do volume das informações tratadas na nuvem apresenta vários problemas: aumento do tempo de transmissão dos dados, dificultando o processamento de informações em tempo real; preocupações com a segurança associadas ao armazenamento de dados pessoais identificáveis na nuvem por parte dos utilizadores; outras questões, tais como o aumento do consumo de energia e dos custos com as comunicações associados aos serviços relacionados com a nuvem.

Estes novos sensores dispõem de uma configuração empilhável composta por um chip de píxeis e um chip com função lógica. Tratam-se dos primeiros sensores de imagem do mundo equipados com uma funcionalidade de processamento e de análise de inteligência artificial no chip com função lógica. O sinal captado pelo chip de píxeis é processado através da inteligência artificial integrada no sensor, eliminando a necessidade de processadores de alto desempenho ou de uma memória externa e permitindo o desenvolvimento de sistemas de inteligência artificial. O sensor gera metadados (informações semânticas pertencentes aos dados da imagem) ao invés de informações da imagem, reduzindo o volume dos dados e protegendo mais a privacidade. Além disso, a inteligência artificial possibilita a criação de várias funcionalidades para aplicações versáteis, tais como o seguimento de objetos em tempo real com um processamento de inteligência artificial de alta velocidade. Também é possível selecionar diferentes modelos de inteligência artificial ao regravar a memória interna de acordo com as suas preferências ou com as condições da localização na qual o sistema está a ser utilizado.

 

Principais funções

? O primeiro sensor de imagem do mundo equipado com uma funcionalidade de processamento de inteligência artificial

O chip de píxeis é retroiluminado e dispõe de aproximadamente 12,3 megapíxeis efetivos para a captação de informações ao longo de um amplo ângulo de visão. Além do circuito de funcionamento convencional do sensor de imagem, o chip com função de lógica está equipado com o processador de sinal digital original da Sony (DSP) dedicado ao processamento de sinais de inteligência artificial, bem como de uma memória para o modelo de inteligência artificial. Esta configuração elimina a necessidade de processadores de alto desempenho ou de uma memória externa, tornando-a ideal para sistemas de inteligência artificial.

? Saída de metadados

Os sinais obtidos pelo chip de píxeis passam por um processador de sinais de imagem (ISP) e processados através de inteligência artificial na fase de processamento do chip com função de lógica, e as informações extraídas são apresentadas como metadados, reduzindo a quantidade de dados tratados. A garantia de que as informações de imagem não são apresentadas ajuda a reduzir os riscos associados à segurança, bem como a proteger a privacidade. Além das imagens gravadas pelo sensor de imagem convencional, os utilizadores podem selecionar o formato dos dados apresentados de acordo com as suas necessidades e utilizações, incluindo a apresentação de formato ISP (YUV/RGB) e a extração de imagens por área específica de ROI (Região de interesse).

? Processamento de inteligência artificial de alta velocidade

Quando um vídeo é gravado utilizando um sensor de imagem convencional, é necessário enviar dados para cada quadro individual da imagem para a realização do processamento de inteligência artificial, resultando numa maior transmissão de dados e dificultando o desempenho em tempo real. Os novos sensores de visão inteligentes da Sony oferecem um processamento ISP e um processamento de inteligência artificial de alta velocidade (processamento em 3,1 milissegundos para Mobilenet V1*2) no chip com função de lógica, concluindo todo o processo num único quadro de vídeo. Este design possibilita efetuar o seguimento de objetos em tempo real com uma alta precisão durante a gravação de vídeos.

? Modelo de inteligência artificial selecionável

Os utilizadores podem gravar modelos de inteligência artificial de acordo com as suas preferências na memória integrada, bem como regravar e atualizar de acordo com os seus requisitos ou as condições da localização na qual o sistema está a ser utilizado. Por exemplo, quando um estabelecimento comercial dispõe de várias câmaras instaladas com este produto, é possível utilizar um único tipo de câmara com grande versatilidade em diferentes localizações, circunstâncias, horas ou para diferentes efeitos. Quando uma câmara se encontra instalada à entrada do estabelecimento, pode ser utilizada para contabilizar o número de clientes que entram no mesmo; quando instalada numa prateleira de uma loja, pode ser utilizada para detetar faltas no estoque; quando instalada no teto, pode ser utilizada para efetuar o mapeamento do calor dos clientes da loja (detetando as localizações onde existe uma maior aglomeração de pessoas) e semelhantes. Além disso, o modelo de inteligência artificial numa dada câmara pode ser regravado a partir de um modelo utilizado para efetuar o mapeamento de calor para outro que identifica o comportamento dos clientes, etc.

Exemplo de utilizações de câmaras num estabelecimento

Principais especificações

 

*1 De entre os sensores de imagem. De acordo com uma pesquisa da Sony (à data do anúncio, em 14 de maio de 2020).

*2 MobileNet V1: um modelo de inteligência artificial com análise de imagem para o reconhecimento de objetos em dispositivos móveis.