Arquitetura de Big Data

Uma arquitetura de Big Data costuma possuir várias camadas específicas, cada uma com uma função diferente.

De maneira geral, as camadas são:
– Entrada do pedido
– Orquestração
– Processamento
– Predição
– Retorno da informação

Nesta apresentação, trazemos uma jornada de análise de arquiteturas serverless para se utilizar com um micro-serviço de machine learning.

Analisamos vários pontos, mostrando os prós e contras de cada solução.

Link: https://www.youtube.com/watch?v=WhR4BXb3Ja0&t=1144s

Big Data em Multi-Cloud

Como operar um ambiente de Big Data em Multi-Cloud? E como fazer este ambiente servir a diversos propósitos, seja para um BI, para um trabalho de Análise e Mineração de Dados ou para alimentar a criação de Modelos de Machine Learning?

Aprenda como a AME Digital resolveu este problema neste webinar da campdata: https://www.youtube.com/channel/UCePbMP6CDVtRVkTon3USpRg

Aproveite!

Arquitetura Lambda na Prática

Existem diversos padrões de de arquitetura para Big Data e Data Pipelines.

Uma delas é a Arquitetura Lambda. Ela permite que um mesmo dado seja processado em real time para visualização rápida, ao mesmo tempo em que este dado vai para uma área de dados históricos, onde será processado de outras maneiras.

Nesta palestra demonstramos como construir uma Arquitetura Lambda na prática na Amazon Web Services (AWS).

Link: https://www.youtube.com/watch?v=z_jJH57rM-o

Princípios de Cloud Computing

O que é Cloud Computing?

Cloud Computing, ou Computação em Nuvem, é o nome dado para os recursos computacionais oferecidos como serviço, por algum fornecedor de tecnologia, através da Internet.

Existem três tipos de ofertas principais:

   Infrastructure as a Service (IaaS): É quando o fornecedor oferece máquinas (servidores), discos, redes virtuais, armazenamento de dados ou qualquer outro recurso de infraestrutura como um serviço através da Internet. Isto significa que estes recursos ficarão fisicamente nos Data Centers do fornecedor e você terá acesso exclusivo aos mesmos, como se fossem seus (o que de fato são).

   Platform as a Service (PaaS): É um nível acima do IaaS. Aqui temos uma infraestrutura por baixo, mas além dela temos algum tipo de serviço configurado. São exemplos de PaaS: bancos de dados, DNS, FTP, Single Sign On, etc. Neste nível de serviço você adquire uma plataforma pré-configurada e pronta para o uso (por exemplo: você pode adquirir um banco de dados rodando normalmente e pronto para receber conexões). Mais uma vez, os recursos são exclusivos e outros usuários não terão acesso aos seus dados.

   Software as a Service (SaaS): Esta é talvez a sigla mais famosa das atuais ofertas de Cloud. Ela significa adquirir toda uma solução como serviço, ou seja, ao invés de você comprar máquinas e adquirir licenças para rodar um sistema ERP, por exemplo, você pode simplesmente “assinar” um sistema como serviço e utilizá-lo via Web. Este sistema provavelmente utilizará, em sua infraestrutura, os conceitos de IaaS e PaaS que vimos anteriormente.