Hadoop
Hadoop é uma poderosa plataforma de software em Java para computação distribuída, projetada para lidar com grandes volumes de dados em clusters. Sua arquitetura prioriza a tolerância a falhas, garantindo a continuidade do processamento mesmo em caso de falhas de hardware. Inspirado nos conceitos do Google File System (GFS) e MapReduce, o Hadoop é um projeto de alto nível da Apache, desenvolvido por uma comunidade ativa e amplamente utilizado por empresas como o Yahoo!, que é seu maior contribuidor. A plataforma também está disponível em serviços de nuvem da Amazon e IBM.
Pontos-chave
- Plataforma Java para processamento distribuído de grandes volumes de dados.
- Arquitetura focada em tolerância a falhas de hardware.
- Inspirado em projetos do Google (GFS e MapReduce).
- Projeto de código aberto da Apache com forte comunidade de contribuidores.
- Utilizado e impulsionado por grandes empresas como Yahoo!, Amazon e IBM.
Imagem: Alexandre Dulaunoy · BY-SA · Openverse
A concepção do Hadoop remonta a outubro de 2003, com a publicação do artigo sobre o Google File System. Inspirado por este e pelo artigo "MapReduce: processamento de dados simplificado em grandes clusters", o desenvolvimento inicial ocorreu no projeto Apache Nutch. Em janeiro de 2006, foi transferido para um novo subprojeto, o Hadoop. Doug Cutting, então no Yahoo!, nomeou-o em homenagem a um brinquedo de seu filho. O código original, derivado do Nutch, incluía cerca de 5.000 linhas para o HDFS e 6.000 para o MapReduce. Owen O'Malley foi o primeiro a contribuir para o projeto Hadoop em março de 2006, e a versão 0.1.0 foi lançada em abril do mesmo ano. O sistema continua em constante evolução graças às contribuições da comunidade. Dhruba Borthakur escreveu o primeiro documento de design para o Hadoop Distributed File System em 2007.
O framework Apache Hadoop, em sua versão 2.2.x, é composto por diversos módulos essenciais. A premissa fundamental de todos os módulos do Hadoop é que falhas de hardware são eventos esperados e comuns, seja em máquinas individuais ou em conjuntos de máquinas em racks. Por isso, o framework foi projetado para que essas falhas sejam automaticamente detectadas e tratadas pelo próprio software, garantindo a robustez e a continuidade das operações.
