Mudança de carreira para o Big Data Analytics

Eu sou um profissional de TI de 35 anos que é puramente técnico. Sou bom em programação, aprendendo novas tecnologias, entendendo-as e implementando-as. Eu não gostava de matemática na escola, então não obtive bons resultados em matemática. Estou muito interessado em seguir uma carreira em análise de Big Data. Estou mais interessado no Google Analytics do que nas tecnologias de Big Data (Hadoop etc.), apesar de não gostar dele. No entanto, quando olho em volta na internet, vejo que as pessoas que são boas em análise (Data Scientists) são principalmente graduadas em matemática que fizeram seus doutorados e soam como criaturas inteligentes, que estão muito à minha frente. Às vezes, fico com medo de pensar se minha decisão está correta, porque aprender estatísticas por conta própria é muito difícil e exige muito trabalho e investimento de tempo.

Gostaria de saber se minha decisão está correta ou devo deixar este trabalho apenas para intelectuais que passaram a vida estudando em faculdades de prestígio e obtiveram seus diplomas e doutores.

Devido à alta demanda, é possível iniciar uma carreira em ciência de dados sem um diploma formal. Minha experiência é que ter um diploma geralmente é um "requisito" nas descrições de cargos, mas se o empregador estiver desesperado o suficiente, isso não importará. Em geral, é mais difícil entrar em grandes empresas com processos formalizados de solicitação de emprego do que em empresas menores sem elas. "Conhecer pessoas" pode levá-lo a um longo caminho, em ambos os casos.

Independentemente da sua educação, não importa quão alta seja a demanda, você deve ter as habilidades necessárias para fazer o trabalho.

Você está certo ao observar que estatísticas avançadas e outras matemáticas são muito difíceis de aprender de forma independente. É uma questão de quanto você deseja mudar a carreira. Enquanto algumas pessoas têm "talento natural" em matemática, todo mundo precisa fazer o trabalho para aprender. Alguns podem aprender mais rapidamente, mas todos precisam reservar um tempo para aprender.

O que se resume é a sua capacidade de mostrar aos potenciais empregadores que você tem um interesse genuíno no campo e que poderá aprender rapidamente no trabalho. Quanto mais conhecimento você tiver, mais projetos poderá compartilhar em um portfólio e mais experiência profissional, mais empregos de nível superior que estarão disponíveis para você. Pode ser necessário iniciar primeiro em uma posição de nível de entrada.

Eu poderia sugerir maneiras de estudar matemática de forma independente, mas isso não faz parte da sua pergunta. Por enquanto, apenas saiba que é difícil, mas possível se você estiver determinado a fazer uma mudança de carreira. Golpeie enquanto o ferro estiver quente (enquanto a demanda é alta).

Você deve olhar mais para o lado da infraestrutura, se não gosta de matemática. Quanto mais baixo você fica na pilha de software, mais longe fica da matemática (do tipo ciência de dados). Em outras palavras, você pode criar a base que outras pessoas usarão para criar as ferramentas que servirão aos analistas. Pense em empresas como Cloudera, MapR, Databricks, etc. As habilidades que serão úteis são sistemas distribuídos e design de banco de dados. Você não vai se tornar um cientista de dados sem matemática; essa é uma noção ridícula!

Na minha experiência de doutorado, não significa necessariamente ser bom no ambiente da empresa de ciência de dados, trabalho como cientista de dados e sou apenas um engenheiro, mas conheci alguns professores universitários que trabalham em colaboração com minha empresa e às vezes eu disse a eles que o ponto de vista deles não estava certo porque, apesar de suas idéias e raciocínios, não eram aplicáveis ​​às atividades da empresa, então tivemos que modificar alguns modelos de dados para torná-los úteis para a empresa e os resultados perderam seu valor, então tivemos que buscar novos modelos. O que eu quero dizer é que a Ciência de Dados é uma área multidisciplinar, pois são necessárias muitas pessoas trabalhando juntas, então eu acho que suas habilidades podem ser muito úteis em uma equipe de cientistas de dados, você só precisa descobrir onde se encaixa;)

Pode ser que seja um pouco fora de tópico, mas eu recomendo que você faça esse MOOC https://www.coursera.org/course/statistics . Esta é uma introdução muito boa e clara às estatísticas. Ele fornece princípios básicos sobre o campo principal da ciência de dados. Espero que seja um bom ponto de partida para começar a amizade entre você e as estatísticas.

Eu não vi isso mencionado, mas é importante ter em mente que você pode observar uma diminuição no salário. Digo isso sem saber quanto você ganha, mas passar de (presumo) um profissional de TI experiente para um cientista de dados iniciante pode não lhe render tanto.

Aqui está um link para uma parte do estudo de 2015 da Burtch Works sobre os salários da ciência de dados:

http://www.burtchworks.com/files/2015/05/DS-2015_Changes-in-Base-Salaries.pdf

Como você pode ver, o salário médio para colaboradores individuais de nível 1 é de 90k (em todo o país). O relatório completo apresenta o detalhamento com base na região, mas, supondo que você seja um profissional de TI experiente, provavelmente está fazendo mais do que isso.

História anedótica com n = 1: Um dos meus colegas de classe no meu programa de mestrado em DS era um desenvolvedor Java experiente com uma casa, família etc. Embora ele estivesse muito interessado em análise de dados (pago pelo programa), seu salário em potencial a análise de dados não seria capaz de suportar o estilo de vida que ele tinha atualmente como desenvolvedor Java. Como resultado, ele basicamente "desperdiçou" seu diploma e voltou ao desenvolvimento. Eu realmente odiaria ver isso acontecer com mais pessoas.

Lembre-se de que "big data" é uma coisa cada vez mais na moda para uma empresa dizer que está envolvida. Os superiores podem ler um artigo sobre isso na HBR e dizer a si mesmos: "Eu tenho que conseguir alguns que "(não que eles estejam necessariamente errados).

O que isso significa para você é que a análise avançada não é tão necessária para a empresa quanto a instalação de algo em funcionamento.

Felizmente para você, a maioria dos componentes que as empresas podem precisar é de graça. Além disso, acredito que tanto a Hortonworks quanto a Cloudera têm máquinas virtuais gratuitas "sandbox", que você pode executar no seu PC, para brincar e se orientar.

A análise avançada em plataformas de big data é valiosa, com certeza, mas muitas empresas precisam aprender a rastrear antes de poderem executar.

Esta é uma pergunta realmente estranha na minha opinião. Por que você está indo para uma nova direção, se não tem certeza de que ama essa nova direção ou pelo menos a acha muito interessante? Se você gosta de Big Data, por que se importa com as criaturas inteligentes de PhD que já estão em campo? A mesma quantidade de criaturas de doutorado existe em todas as áreas da TI. Leia rapidamente este artigo muito bom http://www.forbes.com/sites/louisefron/2013/09/13/why-you-cant-find-a-job-you-love/ e, em seguida, pergunte a si mesmo se você ama Big Data o suficiente e está pronto para adicionar seu grão de areia à montanha do conhecimento