A Mineração de Dados pode parar a matança? – Uma reflexão sobre o episódio do Atirador do Colorado e a Mineração de Dados

Até esse momento diversos sites já estão reportando a situação sobre o atirador do Colorado nos Estados Unidos e estão nesse exato momento acontecendo diversos debates (Controle de Armas, Vídeo Games, Políticas de Restrições de Liberdades, entre outros.) (http://www.nytimes.com/2012/07/21/us/shooting-at-colorado-theater-showing-batman-movie.html) que estão fora do escopo de atuação desse site.

Entretanto, o assunto serve como plano de fundo para uma discussão que envolve Mineração de Dados e desenvolvimento de políticas de acesso á dados e controle governamental sobre dados “privativos”. O artigo do Holman W. Jenkins, Jr do Wall Street Journal coloca a questão à mesa em uma visão sóbria e realista pegando como exemplo o massacre ocorrido.

O artigo realiza uma série de indagações sobre quando a mineração de dados poderá ser usada para  interromper esse tipo de matança (por isso o título original do artigo Can Data Mining Stop the Killing?) e sobre as discussões sobre o programa Total Information Awareness que regula sobre as questões de Data Gathering e Mineração de Dados sobre informações de todos os cidadãos dos EUA.

Mas há dois trechos do artigo que merecem um destaque especial, que são:

[…]The Colorado shooter Mr. Holmes dropped out of school via email. He tried to join a shooting range with phone calls and emails going back and forth. He bought weapons and bomb-making equipment. He placed orders at various websites for a large quantity of ammunition. Aside from privacy considerations, is there anything in principle to stop government computers, assuming they have access to the data, from algorithmically detecting the patterns of a mass shooting in the planning stages? […]

Tradução livre: O atirador do Colorado Sr. Holmes largou a escola via um e-mail. Ele tentou se filiar a um clube de tiro com chamadas telefônicas e e-mails indo e voltando. Ele comprou armas e equipamento para fabricação de bombas. Ele encomendou em diversos sites ampla quantidade de munição. Deixando de lado questões relacionadas à privacidade, há alguma coisa em princípio para interromper os computadores do governo, assumindo que eles têm o acesso aos dados, e detectar algoritmicamente os padrões de planos de chacinas em seus estágios iniciais?

 E esse trecho:

[…]The anguishing thing about mass-shooting incidents is that patterns are indeed present […]

Tradução livre: O angustiante sobre essas chacinas é que os padrões estão sempre presentes.

Utilizando como ponto de partida dessa reflexão, há uma frase que se enquadra bem nesse contexto que é “Quando a arma que mata é a mesma que defende a liberdade, os Santos choram; mas não acusam”. Isso quer dizer que partindo das indagações( justas) do Sr. Jenkins, bem como das diversas manifestações da American Civil Liberties Union (ACLU – Em tradução livre: União das Liberdades Civis Americanas) é possível dar duas respostas sobre essas perguntas: Não, e Sim.

A aplicação efetiva de Mineração de Dados na esfera pública, até mesmo no Brasil provou que é um campo que tem tudo para dar certo, se utilizada para o correto atendimento dos interesses gerais da administração pública; seja na área de economicidade (na qual trata o artigo) seja na área de segurança pública.

O fato é que hoje as empresas estão anos-luz à frente dos governos em relação à aquisição de dados, e principalmente na utilização desses dados para os mais diversos fins comerciais: cobrança, marketing direcionado, marketing político, design de produtos, disponibilização de linhas de crédito, e até mesmo predição de tendências comportamentais de consumo.

Dentro desse panorama, é de se espantar que associações de direitos civis se oponham de maneira ferrenha ao fato do governo poder ter essas informações consolidadas e para utilização para diversos tipos de aplicações para servir ao bem público (isso baseado e legislação específica, e com representantes e pautas de discussões eleitos democraticamente) sendo que informações como padrões de utilização de cartões de crédito, ligações telefônicas, e-mails, correspondências, informações sobre restrições e status de créditos bancários estejam na mão de empresas; as quais que além de tudo comercializam esses tipos de informações, seja via birôs de crédito e de informações; seja a comercialização de malas diretas.

Um praticante de mineração de dados razoável poderia modelar algo no mesmo sentido em que o colunista descreveu com determinada facilidade, contudo; a questão vai um pouco além do que foi descrito, e a mineração não pode tratada como a salvação em se tratando de crimes dessa natureza; pois, além das restrições legais, esse campo penaliza de forma severa erros de interpretação, os quais se hoje são a solução para auxiliar na esfera criminal em questão de prevenção, pode tornar um instrumento para criminalizar mais pessoas através de erros de interpretação.

Uma coisa que sempre este site faz questão de ressaltar é que a mineração de dados são um conjunto de técnicas que auxiliam na tomada de decisão, e que a ação propriamente dita é sempre condicionada, única e exclusivamente pelo agente humano através da interpretação dos padrões recebidos; e esse processo quase que dialético de extrair da expertise (conhecimento tácito) e do background técnico (conhecimento explicito) conhecimento para lidar com qualquer tipo de situação de acordo com os dados. Jogar na mineração de dados essa responsabilidade, é no mínimo preocupante, pois mostra ainda que as pessoas conhecem muito pouco do assunto e procuram uma bala de prata para resolver diversos problemas da sociedade; e é desse tipo de abordagem que a mineração de dados deve se afastar para não virar instrumento de um estado tecnocrático e policial que tem base valores totalitários e restritivos.

A discussão é interessante e está aberta, e cabe ressaltar que ainda haverá muita discussão nesse sentido nos outros países. Pena que ainda, nós brasileiros não acordamos para esse tipo de discussão.

 PARA LER

ACLU. Data Mining. Disponível em << http://www.aclu.org/technology-and-liberty/data-mining >> Acessado em 24 Jul 12 às 22:22hs.

PEÑA, Charles V. Information Awareness Office Makes Us a Nation of Suspects. CATO Institute. Disponível em << http://www.cato.org/research/articles/pena-021122.html  >> Acessado às 24 Jul 12 às 22:23hs.

ACLU. Testimony of Barry Steinhardt, Director of the ACLU Technology and Liberty Program on Government Data Mining Before the House Government Reform Subcommittee on Technology, Information Policy, Intergovernmental Relations and the Census. Disponível em << http://www.aclu.org/national-security/testimony-barry-steinhardt-director-aclu-technology-and-liberty-program-government >> Acessado em 24 Jul 12 às 22:22hs.

DARPA. DARPA’s S&T Privacy Principles. Disponível em << http://www.darpa.mil/About/Initiative/DARPA’s_S_T_Privacy_Principles.aspx >> Acessado em 24 Jul 12 às 22:25hs

ACLU. Total Information Compliance: The TIA’s Burden Under The Wyden Amendment – A Preemptive Analysis of the Government’s Proposed Super Surveillance Program. Disponível em << http://www.aclu.org/files/FilesPDFs/aclu_tia_report.pdf  >> Acessado em 24 Jul 12 às 22:26hs

ACLU. Technology And Liberty Program – A letter to Alex Türk. Disponível em << http://www.aclu.org/files/images/asset_upload_file750_34919.pdf >> Acessado às 22:38hs

SARMENTO SILVA, Carlos Vinícius; RALHA, Célia Ghedini. Detecção de Cartéis em Licitações Públicas com Agentes de Mineração de Dados . Revista Eletrônica de Sistemas de Informação. Disponível em << http://revistas.facecla.com.br/index.php/reinfo/article/view/754/pdf  >> Acessado em 24 Jul 12 às 22:37hs.

NATH, Shyam Varan. Crime Pattern Detection Using Data Mining. Oracle Corporation. Disponível em << http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=4053200&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D4053200  >> Acessado em 24 Jul 12 às 22:40hs.

A Mineração de Dados pode parar a matança? – Uma reflexão sobre o episódio do Atirador do Colorado e a Mineração de Dados

Certificações e Ferramentas em Mineração de Dados

Esse post do Cristian do Text Mining é uma ótima leitura sobre uma opinião sobre o assunto.

Está mais que provado que os Tools Vendors (vendedores de ferramentas) estão com estratégias cada vez mais agressivas para captar o maior número possível de praticantes em Mineração de Dados e colocar esses em uma estrutura de Locking Vendor (Aprisionamento Tecnológico) para que o projeto fique condicionado a sua estrutura de suporte –  e seus especialistas “certificados” –  e qualquer upgrade passe necessariamente por maior gasto pecuniário.

De forma breve abordei uma questão sobre certificações em um post que fiz para o Pós-Graduando; porém, a questão é um pouco maior e mais séria: Estariam os profissionais “certificados” por esses Tools Vendors habilitados para trabalharem em um projeto de mineração de dados, estes que possuem uma alta complexidade em todos os aspectos e que não se limita necessariamente à tecnologia? Sinceramente, tenho certeza que não devido a alguns motivos bem breves:

1) Uma ferramenta não garante um ótimo projeto, como disse nesse post é raro algumas empresas se preocuparem com o pós-venda; é aquela velha história no qual o carro zero Km quando saí da agência perde 10-15% do valor de mercado;

2)Não acredito que a SPSS, a SAS, ou a Microsoft estão engajadas em explicar aos seus consultores o funcionamento de seus algoritmos, até porque em grande parte nem mesmo os consultores fazem idéia do que sejam na prática; e

3) A ferramenta na prática será responsável por no máximo 35% do projeto de mineração em si, a qual não participa ativamente dos processos de backend e análise.

É um tema espinhoso, mas vamos ver até onde vai essa discussão.

Certificações e Ferramentas em Mineração de Dados

O inglês é o novo latim

Em muitos cursos que participei, fóruns de discussão e nos ambientes acadêmicos que estive um dos maiores gaps que vi em grande parte dos companheiros de sala foi o inglês; seja para falar ou mesmo para ler artigos técnicos.

Sempre as mesmas desculpas como “Aprendi na escola, mas esqueci“, “Esqueci por falta de prática” ou mesmo  a auto afirmação de que “odeia inglês e não aceita o imperialismo ianque“. Para quem é da área de TI é quase que atributo fundamental o inglês; e muitas das vezes será mais importante ter o inglês do que os atributos técnicos de fato; pois, passa ao seu empregador o fato de que ele pode te colocar em qualquer tipo de ambiente que a língua não será  impeditivo para o aprendizado.

Hoje é caráter quase que obrigatório obter a língua inglesa no CV quando se trata de empregos na área de TI, até mesmo para pesquisas acadêmicas. Dentro do campo de Mineração de Dados é muito comum encontrar (bons) materiais de referência em lingua inglesa, enquanto em Terra Brasilis a qualidade das públicações é quase de chorar: Erros de nomenclaturas, traduções bizonhas, simplificações que beiram o ridículo, show de lugares-comuns em mineração de dados e sobretudo a falta de aplicações práticas com as técnicas apresentadas.

Sim o panorama é triste, e está longe de ser mudado; seja pela a falta de incentivo de editores para escrita de livros técnicos dessa natureza, ou mesmo pelo gap que ainda temos em relação aos Data Scientists da India. EUA, Paquistão e Europeus seja pelo avanço dentro dessa área, ou mesmo interesse maior nesse tipo de disciplina.

Parafraseando o Caio Blinder do Manhattan Connection afirmo que o Inglês é o novo latim. Vejamos alguns fatos:

a)  A literatura técnica em Mineração de Dados está concentrada nos Journals internacionais e advinhem qual é a lingua padrão?

b) A literatura nacional em Mineração de Dados é grande parte das vezes escrita por heróis (esse é um adjetivo até eufemista para esses escritores) dentro das universidades; mas a grande realidade é que esses especialistas simplesmente não encontram editores dispostos a apostar em projetos dessa natureza, nos quais estes últimos preferem somente o que trás o lucro. Nada mais justo já que estamos em um regime de livre iniciativa;

c) As publicações em português que não estão enquadradas no caso b) são em geral: 1) Overviews sobre coisas que já foram escritas em um outro momento por uma outra pessoa, 2) Não apresentam nada de novo (Mais do mesmo), 3) São cheios de lugares-comum dentro da literatura consagrada, 4) Necessitam de um grau de revisão mais apurado, e por último 5) Sempre estão cheios de erros de nomenclaturas. Ou seja, Run Forrest, Run.

d) Traduções e publicações em português: Pior do que escrever um texto ruim na lingua nativa, é uma tradução mal feita. Textbooks  em Mineração de Dados que são traduzidos confundem mais do que explicam, o que pode ser perigoso em termos de escrita, principalmente se for material de referência para monografias, dissertações e/ou teses. Estou com um artigo aqui na gaveta para postar sobre isso, especialmente no péssimo trabalho de revisão feito no livro Introdução ao Data Mining (TAN, STEINBACH, KUMAR) que é um clássico no assunto que foi praticamente traduzido via Babylon ou Google Tradutor.

e) O inglês derruba fronteiras do saber, no qual você pode ao invés de ficar correndo atrás de Professores de Departamentos de Universidades aqui no Brasil que sempre estão muito ocupados (Esse post do brilhante Prof. Marcelo Hermes mostra isso) (embora pouquissímos publicam em revistas acadêmicas com fator de  impacto alto), você pode simplesmente trocar e-mails com indianos, americanos, alemães sem nenhum tipo de restrição e entrar em contato com pessoas que querem o conhecimento de fato; o que pode além de enriquecer de forma cultural pode dar um grande auxílio na prospecção de noavs referências e trabalhos mundo à fora.

Enfim, há muitos outros motivos; além do exemplo clássico do Prof. Claudio Shikida em seu blog que ele explica como uma pesquisa boba na Wikipedia revela o quanto podemos aprender com o conhecimento em uma língua adicional.

O inglês é o novo latim

Algumas provocações sobre o post do Pós Graduando

Parafraseando o colega do Bolha de Brasília, vou fazer um pequeno prólogo sobre a situação da Pós-Graduação no Brasil e os motivos para se objetivar a área acadêmica.

Se alguém quisesse um conselho sobre qual direção dar em sua carreira, seria muito enfático: Faça um mestrado de qualidade o mais rápido possível, pois além de te dar a possibilidade de ir além no aspecto de pesquisa que melhora a vida das pessoas e amplifica o debate técnico-cultural em sua comunidade, o futuro irá lhe reservar ótimas vagas devido a diferenciação de sua formação.

Alguns devem pensar que sou louco, um ermitão ou algo do gênero. Mas não.

A possibilidade não só na área de pesquisa, mas também na área profissional que o mestrado possibilita um amplo leque de possibilidades e atuações. A pessoa que se submete a esse tipo de programa, não somente busca a titulação, como também desenvolve a competência de “aprender a aprender”. Em tempos em que grande parte da nossa mão de obra “Qualificada” são pessoas que fazem parte da triste estatística de analfabetismo funcional, é mais do que necessário que tenha alguém para “carregar o piano” quando falamos de inovação e pesquisa séria. Para quem assistiu Tempos Modernos, e acompanha a atual situação; o apertador de parafusos de ontem é o apertador do mouse do computador de hoje.

Muitos acreditam que o Mestrado de fato não contribuí para melhoria da vida das pessoas de uma maneira mais prática; mas isso não deve partir de uma sala de aula; mas sim das pessoas que ganharam o seu voto (sim, aqueles mesmos que você colocou o número e apertou confirma). Todos acham que só porque uma pessoa tem um diploma de mestre ela automaticamente é dotada de amplos poderes para resolver todos os problemas da sociedade na qual ela está inserida.

Mas mais do que falar de maneira desestruturada, vejam porque eu tenho esse pensamento:

1 – Fazer a Diferença: Esse é o primeiro lema para quem deseja entrar em um programa desse gênero. Se for para estudar por estudar, sem que haja nenhum tipo de contribuição; acho melhor passar as noites (e madrugadas) em atividades bem mais agradáveis, como por exemplo, sinuca no bar com os amigos. Vejam, não é porque disse agradável, que necessariamente deixei implícito que seria melhor. Digo no sentido de fazer a diferença, é contribuir com o corpo de conhecimento que molda a cultura da sociedade na qual o elemento está inserido, bem como doar (dedicar) parte do seu tempo (e alguns casos até a vida) para soluções, métodos que de uma maneira ou de outra acabam ajudando no aspecto geral a vida das pessoas. Se não acredita, dá uma olhadinha nessa dissertação de mestrado e veja se ela não te ajuda nos dias de hoje

2 – Aplicar conhecimento e contribuir com a sua cultura acadêmica: É autoexplicativo. Em minha monografia estudei aspectos relacionados à aplicação de Mineração de Dados na esfera pública; e de certa forma apliquei parte dos meus conhecimentos de análise de dados aplicada à nossa realidade; e que se implementado poderia mudar todo o paradigma da forma na qual governamos as nossas cidades/estados/país, ajudando milhões de pessoas Brasil a for a. Até o final do ano vou imprimir 26 cópias para cada um dos governadores e pretendo ainda conversar com o Jorge Hage Sobrinho, Ministro de Estado Chefe da Controladoria-Geral da União sobre o meu trabalho. E não tem maior satisfação em doar parte do tempo para o ganho em rede.

3- Fazer algo substancial da vida: Citando o Dalai Lama “Dividir conhecimento, é alcançar a imortalidade”. Nesse caso, vou citar apenas a profissão de Mestre na questão de ensino acadêmico. Hoje, mais do que nunca temos uma sociedade que gira em torno da informação; e o papel do professor hoje é muito mais substancial do que anos atrás. Antigamente o professor ensinava normas, conceitos; hoje ele é a pessoa que é responsável por desenvolver competências; habilidades essas que só melhoram a qualidade de vida das pessoas, que vão desde pretensões de mudança de emprego, até atingir uma posição de vida satisfatória através dos estudos e dos ensinamentos do professor.

 Mas se não acredita em mim, acredite nesses camaradas abaixo:

 1 – Faculdade como commodity: Não vou entrar em discussões sobre aspectos socioeconômicos sobre a inclusão no meio universitário, porque isso além de ser uma atitude rasteira; soa até como leviana vindo de alguém que tem o mesmo perfil dessa nova sociedade; porém que obteve seus fins por outros meios.

 Feitas as devidas ressalvas…

 Pessoal, não se iludam: Sabe aquele sonho que muitos veem nos filmes de Holywood no qual o cara termina a faculdade, e já vai para aquele escritório de advocacia, no qual todos os sócios são uns caras velhos e chatos e que você chega como uma estrela, e que em menos de 6 meses já está com 2 aumentos de salários e mandando e todo mundo? Esqueçam isso.

 O mundo corporativo gira dentro de uma estrutura de competências muito complexa, e ainda tem o famoso e glorioso NETWORKING no qual não importa o que VOCÊ SABE, mas sim QUEM VOCẼ CONHECE. Em um mundo tão conectado, as pessoas se falam e dentro do propósito da economia capitalista, na qual há o livre mercado de contratação de recursos humanos (ou seja, não há reserva de mercado) nada mais justo que as empresas contratem pessoas que elas têm mais confiança e afinidade do que pessoas competentes de fato. E isso pode levar muita gente que está pagando em parcelas a sua faculdade a um tipo de frustação que jamais sonharam.

 E mais… Não é preciso ter lido a obra do Adam Smith para saber que com o aumento da oferta (pessoas com o diploma de graduação) os preços (leia: salários) diminuem (ou seja, esqueça aquele salário inicial de R$ 7000 que te falaram na faculdade (ao menos que você trabalhe no Bahamas pra quitar as parcelas do seu curso, e isso é outra história)). E devido a isso muitos que estão nessa situação, podem se pegar em um dia ganhando 3x menos que o cara que tá todo sujo de cimento fazendo uma obra na sua casa. Recado dado.

 2 – Marqueteiros de Pós-Graduação de IES Particulares: Esses sempre terão aquele curso de “Ultimate Financial Certification in Business” ou os grandes “Intensive program of Administration” ou o “Curso de Curta Duração em Liderança”. Pessoal, nada contra; mas são formas mais doloridas de se perder dinheiro. Instrutores desqualificados, avalanches de ppt’s, super sintetização, falta de foco são só alguns dos aperitivos pra quem acredita que esses tipos de cursos vão de fato impulsionar a carreira de alguém. No mais, vão representar R$ 200 de aumento e olhe lá; em geral representam pouco em questão de agregação de valor intelectual. Há cursos sérios? Sim, e muitos. Têm ainda instituições sérias, só garimpar um pouco.

 3 – IES particulares que NÃO têm Strictu Sensu: Em 2011 quando procurei um curso na minha área em Mineração de Dados fui até uma importante escola em São Paulo, e me ofertaram o curso por módicos R$ 41.000 (isso mesmo, quarenta e um mil reais). Com esse dinheiro investido no mesmo período do curso eu teria uma rentabilidade de 7% se investisse em Títulos Públicos, e pensando em termos de mercado (colocação profissional dentro da área de atuação) levando em conta os salários pagos pelo mercado eu teria o retorno em…7 anos? Havia algo de errado nessa história. Perguntei por que o curso de Mineração de Dados (que não era reconhecido ainda) estava mais caro do que um curso em… Stanford, mas até hoje não tive retorno.

 O ponto é: Há uma indústria por trás dessa pseudo-ascensão social através da educação. Há toda uma estrutura de crédito estudantil e facilidades, na qual você contraiu empréstimos a juros pornográficos e depois de formado ou você cai nos órgãos de proteção ao crédito (ceifando as possibilidades de recrutamento) ou você vira escravo do seu financiamento. A escolha é sua.

 4 – Especialistas de produtos / Empresas de Softwares e Certificações: Esses são sujeitos confiáveis. Sempre terão uma resposta na ponta da língua: Empregabilidade, acesso rápido ao mercado de trabalho, aplicações práticas, trabalhar em casos reais, resolução de problemas. Só esqueceu-se de avisar uma coisa pra esse pessoal: “E se a tecnologia mudar?”. Como eu sou da área de TI me sinto até confortável em dissertar sobre esse assunto. Hoje os especialistas de produto tem um nicho de mercado bem estabelecido devido a estrutura de suporte que as empresas montam para ganhar após o deployment de seus produtos (Carl Shapiro e Hal Varian exploram esse aprisionamento em Economia da Informação). Ou seja, os produtos tem o design para dar problemas; e quem melhor do que os especialistas de produtos para solucionar problemas?

Acontece que por mais que esse tipo de indústria pague bem (se você acha que passar 4 anos no banco da faculdade pra ganhar R$ 2000 como analista, tudo bem), há um dinamismo muito grande, o que exige um desdobramento quase que heroico por parte das pessoas que trabalham nesse tipo de tarefa (suporte). Conheço profissionais que estudam/trabalham mais de 18h/dia só falando de problemas; e não colocam nenhum tipo de skill intelectual no seu trabalho; apenas o ferramental.

E mais uma coisa, se você acha que um dia vai chegar a um cargo de liderança, gestão e direção vindo desse segmento; com diria um importante professor meu “Tolinho”; vai ser mais fácil você ficar amplamente desmotivado quando a sua empresa anunciar o novo gerente, um cara novinho que não tem nenhuma ideia do que você está fazendo, mas tem algo relacionado à gestão que você não tem; ou não conseguiu desenvolver ao longo da sua carreira técnica.

 Não acredita em mim?, veja o que o Paul Randal instrutor do Microsoft Certified Master, um dos maiores especialistas Microsoft SQL Server fala sobre as certificações… Microsoft.

 5 – Empresas, empregadores e afins: Esses sim são plenamente confiáveis. Abreviando o que eu coloquei no item 1) é a lógica do mercado. Muitas empresas veem que os empregados estão estudando, pensam na lógica macabra que os mesmos “estão pensando menos na empresa” ou que querem sair. São poucas as empresas que apoiam os estudos, e veem isso como um investimento do empregado para melhor desenvolver as suas competências. Infelizmente, está cheio disso por aí. Então, quando você chegar ao seu patrão falando que quer fazer um mestrado ele te recomendar cursinhos de 36/40hs em matemática financeira, SQL Server e que ninguém vai pra frente com isso acho que está na hora de mudar de emprego.

 Eu não vou me estender (mais) no assunto, porque acho que são motivos suficientes ao menos para uma reflexão. That’s all folks!!!

PS: Post escrito em 40 min folks, take it easy!

PS 2: Alguns links interessantes.

http://scienceblogs.com.br/discutindoecologia/2009/03/pos-graduacao-para-que/

http://aeiou.expressoemprego.pt/Carreiras.aspx?Id=4638

http://jroller.com/vfpamp/entry/por_que_voc%C3%AA_contrataria_um

http://www.odaircavichioli.com.br/2007/11/como-difcil-fazer-mestrado-nesse-pas.html

http://www.eduardodeboni.com/blog/?p=417

http://www.utfpr.edu.br/curitiba/estrutura-universitaria/diretorias/dirppg/programas/ppgeb/duvidas-sobre-mestrado

 

Algumas provocações sobre o post do Pós Graduando