Generación de Consultas de Rastreo Web Mediante Herramientas Big Data

Abstract

Durante muchos años se han generado millones de petabytes de datos que no fueron jamás procesados, hasta la llegada de Google que observó el valor de la información que perdía al no procesarla, desde ese momento empresas como IBM, ORACLE, SAP, entre otras, han trabajado en el análisis y procesamiento de sus datos para la toma de decisiones que les permita crecer en el mercado. Por lo anterior, se desarrolla esta investigación con el objeto de dar a conocer las características de procesamiento de grandes volúmenes de datos (Big Data). Así mismo, realizar una demostración que permita la generación de consultas a los datos alojados en la plataforma Amazon Web Service (AWS), proporcionados por la organización Common Crawl. A continuación, se utiliza la metodología de investigación de Larson & Chang, la cual permite encontrar cuáles son los pasos para el desarrollo de proceso del Big Data. Una vez terminada esta etapa se procede a seguir el marco de trabajo Scrum, el cual reduce el tiempo del proceso de desarrollo, permitiendo que el producto se genere por fases y en cada fase se realicen procedimientos como descarga, procesamiento, consulta y visualización de datos mediante herramientas como Hadoop, MapReduce, Java y PHP que conjuntamente permiten el desarrollo de un prototipo de procesamiento Big Data, el cual realiza búsquedas de tendencias en los millones de datos recolectados en la web, además de permitir consultas por medio de comparativos porcentuales, parámetros como keywords y URL, facilitando así, el análisis de la información.