jgaribay's blog https://www.javamexico.org/blogs/jgaribay es Football Mejor y peor equipo https://www.javamexico.org/blogs/jgaribay/football_mejor_y_peor_equipo <p>Se presentan los resultados de la liga premier 2001 y 20002 el programa obtiene el mejor y el peor equipo basado en los goles anotados y recibidos.</p> <p>se utiliza la programacion MapReduce para resolverlo.<br /> Este es el Mapper:</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p>este es el reducer:</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p><a href="https://www.javamexico.org/blogs/jgaribay/football_mejor_y_peor_equipo" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/football_mejor_y_peor_equipo#comments Java Enterprise Fri, 01 Aug 2014 18:33:14 +0000 jgaribay 7884 at https://www.javamexico.org Ejemplo MapReduce Hadoop 5 https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_5 <p>Ya unicamente nos falta la clase main, para poder ejeutar nuestro ejemplo</p> <p>Tambien es pequena asi que la pongo toda de una vez:</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p><a href="https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_5" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_5#comments Java Enterprise Mon, 26 May 2014 19:02:26 +0000 jgaribay 7529 at https://www.javamexico.org Ejemplo MapReduce Hadoop 4 https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_4 <p>Ahora veremos la parte del reduce, el cual nos tiene que entregar el pais que tiene el numero maximo de pobladores.</p> <p>En este caso sabemos ya que el map del anterior post manda a llamar al reduce por cada region existente, por lo que unicamente tenemos ahora que ubicar el pais que tiene la mayor poblacion.</p> <p>El codigo es muy pequeño asi que no es necesario partirlo para explicarlo.</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p><a href="https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_4" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_4#comments Java Enterprise Mon, 26 May 2014 18:54:37 +0000 jgaribay 7528 at https://www.javamexico.org Ejemplo MapReduce Hadoop 3 https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_3 <p>Clase Map</p> <p>Analizado el texto del cual obtendremos la informacion, vamos a crear la clase map la cual nos agrupara los paises por region, descartando todas las partes del texto que no sean necesarias.</p> <p>En esta clase map lo que se va a hacer es identificar los paises y los datos necesarios por region:</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p>Se utiliza tambien patterns para identificar los datos necesarios:</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p>Se utiliza una clase plana para guardar los datos de pais</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p>debemos quitar los datos del mundo para que no se contabilice</p> <p><span class="geshifilter"><code class="java5 geshifilter-java5">&nbsp;</code></span></p> <p><a href="https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_3" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_3#comments Java Enterprise Mon, 26 May 2014 18:28:46 +0000 jgaribay 7527 at https://www.javamexico.org Ejemplo MapReduce Hadoop 2 https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_2 <p>Comandos para cargar los datos en hdfs:</p> <p># Cargar en el HDFS<br /> # Primero renombre los archivos con nombre corto<br /> # CW para Datos estadisticos de la CIA 1995<br /> $ mv pg571.txt CW.txt</p> <p># El siguiente comando falla si el directorio existe<br /> $ hadoop fs -mkdir /user/cloudera </p> <p># Ahora ponga el texto en el directorio<br /> $ hadoop fs -put CW.txt /user/cloudera</p> <p># Creamos alias de los comandos de hadoop<br /> $ alias hput="hadoop fs -put"<br /> $ alias hcat="hadoop fs -cat"<br /> $ alias hls="hadoop fs -ls"<br /> $ alias hrmr="hadoop fs -rm -r"</p> <p>$ gzip CW.txt </p> <p># El punto hace referencia al directorio home de Cloudera<br /> # en hdfs, /user/cloudera </p> <p>$ hput DS.txt.gz .</p> <p># Verificar los archivos que existen ahora<br /> $ hls<br /> Found 4 items<br /> drwx------ - cloudera cloudera 0 2014-04-10 16:03 .staging<br /> -rw-r--r-- 3 cloudera cloudera 3013212 2014-04-21 14:28 CW.txt<br /> drwxr-xr-x - cloudera cloudera 0 2014-04-10 16:03 HF.out<br /> -rw-r--r-- 3 cloudera cloudera 605499 2014-04-10 15:25 HF.txt</p> <p>Las parte clave en el documento que vamos a utilizar son:</p> <p><a href="https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_2" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_2#comments Java Enterprise Mon, 26 May 2014 16:46:17 +0000 jgaribay 7526 at https://www.javamexico.org Ejemplo MapReduce Hadoop 1 https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_1 <p>En el mundo actual los datos se han vuelto las estrellas, cuando uno prende la TV y enciende Netflix se da buena cuenta de esas posibilidades, rapidamente nos damos cuenta de que este sistema a averiguado cosas acerca de nuestras preferencias y en base a ellas nos brinda recomendaciones que en la mayoria de los casos son acertadas, esa es su mision conocer perfectamente nuestros gustos para tenernos mas tiempo sentados comodamente disfrutando de la programacion.</p> <p>Si uno aparte lo utiliza para ver una de las series de casa como House Of Cards, la mayoria cae atrapado en la historia,fue echa tambien en base a el gusto de la mayoria de la poblacion, vamos la jugada es redonda.</p> <p>Los programas que generalmente observamos, los que vemos pero luego de un rato abandonamos, a las escenas que nos aburren y le damos avanzar o las que rebobinamos, todo eso lo utiliza Netflix para generar la serie y cada capitulo.</p> <p>Vamos pues a entrar un poco al mundo de BigData de la mano de la programacion MapReduce con el framework Hadoop(java), yo estoy tambien apenas aprendiendo asi que espero junto con varios lograr entender como hacer cosas como las señaladas en las lineas de introduccion.</p> <p><a href="https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_1" target="_blank">leer más</a></p> https://www.javamexico.org/blogs/jgaribay/ejemplo_mapreduce_hadoop_1#comments Java Enterprise Mon, 26 May 2014 15:18:54 +0000 jgaribay 7524 at https://www.javamexico.org