apache

Recursos de programación de apache
El desarrollo de aplicaciones sobre Big Data está evolucionando de un modo muy rápido, tanto los frameworks y las plataformas, como las arquitecturas que podemos crear con ellos. Apache Flink es una plataforma de código abierto preparada para el procesamiento de datos tanto en streaming como en batch. En esta charla veremos cuáles son los componentes principales de Flink, cómo comenzar un proyecto desde cero, las herramientas disponibles y cómo no, algo de código Java. También veremos algunos casos de uso reales de cómo estamos utilizando Flink en el área de I+D de la división de Telecomunicaciones, Medios y Servicios de Altran, tanto para realizar análisis en real-time como en batch.
Uno de los principales casos de filtración de datos tuvo como protagonista al software tanto en su origen como el análisis. Los Panama Papers son los protagonistas del episodio de hoy. Sigue adelante el curso de Leaflet en la Zona Premium donde estamos aprendiendo a crear mapas interactivos Open Source, una alternativa real a Google Maps. Además, cuarto episodio del audiocurso sobre marketing para programadores. El centro de todo, el código. Continuo además avanzando en el reto de los 100 dí...
Por Miguel Ángel Fernández Díaz Apache Spark se ha convertido en el framework de analítica referencia dentro del mundo del Big Data. Uno de sus módulos más populares es Spark SQL, que actúa como nexo de unión entre el propio mundo Big Data y el mundo de Business Intelligence. Sin embargo, ¿a qué retos se enfrenta, por ejemplo, un consultor de BI cuando va a empezar a utilizar Spark SQL?, ¿tiene Spark SQL un lenguaje SQL estándar?, ¿qué diferencias hay respecto a una base de datos relacional? ... Más información: https://t3chfest.uc3m.es/2019/programa/sparksql-de-basico-a-optimizacion ------------------- T3chFest es un evento sobre nuevas tecnologías e innovación anual gratuito celebrado en Madrid. Consulta en nuestro canal las charlas de las pasadas ediciones. Sitio web: https://t3chfest.uc3m.es Twitter: https://twitter.com/t3chfest
Construyendo Pipelines Reactivos: Como ir de aplicaciones escalables a aplicaciones RIDÍCULAMENTE escalables Ponente: Mark Heckler Migrar de código imperativo a un modelo de programación reactiva nos habilita escalar nuestras aplicaciones de maneras que serían imposibles con el método imperativo de "scale out", y eso es una cosa buena! Pero con todas estas mejoras, se necesita examinar y abordar holisticamente el sistema o todo lo que logremos es mover los embotellamientos, creando o encontrando uno u otro mientras sintonizemos aplicaciones o servicios particulares. Esto no es tan bueno. En esta sesión, el ponente discute: * Como el proyecto Reactor construye en la iniciativa Reactive Streams para ayudarte crear microservicios reactivos escalables de alto rendimiento * Plataformas de mensajería como RabbitMQ & Apache Kafka * Como Spring Cloud Stream utiliza Reactor para proveer pipelines enteramente reactivos para escalabilidad ridícula entre el sistema total El ponente escribirá en código todos los ejemplos usando software de código abierto en vivo y en tiempo real! Esta no está una presentación abstracta, vengas para ganar conocimiento real y practica!
I've just watched this great talk by Holden Karau Testing & validating Apache Spark jobs - por Garajeando
Apache Airflow is a workflow automation and scheduling system that can be used to author and manage data pipelines. Workflows are defined programmatically as directed acyclic graphs (DAG) of tasks, written in Python. At Idealista we use it on a daily basis for data ingestion pipelines. We’ll do a thorough review about managing dependencies, handling retries, alerting, etc. and all the drawbacks. ------------- Todos los vídeos de Codemotion 2018 en: https://www.youtube.com/playlist?list=PLKxa4AIfm4pUKl4PGFucaziMr16GVOBI0 ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
Apache Airflow is a workflow automation and scheduling system that can be used to author and manage data pipelines. Workflows are defined programmatically as directed acyclic graphs (DAG) of tasks, written in Python . At Idealista we use it on a daily basis for data ingestion pipelines. We'll do a thorough review about managing dependencies, handling retries, alerting, etc. and all the drawbacks. ¿Y si lo escuchas mientras vas a trabajo o te pones en forma?https://www.ivoox.com/31391655 --------------------------- Todos los vídeos de Commitconf 2018 en: https://www.youtube.com/playlist?list=PLKxa4AIfm4pWrJbP5G43g8yLbfumUz72t ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
Construir un motor de optimización para la planificación de rutas de vehículos de recogida de residuos, de reparto de mercancías u otras muchas aplicaciones, no es tarea fácil por dos importantes motivos: La enorme cantidad de restricciones involucradas en el problema: restricciones a la hora de circular con los vehículos, puntos de parada que hay que visitar a cierta hora, conductores con horarios, camiones que se llenan y vacían, entregas y recogidas… Es un problema de optimización combinatoria bestial (NP-duro). Por ejemplo, para un sólo vehículo que tendría que visitar 100 localizaciones, existen 100! rutas posibles… 100! = 9.33 * 10^157. El número estimado de átomos en el universo visible es sólo 10^80, ¡casi nada! Cayetano y Josema forman parte del equipo de Geographica que ha desarrollado una solución para resolver este tipo de problemas. Nos contarán como han montado este motor de optimización de rutas usando datos de OpenStreetMaps, PostgreSQL (con sus extensiones PostGIS y PgRouting) para ingestionarlos y procesarlos, las metaheuristicas de OR-Tools para darles sentido y Apache Airflow con Kuberntes para orquestar a estas bestias. Todo esto apoyado muy sólidamente con el SciPy ecosystem, lo mejor de Python para computación científica: Pandas, NumPy, Scikit-learn… --------- Todos los vídeos de PyconES 2018: https://www.youtube.com/playlist?list=PLKxa4AIfm4pUQX9ePOy3KEpENDC331Izi Twitter; https://goo.gl/MU5pUQ Instagram; https://lk.autentia.com/instagram LinkedIn https://goo.gl/2On7Fj/ Facebook; https://goo.gl/o8HrWX
Session presented at Big Data Spain 2018 Conference 14th Nov 2018 Kinépolis Madrid
Session presented at Big Data Spain 2018 Conference 15th Nov 2018 Kinépolis Madrid