apache

Recursos de programación de apache
Construyendo Pipelines Reactivos: Como ir de aplicaciones escalables a aplicaciones RIDÍCULAMENTE escalables Ponente: Mark Heckler Migrar de código imperativo a un modelo de programación reactiva nos habilita escalar nuestras aplicaciones de maneras que serían imposibles con el método imperativo de "scale out", y eso es una cosa buena! Pero con todas estas mejoras, se necesita examinar y abordar holisticamente el sistema o todo lo que logremos es mover los embotellamientos, creando o encontrando uno u otro mientras sintonizemos aplicaciones o servicios particulares. Esto no es tan bueno. En esta sesión, el ponente discute: * Como el proyecto Reactor construye en la iniciativa Reactive Streams para ayudarte crear microservicios reactivos escalables de alto rendimiento * Plataformas de mensajería como RabbitMQ & Apache Kafka * Como Spring Cloud Stream utiliza Reactor para proveer pipelines enteramente reactivos para escalabilidad ridícula entre el sistema total El ponente escribirá en código todos los ejemplos usando software de código abierto en vivo y en tiempo real! Esta no está una presentación abstracta, vengas para ganar conocimiento real y practica!
I've just watched this great talk by Holden Karau Testing & validating Apache Spark jobs - por Garajeando
Apache Airflow is a workflow automation and scheduling system that can be used to author and manage data pipelines. Workflows are defined programmatically as directed acyclic graphs (DAG) of tasks, written in Python. At Idealista we use it on a daily basis for data ingestion pipelines. We’ll do a thorough review about managing dependencies, handling retries, alerting, etc. and all the drawbacks. ------------- Todos los vídeos de Codemotion 2018 en: https://www.youtube.com/playlist?list=PLKxa4AIfm4pUKl4PGFucaziMr16GVOBI0 ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
Apache Airflow is a workflow automation and scheduling system that can be used to author and manage data pipelines. Workflows are defined programmatically as directed acyclic graphs (DAG) of tasks, written in Python . At Idealista we use it on a daily basis for data ingestion pipelines. We'll do a thorough review about managing dependencies, handling retries, alerting, etc. and all the drawbacks. ¿Y si lo escuchas mientras vas a trabajo o te pones en forma?https://www.ivoox.com/31391655 --------------------------- Todos los vídeos de Commitconf 2018 en: https://www.youtube.com/playlist?list=PLKxa4AIfm4pWrJbP5G43g8yLbfumUz72t ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
Construir un motor de optimización para la planificación de rutas de vehículos de recogida de residuos, de reparto de mercancías u otras muchas aplicaciones, no es tarea fácil por dos importantes motivos: La enorme cantidad de restricciones involucradas en el problema: restricciones a la hora de circular con los vehículos, puntos de parada que hay que visitar a cierta hora, conductores con horarios, camiones que se llenan y vacían, entregas y recogidas… Es un problema de optimización combinatoria bestial (NP-duro). Por ejemplo, para un sólo vehículo que tendría que visitar 100 localizaciones, existen 100! rutas posibles… 100! = 9.33 * 10^157. El número estimado de átomos en el universo visible es sólo 10^80, ¡casi nada! Cayetano y Josema forman parte del equipo de Geographica que ha desarrollado una solución para resolver este tipo de problemas. Nos contarán como han montado este motor de optimización de rutas usando datos de OpenStreetMaps, PostgreSQL (con sus extensiones PostGIS y PgRouting) para ingestionarlos y procesarlos, las metaheuristicas de OR-Tools para darles sentido y Apache Airflow con Kuberntes para orquestar a estas bestias. Todo esto apoyado muy sólidamente con el SciPy ecosystem, lo mejor de Python para computación científica: Pandas, NumPy, Scikit-learn… --------- Todos los vídeos de PyconES 2018: https://www.youtube.com/playlist?list=PLKxa4AIfm4pUQX9ePOy3KEpENDC331Izi Twitter; https://goo.gl/MU5pUQ Instagram; https://lk.autentia.com/instagram LinkedIn https://goo.gl/2On7Fj/ Facebook; https://goo.gl/o8HrWX
Session presented at Big Data Spain 2018 Conference 14th Nov 2018 Kinépolis Madrid
Session presented at Big Data Spain 2018 Conference 15th Nov 2018 Kinépolis Madrid
Session presented at Big Data Spain 2018 Conference 14th Nov 2018 Kinépolis Madrid
This presentation by Holden Karau took place at Lambda World Seattle on September 18th, 2018 at the Living Computers Museum in Washington. Bringing the Jewels of the Python World to Scala with Spark With the new Apache Arrow integration in PySpark 2.3, it is now starting become reasonable to look to the Python world and ask “what else do we want to steal besides tensorflow”, or as a Python developer look and say “how can I get my code into production without it being rewritten into a mess of Java?”. Regardless of your specific side(s) in the JVM/Python divide, collaboration is getting a lot faster, so lets learn how to share! In this brief talk we will examine sharing some of the wonders of Spacy with the JVM world, which still has a somewhat lackluster set of options for NLP & deep learning. Follow: -https://www.twitter.com/lambda_world -https://www.twitter.com/47deg -https://www.twitter.com/holdenkarau
Some good talks that I show lately:073: Driven By Need, Guided By Example with Dan Northhanselminutes Podcast Accelerate: The State of DevOps with Dr. Nicole ForsgrenKrakow Kafka Meetup: Apache Kafka and KSQL in Action : Let’s Build a Streaming Data Pipeline!Rebuilding the Inbox: The Corporate and Cultural Adventures of Modernizing Yahoo MailDavid Marquet: Turn The Ship Around! / U.S. Navy live at WORLDWEBFORUM 2016http://architechtshow.com/ep-69-ibm-makes-the-case-for-doing-deep-learning-on-kub...