Big Data Hebdo

Kafka
Confluent Cloud : Managed Apache Kafka par Confluent
https://www.confluent.io/confluent-cloud/
https://www.forbes.com/sites/alexkonrad/2017/05/08/confluent-brings-kafka-to-cloud-and-challenges-aws/amp/

Kafka with Docker: A Docker introduction
https://ngeor.wordpress.com/2017/03/25/kafka-with-docker-a-docker-introduction/amp/

Apache Flink and Apache Kafka Streams: a comparison and guideline for users
https://www.confluent.io/blog/apache-flink-apache-kafka-streams-comparison-guideline-users/

The Continued Rise of Apache Kafka
https://redmonk.com/fryan/2017/05/07/the-continued-rise-of-apache-kafka/

Kafka Summit - Introduction to Kafka Streams with a Real-Life Example by Alexis Seigneurin
https://speakerdeck.com/aseigneurin/kafka-summit-introduction-to-kafka-streams-with-a-real-life-example

Webinar Boontadata avec @benjguin du 10/05/17 (replay bientôt disponible)
https://aka.ms/wp-boontadata


Microsoft
Serving AI with data: A summary of Build 2017 data innovations
https://blogs.technet.microsoft.com/dataplatforminsider/2017/05/10/serving-ai-with-data-a-summary-of-build-2017-data-innovations/

Azure Cosmos DB: The industry’s first globally-distributed, multi-model database service
https://azure.microsoft.com/en-us/blog/azure-cosmos-db-microsofts-globally-distributed-multi-model-database-service/

Using Jupyter notebooks and Pandas with Azure Data Lake Store
https://medium.com/azure-data-lake/using-jupyter-notebooks-and-pandas-with-azure-data-lake-store-48737fbad305

End-to-End Scenarios Enabled by the Data Science Virtual Machine: Webinar Video
https://blogs.technet.microsoft.com/machinelearning/2017/05/02/end-to-end-scenarios-enabled-by-the-data-science-virtual-machine-video/


AWS
AWS now lets you migrate MongoDB databases to DynamoDB
https://venturebeat.com/2017/04/10/aws-now-lets-you-migrate-mongodb-databases-to-dynamodb/amp/

Deep Dive on Amazon EC2 Instances - January 2017 Online Tech Talks
https://www.youtube.com/watch?v=29QZPttiKJA


Datascience
Automated Machine Learning — A Paradigm Shift That Accelerates Data Scientist Productivity @ Airbnb
https://medium.com/airbnb-engineering/automated-machine-learning-a-paradigm-shift-that-accelerates-data-scientist-productivity-airbnb-f1f8a10d61f8

Divers
Managed Service for Elassandra provided by Instaclustr
https://www.instaclustr.com/blog/2017/05/09/managed-service-elassandra-provided-instaclustr/

The new BigData file format for Faster Data analysis
http://carbondata.apache.org/

Elasticsearch succombe au machine learning
http://www.silicon.fr/elasticsearch-succombe-au-machine-learning-174421.html


GDPR
La conformité un avantage compétitif
http://www.zdnet.fr/actualites/la-conformite-un-avantage-competitif-39850544.htm

Privacy by design
http://www.zdnet.fr/actualites/privacy-by-design-kezako-39850666.htm

Episode dédié au règlement européen sur les données privées ( GDPR ) avec la contribution de Jean-Louis Quéguiner que vous pouvez suivre sur Linkedin ( https://www.linkedin.com/in/jlqueguiner ).

Jean-Louis est le CTO de Auchan Retail Data, et est donc confronté au quotidien au sujet GDPR.

La feuille de route en 6 étapes de la CNIL : https://www.cnil.fr/fr/principes-cles/reglement-europeen-se-preparer-en-6-etapes

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74

Edité par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Episode dédié à la base Redis ( https://redis.io/ ) avec la contribution de Damien Krotkine que vous pouvez suivre sur Twitter ( https://twitter.com/damsieboy ) ou sur son blog ( http://damien.krotkine.com/ )

Damien travaille chez Booking.com ( https://www.booking.com ). Ils seront présent le 24 Avril à dotscale.io ( https://www.dotscale.io/partner/booking.com ) et lors d'un Meetup à la suite de l'événement.

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74

Edité par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Le projet Boontadata vise à étudier les architectures de traitement de stream en fournissant des outils pour tester les différentes options disponibles sur le marché.

Le blog de Boontadata est ici : https://boontadata.github.io/
et les git sont ici : https://github.com/boontadata

Ce projet a été créé et est maintenu par Benjamin Guinebertière que vous pouvez retrouver sur twitter http://twitter.com/benjguin, ou sinon sur http://3-4.fr

-------------------------------------------------------------
Cet épisode a été enregistré avec le support de Microsoft France
-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74

Edité par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Confluent raises $50M to continue growing commercial arm of Apache Kafka
https://techcrunch.com/2017/03/07/confluent-raises-50m-to-continue-growing-commercial-arm-of-apache-kafka/

How Kafka Redefined Data Processing for the Streaming Age
https://www.datanami.com/2017/03/07/kafka-redefined-data-processing-streaming-age/

Hoodie: Uber Engineering’s Incremental Processing Framework on Hadoop
https://eng.uber.com/hoodie/

Analysis: It’s Amazon Web Services’ world – Google Cloud is just living in it
http://siliconangle.com/blog/2017/03/08/analysis-amazon-web-services-world-google-cloud-just-living/

Welcome Kaggle to Google Cloud
https://cloudplatform.googleblog.com/2017/03/welcome-Kaggle-to-Google-Cloud.html

Google Next 17
https://blog.google/topics/google-cloud/100-announcements-google-cloud-next-17/

Google Cloud Dataprep
https://cloud.google.com/blog/big-data/2017/03/google-cloud-platform-adds-new-tools-for-easy-data-preparation-and-integration

Python SDK released in Apache Beam 0.6.0
https://beam.apache.org/blog/2017/03/16/python-sdk-release.html

ScyllaDB Raises $16M to Advance NoSQL Database Technology
http://www.enterpriseappstoday.com/data-management/scylladb-raises-16m-to-advance-nosql-database-technology.html

Hadoop Has Failed Us, Tech Experts Say
https://www.datanami.com/2017/03/13/hadoop-failed-us-tech-experts-say/

Impact de l'Intelligence Artificielle sur l'économie - Laurent ALEXANDRE au Senat
https://www.youtube.com/watch?v=rJowm24piM4&feature=youtu.be

GDPR General Data Protection Regulation
http://www.cil.cnrs.fr/CIL/spip.php?article2634
https://en.wikipedia.org/wiki/General_Data_Protection_Regulation

Events
Le programme Devoxx France est publié
http://cfp.devoxx.fr/2017/byday/wed


-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74
Alexander : https://twitter.com/alexanderdeja

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Spanner
Spanner, the Google Database That Mastered Time, Is Now Open to Everyone
https://www.wired.com/2017/02/spanner-google-database-harnessed-time-now-open-everyone/

Google Spanner Inspires CockroachDB To Outrun It
https://www.nextplatform.com/2017/02/22/google-spanner-inspires-cockroachdb-outrun/

Spanner, TrueTime and the CAP Theorem
https://research.google.com/pubs/pub45855.html

Spanner quickstart
https://cloud.google.com/spanner/docs/quickstart-console

-------------------------------------------------------------
DB
The probability of data loss in large clusters
http://martin.kleppmann.com/2017/01/26/data-loss-in-large-clusters.html

The first release candidate of Redis 4.0 is out
http://antirez.com/news/110

MongoDB 3.4 Passes Jepsen – The Industry’s Toughest Database Test
https://www.mongodb.com/mongodb-3.4-passes-jepsen-test
http://jepsen.io/analyses/mongodb-3-4-0-rc3

-------------------------------------------------------------
Data-science
10 Signs Of A Bad Data Scientist
http://www.kdnuggets.com/2016/04/10-signs-bad-data-scientist.html

The Rise of the Weaponized AI Propaganda Machine
https://medium.com/join-scout/the-rise-of-the-weaponized-ai-propaganda-machine-86dac61668b#.qvwftlojy

Announcing TensorFlow 1.0
https://developers.googleblog.com/2017/02/announcing-tensorflow-10.html

Learn TensorFlow and deep learning, without a Ph.D.
https://cloud.google.com/blog/big-data/2017/01/learn-tensorflow-and-deep-learning-without-a-phd

-------------------------------------------------------------
Divers
Projets Hadoop : un échec dans 70 % des cas
http://www.silicon.fr/projets-hadoop-echec-70-cas-169110.html

Media recap of the Apache Beam graduation
https://beam.apache.org/blog/2017/02/01/graduation-media-recap.html
https://beam.apache.org/documentation/runners/capability-matrix/#cap-summary-what

Spark Summit East 2017 - A summary
http://blog.ippon.tech/spark-summit-east-2017-a-summary/
https://spark-summit.org/east-2017/schedule/

Joue la comme Clever Cloud : comment nous avons survécu à un redressement judiciaire
https://medium.com/@waxzce/joue-la-comme-clever-cloud-comment-nous-avons-surv%C3%A9cu-%C3%A0-un-redressement-judiciaire-68a4b79c902#.s1g9bha19

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74
Alexander : https://twitter.com/alexanderdeja

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

8 data trends on our radar for 2017
https://www.oreilly.com/ideas/8-data-trends-on-our-radar-for-2017

The Rise of the Data Engineer
https://medium.com/@maximebeauchemin/the-rise-of-the-data-engineer-91be18f1e603#.8me3508a4

Palantir et la France : naissance d’une nouvelle théorie abracadabrantesque ?
https://reflets.info/palantir-et-la-france-naissance-dune-nouvelle-theorie-abracadabrantesque/
http://www.silicon.fr/big-data-la-dgsi-se-rapproche-de-palantir-161283.html
http://www.parismatch.com/Actu/International/La-CIA-appelee-au-secours-par-l-antiterrorisme-francais-1138268

Qu’est-ce que le Data Lake, le nouveau concept "Big Data" en vogue
http://www.journaldunet.com/solutions/dsi/1165409-qu-est-ce-que-le-datalake-le-nouveau-concept-big-data-en-vogue/

You Can Now Play with Stack Overflow Data on Google’s BigQuery
http://stackoverflow.blog/2016/12/You-Can-Now-Play-With-Stack-Overflow-Data-on-Googles-BigQuery/
https://cloud.google.com/bigquery/public-data/stackoverflow

Spark

Databricks Raises $60 Million in Series C Funding to Advance Data Science and Engineering at Scale
http://m.marketwired.com/press-release/databricks-raises-60-million-series-c-funding-advance-data-science-engineering-scale-2183541.htm

Introducing Apache Spark 2.1
https://databricks.com/blog/2016/12/29/introducing-apache-spark-2-1.html

Top 10 Apache Spark blog posts from 2016
https://databricks.com/blog/2016/12/30/top-10-apache-spark-blog-posts-from-2016.html

NoSQL

MongoDB Apocalypse Is Here as Ransom Attacks Hit 10,000 Servers
https://www.bleepingcomputer.com/news/security/mongodb-apocalypse-is-here-as-ransom-attacks-hit-10-000-servers/
https://www.bleepingcomputer.com/news/security/a-benevolent-hacker-is-warning-owners-of-unsecured-cassandra-databases/

RethinkDB: why we failed
http://www.defstartup.org/2017/01/18/why-rethinkdb-failed.html

RethinkDB is dead, and MongoDB isn't what killed it
http://www.techrepublic.com/article/rethinkdb-is-dead-and-mongodb-isnt-what-killed-it/

Tuning Java Driver for Heavy write and Low Latency Read Scenario
https://www.smartcat.io/blog/2016/tuning-java-driver-for-heavy-write-and-low-latency-read-scenario/

TWCS part 1 - how does it work and when should you use it ?
http://thelastpickle.com/blog/2016/12/08/TWCS-part1.html

Data-Science

Learn TensorFlow and deep learning, without a Ph.D.
https://cloud.google.com/blog/big-data/2017/01/learn-tensorflow-and-deep-learning-without-a-phd.html

Big deep learning news: Google Tensorflow chooses Keras
http://www.fast.ai/2017/01/03/keras/

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74
Alexander : https://twitter.com/alexanderdeja

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Pour ce premier épisode de 2017, un gros focus sur l'IA et ses enjeux :
The Great A.I. Awakening
http://mobile.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html
Une I.A. remplace 34 employés d’une assurance au Japon
http://www.numerama.com/tech/221747-une-i-a-remplace-34-employes-dune-assurance-au-japon.html
Lemonade Sets New World Record
https://medium.com/@dschreiber/lemonade-sets-new-world-record-706ef8674110#.ze3xl0y97
Washington s’inquiète des conséquences de l’IA sur le monde du travail
http://www.numerama.com/politique/219002-washington-sinquiete-des-consequences-de-lia-sur-le-monde-du-travail.html
3 000 véhicules autonomes remplaceraient tous les taxis de New York
http://www.silicon.fr/3000-vehicules-autonomes-remplacer-taxis-new-york-166432.html
Tesla autopilot predicts crash
https://www.engadget.com/2016/12/28/tesla-autopilot-predicts-crash/
Amazon’s Real Future Isn’t Drones. It’s Self-Driving Trucks
https://www.wired.com/2016/12/amazons-real-future-isnt-drones-self-driving-trucks/
Big data and analytics trends in 2017: James Kobielus’s predictions
http://www.ibmbigdatahub.com/blog/big-data-and-analytics-trends-2017-james-kobielus-s-predictions
AI IS DISRUPTING EVERYTHING AND THESE 3 INDUSTRIES ARE NEXT
http://dataconomy.com/2016/11/artificial-intelligence-retail-healthcare-finance/?mc_cid=92cb38938d&mc_eid=74c41363d6
Self-learning software that builds itself
https://gcn.com/blogs/emerging-tech/2016/11/runtime-emergent-software.aspx?admgarea=TC_EmergingTech
Machine Learning is Fun Part 6: How to do Speech Recognition with Deep Learning
https://medium.com/@ageitgey/machine-learning-is-fun-part-6-how-to-do-speech-recognition-with-deep-learning-28293c162f7a#.es1ocew0h
Un drapeau rouge pour l’Intelligence Artificielle ?
http://blog.equancy.com/un-drapeau-rouge-pour-lintelligence-artificielle/

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent : https://twitter.com/vhe74
Alexander : https://twitter.com/alexanderdeja

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com https://twitter.com/affinitech )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Nous avons le plaisir de recevoir dans cet épisode Michel Caradec :

Project Manager, Software & Data Engineer at Cegid
Responsable technique chez Cegid, éditeur de logiciels de gestion.
En charge du développement des solutions décisionnelles et fiscales.
Expert des technologies associées au traitement des données (moteurs de transformation, OLAP, architectures distribuées).
Travaille sur les problématiques liées au Big Data et Machine Learning.

Portfolio :
Github : https://github.com/michelcaradec/
RPubs : http://rpubs.com/mcaradec
Shiny : https://mcaradec.shinyapps.io/runrshiny/
SlideShare : http://www.slideshare.net/mcaradec/
Contributeur sur Data-Bzh (http://data-bzh.fr/), blog dédié à l’Open Data en Bretagne.

Nous avons parlé de :
Azure Datalake : https://azure.microsoft.com/fr-fr/solutions/data-lake/
U-SQL : https://azure.microsoft.com/fr-fr/resources/videos/data-lake-u-sql-query-execution/
Les slides du talk que Michel avait fait lors du Paris Datageeks : http://www.slideshare.net/mcaradec/paris-dldatageeks-meetup-05102016/

-------------------------------------------------------------
http://www.bigdatahebdo.com
https://twitter.com/bigdatahebdo
Vincent Heuschling : https://twitter.com/vhe74

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com )
On recrute ! venez cruncher de la data avec nous ! écrivez nous à [email protected]

Amazon goes all in on AI and Big Data at AWS:Reinvent 2016
http://www.techrepublic.com/article/amazon-goes-all-in-on-ai-and-big-data-at-aws-reinvent-2016/

AWS EC2 Instances Updates
https://aws.amazon.com/fr/blogs/aws/ec2-instance-type-update-t2-r4-f1-elastic-gpus-i3-c5
Custom silicon, 9PB storage boxes, and 25Gb Ethernet – just another day in AWS hardware
http://www.theregister.co.uk/2016/11/30/aws_hardware/
Amazon Athena
https://aws.amazon.com/fr/athena/
https://aws.amazon.com/fr/athena/pricing/
https://prestodb.io/

Run IoT applications seamlessly across the AWS cloud and local devices
https://aws.amazon.com/fr/greengrass/

How GCP is challenging AWS
https://stratechery.com/2016/how-google-cloud-platform-is-challenging-aws/

Five Reasons Why The Amazon Cloud Has Lost Its Silver Lining
http://www.forbes.com/sites/jasonbloomberg/2016/11/27/five-reasons-why-the-amazon-cloud-has-lost-its-silver-lining/#6a7edcdeed1f

Stream Processing Myths Debunked
http://data-artisans.com/stream-processing-myths-debunked/

Debezium
http://debezium.io/docs/

A critique of the CAP theorem
http://jvns.ca/blog/2016/11/19/a-critique-of-the-cap-theorem/

-------------------------------------------------------------
http://www.bigdatahebdo.com
Pour nous suivre :
Alexander : https://twitter.com/alexanderdeja
Vincent : https://twitter.com/vhe74

Cette publication est sponsorisée par Affini-Tech ( http://affini-tech.com )