Pydoop

Pydoop, un'interfaccia Python per Apache Hadoop

Referenti

Contesto

Nel corso degli anni, l'elenco degli strumenti per l'analisi dei big data ha continuato a crescere costantemente. Tuttavia, non tutti offrono un'API multilinguaggio. Apache Hadoop, per esempio, è scritto in Java e si aspetta che gli utenti scrivano le loro applicazioni in Java. A causa della schiacciante popolarità di Python in tutti i domini, in particolare nel calcolo scientifico, è altamente auspicabile portare il suo ricco set di strumenti nell'ambiente Hadoop.

Descrizione

Pydoop è un'interfaccia Python per Apache Hadoop, che consente sia l'accesso HDFS che la sottomissione di lavori MapReduce.

Tratti innovativi

  • facilità d’uso;
  • compatibilità con la maggior parte delle librerie Python esistenti, fra cui SciPy e NumPy (estensione CPython)

Potenziali utenti

Chiunque necessiti di processare grosse moli di dati con Python

Settori d'impatto

Calcolo distribuito - calcolo scientifico - analisi di big data

Ulteriori risorse

  1. https://crs4.github.io/pydoop/
  2. S. Leo, G. Zanetti, Pydoop: a Python MapReduce and HDFS API for Hadoop. Proceeding HPDC '10, Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing. Pages 819-825 Chicago, Illinois - June 21 - 25, 2010.

Questo sito utilizza cookie tecnici e assimilati. Possono essere presenti anche cookie profilazione di terze parti. Se vuoi saperne di più o negare il consenso a tutti o ad alcuni cookie leggi l'informativa completa. Proseguendo nella navigazione (anche con il semplice scrolling) acconsenti all'uso dei cookie. This site uses technical and anonymized analytics cookies only. There may also be profiling third-party cookies. Please read the cookie information page to learn more about how we use cookies or blocking them. more information

The cookie settings on this website are set to "allow cookies" to give you the best browsing experience possible. If you continue to use this website without changing your cookie settings or you click "Accept" below then you are consenting to this.

Close