• it  Italiano
    • en English (Inglese)
CRS4

Centro di Ricerca, Sviluppo e Studi Superiori in Sardegna

  • Home
  • I NOSTRI PRIMI
    30 ANNI
    • CONFERENZA STAMPA
    • Nascita del CRS4
    • 30 ANNI DI RISULTATI
    • 30 ANNI NEI MEDIA
    • PARLANO DI NOI
    • PATROCINI
    • SPONSOR
    • RAPPRESENTANTI LEGALI
    • COME SOSTENERCI
  • Ricerca
    • Bioscienze
    • Tecnologie Digitali per l'Aerospazio
    • HPC per Energia e Ambiente
    • ICT - Società dell'Informazione
    • Informatica visuale e ad alta intensità di dati
    • Infrastrutture Computazionali e Progetti Smart
  • SVILUPPO
    E SERVIZI
    • Next Generation Sequencing Core Facility
    • Servizi di calcolo ad alte prestazioni
    • Catalogo Tecnologie
    • Open Source Software - OSS
  • Progetti
    • Progetti
    • Scuole scientifiche
  • Clienti e Collaborazioni
    • Clienti
    • Protocolli d'intesa
  • Risultati
    • Pubblicazioni
    • Brevetti e Marchi
    • Riconoscimenti
  • Press e Media
    • Press Kit
    • Ufficio stampa
    • Research focus
    • News
    • Comunicati stampa
    • Rassegna stampa
    • Video gallery CRS4
    • Video Visual Computing
    • Eventi
  • Chi siamo
    • Organizzazione
    • Organigramma
    • Comitato consultivo
    • Società Partecipate
    • Persone
    • Contatti
    • Opportunità
      di lavoro

Pydoop

  • Home
  • Risultati
  • Catalogo Tecnologie
  • Pydoop
Catalogo Tecnologie
ENERGIA & AMBIENTE
BIOFISSAZIONE DI CO2 DA MICROALGHE
CRS4-2
EIAGRID
ICT
ACTIVE
CORVO3D
DEEPFRAMEWORK
GREEN
HYPERGATE
HYPERPEER
IN3-3D
MADAME3D
MUCCA
MURTIC
OPINION MINING FRAMEWORK
OVERTHEVIEW
PICKAROCK
PRODIS
RESTAUR
SOCIAL WALL
VISUALIZZAZIONE E ANALISI DELLE MLIC
X-PLACES
SCIENZE DELLA VITA
CRS4TELEMED
CYTEST
HEALTH GATEWAY
HL7APY
JEENK
OME SEADRAGON
OMERO BIOBANK
PROMORT
PYDOOP
PYEHR
RAPI
SEAL
WFT4GALAXY

Pydoop

Pydoop, un'interfaccia Python per Apache Hadoop

Referenti

Simone Leo, Gianluigi Zanetti. E-mail: valorisation@crs4.it

Contesto

Nel corso degli anni, l'elenco degli strumenti per l'analisi dei big data ha continuato a crescere costantemente. Tuttavia, non tutti offrono un'API multilinguaggio. Apache Hadoop, per esempio, è scritto in Java e si aspetta che gli utenti scrivano le loro applicazioni in Java. A causa della schiacciante popolarità di Python in tutti i domini, in particolare nel calcolo scientifico, è altamente auspicabile portare il suo ricco set di strumenti nell'ambiente Hadoop.

Descrizione

Pydoop è un'interfaccia Python per Apache Hadoop, che consente sia l'accesso HDFS che la sottomissione di lavori MapReduce.

Tratti innovativi

  • facilità d’uso;
  • compatibilità con la maggior parte delle librerie Python esistenti, fra cui SciPy e NumPy (estensione CPython)

Potenziali utenti

Chiunque necessiti di processare grosse moli di dati con Python

Settori d'impatto

Calcolo distribuito - calcolo scientifico - analisi di big data

Ulteriori risorse

  1. https://crs4.github.io/pydoop/
  2. S. Leo, G. Zanetti, Pydoop: a Python MapReduce and HDFS API for Hadoop. Proceeding HPDC '10, Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing. Pages 819-825 Chicago, Illinois - June 21 - 25, 2010.

 

  • Home
  • Chi siamo
  • Contatti
  • Visita il CRS4
  • Press Kit
  • Appalti e Gare
  • Opportunità di lavoro
  • Modello Organizzativo 231
  • Amministrazione trasparente
  • Intranet

 

  • Bioscienze
  • Tecnologie Digitali per l'Aerospazio
  • HPC per Energia e Ambiente
  • ICT - Società dell'Informazione
  • Informatica visuale e ad alta intensità di dati
  • Infrastrutture Computazionali e Progetti Smart
  • Pubblicazioni
  • Progetti

SEGUICI SU

  • Facebook
  • Twitter
  • Youtube
  • Linkedin
  • Slideshare

Dove siamo

Loc. Piscina Manna, Edificio 1
09050 Pula (CA)

Via Ampere 2
09134 Cagliari (CA)

Phone: +39 070 92501

Fax: +39 070 9250216

Email: info@crs4.it

PEC: crs4@legalmail.it

CRS4 ©  1993 - 2021 | Politica sulla privacy | P.IVA 01983460922