Metagenomics analysis with CLOTU: problems with input data

Santi Català · 05-24-2012, 06:11 AM

Hi to all,

I'm doing a metagenomic approach of environmental DNA with an amplicon library constructed with the ITS1 of one genera of fungi, with a total of four different libraries (4 MID's). I'm trying to analyze the data with CLOTU but I obtain the next log file:

Make-Cluster: -i [accepted.fas] -p b -s [n] -c 50 -m 97 -l y -a 8
make-FAS_FILE-EACH-Cluser: y accepted.fas blastclust_out.txt y
Make-Matrix: -f METADATA.txt -t TPA.txt -g y -o [matrix]

Manage file step completed

Illegal division by zero at /usit/titan/u1/globus/CLOTU/VER-1.1/filter.pl line 444, <DATA> line 444216.
Cannot open file "accepted.fas".
Cannot open accepted.fas to READ
Cannot open file "blastclust_out.txt".

Seqs per file: 200
Couldn't open 'cluster_out.fas': No such file or directory at /usit/titan/u1/globus/CLOTU/VER-1.1/clotu.pl line 225.

Who know what is the problem?

Another question is related to methodology. My library is very closed to the genera that we are studying, and we think that we don't have more than 20 species per sample (library). What is the best methodology that we can use? Assembly with Mira or Newbler is a good option?

Thanks in advance

Santi Català
Valencia (Spain)

Santi Català · 05-24-2012, 06:14 AM

I forgot that my amplicons (300 bp) were generated on a Junior GS pyrosequencer.

miguelangel · 08-31-2012, 01:07 AM

hello!

I'm having similar problems, how do you finally resolve them?

By the way, what about the assembly for fungi?

I'm from Madrid, so if you want we can speak in Spanish

Santi Català · 08-31-2012, 02:28 AM

Hola Miguel Ángel,

Mi principal problema era de que disponía de un PC arcaico por lo que me veía obligado a hacer uso de una plataforma de este tipo. Hace unos meses conseguí hacer uso de un equipo de un grupo de unos colegas de otra Universidad, con lo que el Pipeline nos lo hicimos nosotros. Tras extraer los datos con el sff_extract hicimos el clustering con el BlastClust, y con la ayuda de un script en Python exporté a Fasta el Listfile, para poder trabajar con las secuencias de cada OTU. Me vi con el problema de una cantidad de errores, aparte de homopolímeros, increible, probablemente debida al uso de una polimerasa convencional tras preparar la librería por Nested-PCR, con lo que en lugar de coger a random sequence de cada cluster, hice un alineamiento para exportar una consenso, que fue la que utilicé para blastear. Éste último paso no tendría sentido si tuviera un número excesivo de OTU's, pero con la alta especificidad de los cebadores me quité muchos organismos de enmedio.

Probé un ensamblaje con el MIRA, pero creo que no tenía mucho sentido hacerlo de esta manera, a pesar de que a nivel de diversidad de especies obtuve similares resultados.

Si te interesa la metodología te la puedo pasar vía e-mail más detallada.

¿Qué tal tus secuencias? ¿Qué bichos buscas?

Saludos cordiales

miguelangel · 08-31-2012, 03:30 AM

Muchas gracias por la info!

Nosotros estamos realizando los análisis de secuencias de bacterias, hongos y algas, obtenidas desde un 454 Titanium de Roche.

Por ahora las secuencias parece que están bastante bien, lo que nos está suponiendo algo más de problema es su cribado y, sobre todo, su asignación taxonómica.
Hemos usado por ahora unos scripts de BioPython y el SOP de mothur de Schloss et al, pero a la hora de asignar cada secuencia a cada bicho nos hemos encontrado con problemas: para Hongos no hay una buena base de datos pre-alineada con la que comparar, para algas ídem y para bacterias, la que hay (SILVA) casi no tiene cianobacterias (y las que tiene las confunde con DNA de cloroplastos), que son las que más esperamos tener.

Por ahora estamos haciendo unos pasos con mothur y queremos probar que tal la asignación con CLOTU, que es bastante sencillito una vez he conseguido enterarme de cómo tienen que ir los archivos iniciales.

Muchas Gracias

Saludos!

Santi Català · 08-31-2012, 05:36 AM

Bueno, pues igual para la siguiente placa te pediré consejo para meter los datos en el Clotu :-). Aunque con la poca diversidad que tengo me apaño bastante bien haciéndolo a mano.

Por mucha casualidad, tus muestras no serán del Machupichu?

Saludos!

miguelangel · 09-02-2012, 11:22 PM

Encantado de poder ayudarte.

Mis muestras no son de Machu Pichu, pero... ¿por qué lo preguntas?

Similar Threads
Thread	Thread Starter	Forum	Replies	Last Post
16S metagenomics, how much data needed?	Gorbenzer	Metagenomics	3	05-13-2012 06:43 PM
Illumina Metagenomics data	ssharma	Metagenomics	12	04-05-2012 11:55 AM
Problems with input DNA quantification	skblazer	Sample Prep / Library Generation	12	01-10-2012 07:49 AM
PubMed: CLOTU: an online pipeline for processing and clustering of 454 amplicon reads	Newsbot!	Literature Watch	0	09-20-2011 02:00 AM
problems about 454 transcription data analysis	zhouyi	454 Pyrosequencing	3	05-23-2010 04:39 PM

05-24-2012, 06:11 AM	#1
Santi Català Junior Member Location: Valencia, Spain Join Date: May 2012 Posts: 4	Metagenomics analysis with CLOTU: problems with input data Hi to all, I'm doing a metagenomic approach of environmental DNA with an amplicon library constructed with the ITS1 of one genera of fungi, with a total of four different libraries (4 MID's). I'm trying to analyze the data with CLOTU but I obtain the next log file: Make-Cluster: -i [accepted.fas] -p b -s [n] -c 50 -m 97 -l y -a 8 make-FAS_FILE-EACH-Cluser: y accepted.fas blastclust_out.txt y Make-Matrix: -f METADATA.txt -t TPA.txt -g y -o [matrix] Manage file step completed Illegal division by zero at /usit/titan/u1/globus/CLOTU/VER-1.1/filter.pl line 444, <DATA> line 444216. Cannot open file "accepted.fas". Cannot open accepted.fas to READ Cannot open file "blastclust_out.txt". Seqs per file: 200 Couldn't open 'cluster_out.fas': No such file or directory at /usit/titan/u1/globus/CLOTU/VER-1.1/clotu.pl line 225. Who know what is the problem? Another question is related to methodology. My library is very closed to the genera that we are studying, and we think that we don't have more than 20 species per sample (library). What is the best methodology that we can use? Assembly with Mira or Newbler is a good option? Thanks in advance Santi Català Valencia (Spain)

05-24-2012, 06:14 AM	#2
Santi Català Junior Member Location: Valencia, Spain Join Date: May 2012 Posts: 4	I forgot that my amplicons (300 bp) were generated on a Junior GS pyrosequencer.

08-31-2012, 01:07 AM	#3
miguelangel Member Location: Madrid Join Date: Jun 2012 Posts: 16	hello! I'm having similar problems, how do you finally resolve them? By the way, what about the assembly for fungi? I'm from Madrid, so if you want we can speak in Spanish

08-31-2012, 02:28 AM	#4
Santi Català Junior Member Location: Valencia, Spain Join Date: May 2012 Posts: 4	Hola Miguel Ángel, Mi principal problema era de que disponía de un PC arcaico por lo que me veía obligado a hacer uso de una plataforma de este tipo. Hace unos meses conseguí hacer uso de un equipo de un grupo de unos colegas de otra Universidad, con lo que el Pipeline nos lo hicimos nosotros. Tras extraer los datos con el sff_extract hicimos el clustering con el BlastClust, y con la ayuda de un script en Python exporté a Fasta el Listfile, para poder trabajar con las secuencias de cada OTU. Me vi con el problema de una cantidad de errores, aparte de homopolímeros, increible, probablemente debida al uso de una polimerasa convencional tras preparar la librería por Nested-PCR, con lo que en lugar de coger a random sequence de cada cluster, hice un alineamiento para exportar una consenso, que fue la que utilicé para blastear. Éste último paso no tendría sentido si tuviera un número excesivo de OTU's, pero con la alta especificidad de los cebadores me quité muchos organismos de enmedio. Probé un ensamblaje con el MIRA, pero creo que no tenía mucho sentido hacerlo de esta manera, a pesar de que a nivel de diversidad de especies obtuve similares resultados. Si te interesa la metodología te la puedo pasar vía e-mail más detallada. ¿Qué tal tus secuencias? ¿Qué bichos buscas? Saludos cordiales

08-31-2012, 03:30 AM	#5
miguelangel Member Location: Madrid Join Date: Jun 2012 Posts: 16	Muchas gracias por la info! Nosotros estamos realizando los análisis de secuencias de bacterias, hongos y algas, obtenidas desde un 454 Titanium de Roche. Por ahora las secuencias parece que están bastante bien, lo que nos está suponiendo algo más de problema es su cribado y, sobre todo, su asignación taxonómica. Hemos usado por ahora unos scripts de BioPython y el SOP de mothur de Schloss et al, pero a la hora de asignar cada secuencia a cada bicho nos hemos encontrado con problemas: para Hongos no hay una buena base de datos pre-alineada con la que comparar, para algas ídem y para bacterias, la que hay (SILVA) casi no tiene cianobacterias (y las que tiene las confunde con DNA de cloroplastos), que son las que más esperamos tener. Por ahora estamos haciendo unos pasos con mothur y queremos probar que tal la asignación con CLOTU, que es bastante sencillito una vez he conseguido enterarme de cómo tienen que ir los archivos iniciales. Muchas Gracias Saludos!

08-31-2012, 05:36 AM	#6
Santi Català Junior Member Location: Valencia, Spain Join Date: May 2012 Posts: 4	Bueno, pues igual para la siguiente placa te pediré consejo para meter los datos en el Clotu :-). Aunque con la poca diversidad que tengo me apaño bastante bien haciéndolo a mano. Por mucha casualidad, tus muestras no serán del Machupichu? Saludos!

09-02-2012, 11:22 PM	#7
miguelangel Member Location: Madrid Join Date: Jun 2012 Posts: 16	Encantado de poder ayudarte. Mis muestras no son de Machu Pichu, pero... ¿por qué lo preguntas?