Você deve estar se perguntando o que há de novo no Bactopia? E a resposta é muita coisa, mas também… não muita coisa, mas no bom sentido! Como isso é possível? Bem, sobre isso…

O Bactopia agora é todo Strict, Static e Records!​

Ao longo do último ano, o Nextflow (o motor no qual o Bactopia é baseado) passou por uma significativa metamorfose, com a introdução de Strict Syntax e Static Types na v25, e agora Record Types na v26. Haha, se você já olhou o código-fonte do Bactopia, rapidamente perceberia que ele era a coisa menos "strict" possível. O Bactopia tirava proveito de muitas coisas no Nextflow que não eram realmente o propósito pretendido (por exemplo, executar mais de 60 workflows a partir de um único workflow…).

Então, para responder à sua primeira pergunta: como o Bactopia mudou muito, sem mudar muito?

Bem, para implementar strict syntax, static types e record types, eu precisei essencialmente reescrever o código-fonte, quase do zero (o que, de novo, não é necessariamente uma coisa ruim!). Como você pode ver na imagem abaixo, a v4 do Bactopia alterou 2.641 arquivos, com 140 mil linhas de código adicionadas e 55 mil linhas removidas. É verdade! Confira o CHANGELOG!

Na versão 4 do Bactopia, fico feliz em informar que agora estou em conformidade com o futuro do Nextflow! O que, como efeito colateral, significa que o Bactopia agora deve funcionar muito melhor tanto localmente quanto na nuvem.

Embora Strict Syntax, Static Types e Record Types não sejam exatamente "obrigatórios", acredito que sua adoção colocou o Bactopia em um lugar muito melhor do que estava antes. Um brinde ao pessoal da Seqera (que mantém o Nextflow) por ter implementado isso!

Co-desenvolvimento com IA​

[can you write a message about the usage of llms in Bactopia] Haha, brincadeira, ainda sou eu escrevendo este post! Mas, em um tom mais sério, daqui para frente o Bactopia utilizará IA nos desenvolvimentos e manutenções futuros. Sou o único desenvolvedor e mantenedor do Bactopia, então preciso equilibrar o que consigo fazer para evitar o esgotamento. No entanto, meu uso de IA não é sem muito pensamento. Não haverá agentes de IA com acesso irrestrito para fazer o que quiser com o Bactopia. Pode ter certeza, o Bactopia é algo que me importo profundamente, e planejo continuar mantendo a responsabilidade por ele.

Fiz esforços extensivos para garantir que existam diretrizes específicas que a IA deve seguir, bem como formas de eu verificar se essas diretrizes estão sendo cumpridas. Com a introdução de strict syntax, static types e record types, consegui incorporar diversos padrões que são bem adequados para LLMs e para as diretrizes que estabeleci. No final das contas, ainda estarei muito envolvido na revisão de quaisquer mudanças feitas por LLMs e no avanço do Bactopia. Só queria declarar brevemente minha posição sobre o uso de IA e LLMs para co-desenvolver o Bactopia.

Sinto que ainda é necessário um post mais detalhado para demonstrar meu processo ao usar LLMs para o Bactopia. Vou providenciar isso em breve!

O Bactopia agora é mais fácil de manter​

Com isso dito, mencionei que passei muito tempo reescrevendo o Bactopia, e acabou que a reescrita não mudou muito o resultado — mas isso é uma coisa boa. Você pode estar pensando: como todo esse esforço para terminar onde começou pode ser algo bom?!? Bem, quando você tem a oportunidade de reescrever algo, você o reescreve com base na sua experiência e habilidades atuais. Não sou o mesmo bioinformata de mais de 7 anos atrás, quando Tim e eu lançamos o Bactopia pela primeira vez. Às vezes me pergunto: 'por que o Robert de 2017 fez dessa forma?' e 'por que o Robert de 2026 tem tantos cabelos brancos?!'

Mas, para mim pelo menos, essa reescrita proporcionou a oportunidade de eliminar muito débito técnico acumulado pelo Robert do passado ao longo dos anos. Consegui padronizar muitas partes do Bactopia, de forma que um módulo é um módulo é um módulo é um módulo, etc…. Também pude mover muitas das partes não-Nextflow para fora do pipeline Nextflow do Bactopia e para o bactopia-py e o nf-bactopia.

Embora o pytest ainda funcionasse, consegui fazer a transição para o nf-test para todos os arquivos Nextflow, não apenas os subworkflows. Com essa transição, no momento, o Bactopia inclui 246 testes, que testam tudo (módulos, subworkflows e workflows) usando dados reais do repositório bactopia-tests reformulado.

Também consegui fazer com que a documentação seja construída a partir de GroovyDoc inline. Além disso, migrei do MkDocs Material para o Docusaurus, e até consegui este novo endereço elegante! Pessoalmente acho que será muito mais fácil de manter, e estou muito curioso para saber suas opiniões e feedback!

Tudo isso para dizer:

Se você é um usuário do Bactopia, o que você precisa saber é: agora acho o Bactopia muito mais fácil de construir e manter. Tim e eu estamos preparando coisas interessantes para o futuro do Bactopia. Então fique de olho!

P.S. Como acontece com todos os lançamentos maiores, haverá percalços no caminho, e tenho certeza de que posso ter esquecido alguma coisa. Se você encontrar bugs ou algum recurso que eu deixei passar, é só me avisar! Você pode me encontrar no workspace do Bactopia no Slack (haha que eu na verdade criei há muito tempo!)

Para começar com a versão 4 do Bactopia, confira o guia de instalação e o tutorial.

AllTheBacteria​

O Grupo de Zamin Iqbal, que nos trouxe as 661 mil montagens bacterianas, foi ainda mais longe com o AllTheBacteria. Como alguém que já foi encarregado de montar "todos os genomas de Staphylococcus aureus" (embora fossem apenas cerca de 700 amostras em 2010!), isso é realmente um feito impressionante e um recurso valioso para a comunidade! Com as montagens mais recentes, a coleção agora conta com quase 2.000.000 de montagens bacterianas!

Semelhante aos métodos anteriores, a versão mais recente do AllTheBacteria usa Shovill para montagem. Além disso, cada montagem tem métricas básicas calculadas, passa por estimativa de abundância taxonômica e tem sketches disponibilizados. Para mais detalhes sobre este projeto, consulte:

• Preprint: AllTheBacteria - all bacterial genomes assembled, available and searchable
• GitHub: AllTheBacteria

Desde que Zamin revelou as atualizações mais recentes do AllTheBacteria, fiquei me perguntando: Como os usuários do Bactopia poderiam aproveitar essas montagens? Especialmente, por meio das Bactopia Tools disponíveis?

Por que Bactopia Tools?​

O que há de realmente interessante nas Bactopia Tools é que elas tornam muito fácil executar 60 análises adicionais nos seus genomas. É tão simples quanto adicionar --wf <tool> ao seu comando Bactopia, e então o Bactopia cuidará do resto por você, incluindo a seleção de containers e trilhas de auditoria.

Obviamente, sou um pouco tendencioso aqui, mas utilizar as Bactopia Tools nessa situação agilizaria bastante uma série de análises downstream das montagens do AllTheBacteria. Acredito que isso permitiria que pesquisadores chegassem rapidamente à ciência por trás dessas montagens.

Para ter uma ideia, atualmente existem 38 Bactopia Tools que utilizam montagens como entradas. Em outras palavras, cada uma dessas ferramentas seria fácil de executar nas 2.000.000 montagens do AllTheBacteria.

bactopia atb-formatter​

O Bactopia já permite montagens como entradas, mas eu não queria que os usuários precisassem passar pelo pipeline completo do Bactopia para usar as Bactopia Tools. Em vez disso, queria criar uma forma rápida e fácil para que os usuários fossem diretamente ao uso das Bactopia Tools. Para isso, criei um novo comando Bactopia chamado atb-formatter (AllTheBacteria Formatter). Com o atb-formatter, a estrutura de diretórios de saída necessária do Bactopia será criada a partir de um diretório de montagens do AllTheBacteria.

Isso é legal e tudo mais, mas vamos demonstrar na prática o uso do atb-formatter em algumas montagens de Legionella pneumophila do AllTheBacteria.

Exemplo de Uso para Legionella pneumophila​

Para demonstrar o uso do bactopia atb-formatter, utilizarei montagens de Legionella pneumophila do AllTheBacteria e executarei o legsta, uma ferramenta de tipagem para montagens de L. pneumophila, escrita por Torsten Seeman. Mais especificamente, executarei o legsta a partir da Bactopia Tool disponível.

Preparando o Ambiente​

Antes de começar, você precisará ter o Bactopia instalado. Se ainda não fez isso, consulte as instruções de instalação.

Você também vai querer garantir que está usando pelo menos a versão 3.0.1 do Bactopia, pois esta é a primeira versão que inclui o comando atb-formatter.

bactopia --version
bactopia 3.0.1

Baixando as Montagens​

Primeiro, vou baixar as montagens de L. pneumophila do AllTheBacteria e depois extraí-las em uma pasta chamada legionella-assemblies. Simples assim!

mkdir atb-legionella
cd atb-legionella

# Download the assemblies
wget https://ftp.ebi.ac.uk/pub/databases/AllTheBacteria/Releases/0.1/assembly/legionella_pneumophila__01.asm.tar.xz
wget https://ftp.ebi.ac.uk/pub/databases/AllTheBacteria/Releases/0.1/assembly/legionella_pneumophila__02.asm.tar.xz

# Extract the assemblies
mkdir legionella-assemblies
tar -C legionella-assemblies -xJf legionella_pneumophila__01.asm.tar.xz
tar -C legionella-assemblies -xJf legionella_pneumophila__02.asm.tar.xz

No momento em que este texto foi escrito, havia 5.393 montagens de L. pneumophila disponíveis no AllTheBacteria. Embora não seja Salmonella enterica com suas centenas de milhares de montagens, é um número ótimo para demonstrar o uso do bactopia atb-formatter.

Criando a Estrutura de Diretórios do Bactopia​

Com as montagens extraídas, agora preciso criar a estrutura de diretórios necessária do Bactopia para usar as Bactopia Tools. Para isso, utilizei o bactopia atb-formatter, que cria uma pasta de amostra para cada montagem correspondente ao número de acesso BioSample.

# Create the Bactopia directory structure
bactopia atb-formatter --path legionella-assemblies --recursive

Após executar o comando acima, você deverá ver algo semelhante ao seguinte:

2024-03-22 14:30:07:root:INFO - Setting up Bactopia directory structure (use --verbose to see more details)
2024-03-22 14:30:08:root:INFO - Bactopia directory structure created at bactopia
2024-03-22 14:30:08:root:INFO - Total assemblies processed: 5393

Usando Bactopia para executar o Legsta​

Ótimo! Agora temos todas as montagens vinculadas via link simbólico em uma estrutura de diretórios do Bactopia. É hora de deixar as Bactopia Tools brilharem! Para isso, executarei a Bactopia Tool legsta e demonstrarei como é simples tipar 5.393 montagens.

Com uma simples adição de --wf legsta e apontando para o diretório Bactopia, o legsta será executado em todas as 5.393 montagens! É realmente assim tão simples!

# Run legsta
bactopia --wf legsta -profile singularity

Após algum tempo, a ferramenta legsta será concluída para todas as 5.393 montagens, e você deverá ver algo semelhante ao seguinte:

[5d/d04297] process > BACTOPIATOOLS:LEGSTA:LEGSTA_MODULE (SAMN29911258) [100%] 5393 of 5393 ✔
[71/c63bf7] process > BACTOPIATOOLS:LEGSTA:CSVTK_CONCAT (legsta)        [100%] 1 of 1 ✔
[16/833262] process > BACTOPIATOOLS:CUSTOM_DUMPSOFTWAREVERSIONS (1)     [100%] 1 of 1 ✔

    Bactopia Tools: `legsta Execution Summary
    ---------------------------
    Bactopia Version : 3.0.1
    Nextflow Version : 23.10.1
    Command Line     : nextflow run /home/rpetit3/bactopia/main.nf --wf legsta \
                                    --bactopia bactopia/ -profile singularity
    Resumed          : false
    Completed At     : 2024-03-22T15:09:54.959834620-06:00
    Duration         : 32m 51s
    Success          : true
    Exit Code        : 0
    Error Report     : -
    Launch Dir       : /home/rpetit3/test-legsta

Isso levou cerca de 30 minutos no meu laptop, mas foi incrivelmente simples executar o legsta em todas as 5.393 montagens de L. pneumophila.

Resultados da Tipagem​

Aqui vem a parte divertida: os resultados de tipagem para todas as 5.393 montagens de L. pneumophila! Outro ponto positivo das Bactopia Tools é que, na maioria dos casos, elas mesclam todos os resultados ao final, deixando você com apenas um único arquivo para revisar.

Para compartilhar os resultados desta análise, fiz o upload dos resultados no Google Drive e os disponibilizei neste link: Bactopia - Legsta Results from AllTheBacteria

A partir desta planilha do Google, você pode fazer uma cópia ou exportar os resultados como arquivo CSV.

Conclusão​

Neste post, demonstrei como em apenas alguns passos você pode usar as Bactopia Tools para começar a analisar de forma rápida e integrada as 2.000.000 montagens bacterianas do AllTheBacteria. Se você está planejando fazer suas próprias análises downstream nessas montagens, espero que este post tenha te convencido de que o Bactopia pode tornar esse processo muito mais fácil.

Se você tiver alguma dúvida ou ideia para novas Bactopia Tools, sinta-se à vontade para entrar em contato comigo!

Também! Este é o primeiro post do blog do Bactopia!