O sistema operacional recomendado é o **Debian** a partir da **versão 9**.
#### OCRmyPDF O OCRmyPDF realiza a leitura de documentos escaneados em PDF e permite o reconhecimento do seu texto. Assim, podendo ser buscado e indexado. Além disso, os documentos são automaticamente gerados em formato PDF/A, para arquivamento de longo prazo de documentos eletrônicos. O OCRmyPDF gera documentos no formato PDF/A-1b e PDF/A-2b. #### Watchman O Watchman permite monitorar determinado(s) diretório(s) com o objetivo de realizar operações quando os arquivos são modificados. É possível filtrar os tipos de arquivos com base no nome, tipo, dentre outras características. Como o OCRmyPDF não funciona com base no esquema de cliente-servidor até o presente momento, é necessário um software como o Watchman para monitorar determinadas entradas e disparar comandos para executar o processamento dos arquivos inseridos ou modificados. Na imagem seguinte, uma demonstração do fluxo de operação de todo o sistema caso a TI local opte pelo uso de um servidor de arquivos como o Samba. [](https://wiki.ifpe.edu.br/uploads/images/gallery/2018-03-Mar/OCR-com-SMB.png) Na imagem seguinte, uma demonstração do fluxo de operação de todo o sistema caso a TI local opte pelo uso de um servidor de SFTP. [](https://wiki.ifpe.edu.br/uploads/images/gallery/2018-03-Mar/OCR-com-SFTP.png) --- O método de envio do arquivo para a pasta de entrada não está no escopo desta solução. #### Vozes NextUp-ScanSoft **Se desejar**, este é um pacote de fala disponibilizado pela NextUp com uma voz feminina chamada Raquel. Este pacote é destinado ao uso nos clientes e não é necessária sua instalação no lado do servidor OCR. Atualmente, o software não faz mais parte do portfólio da empresa, mas a instalação é permitida e sem custos com o instalador disponível na Web. O pacote é utilizado por softwares como Adobe Reader e Foxit PDF Reader para a leitura do texto. ### 3. Instalação #### OCRmyPDF A última versão do OCRmyPDF disponível nos repositórios Debian/Ubuntu é bem anterior a versão já disponibilizada no repositório oficial dos desenvolvedores. Assim, não contempla as últimas atualizações necessárias ao bom funcionamento do pacote no que se refere a demanda de OCR do IFPE. **Portanto, será demonstrada a instalação via compilação do código fonte.** Logado como ***root***, execute os comandos: ```Instalar $ apt-get update $ apt-get install python3-pip $ apt-get install libffi-dev $ apt-get install tesseract-ocr $ apt-get install ghostscript $ apt-get install qpdf $ apt-get install git $ pip3 install git+https://github.com/jbarlow83/OCRmyPDF.git ``` Para dar suporte ao idioma Português do Brasil, instale o pacote abaixo: ```c18 $ apt-get install tesseract-ocr-por -y ``` Com o OCRmyPDF instalado, faça o teste com algum arquivo PDF escaneado: ```c18 $ ocrmypdf entrada.pdf saida.pdf --output-type pdfa-1 -l por ```Os argumentos `--output-type pdfa-1 -l` por significam respectivamente o tipo de PDF/A gerado e o idioma a ser considerado na interpretação do texto presente no documento PDF.
#### Watchman Ainda como ***root***, instale alguns pacotes de dependência: ``` $ apt-get install gcc $ apt-get install autoconf $ apt-get install automake $ apt-get install build-essential $ apt-get install libtool $ apt-get install libssl-dev $ apt-get install pkg-config $ apt-get install python-dev $ apt-get install python3-dev ``` Agora procede-se a instalação do Watchman (como ***root***): ```c18 $ git clone https://github.com/facebook/watchman.git $ cd watchman $ git checkout v4.9.0 $ ./autogen.sh $ ./configure $ make $ make install ``` #### NextUp-ScanSoft Raquel Apenas baixe e instale o software (Windows) por meio do link abaixo:| https://drive.google.com/file/d/0B3aNFZuG\_Yw9cjRCNUJBOUQ3QVk/view?usp=sharing |
Sobre os diretórios criados, é importante trabalhar corretamente as permissões de usuário e grupo de acordo com o seu serviço de rede e políticas de acesso.
A função do arquivo `.watchmanconfig` é passar configurações específicas do diretório ao watchman. Neste caso, a opção "*settle"* impede que o PDF seja processado antes de sua completa transferência para o diretório. **Crie em cada diretório "entrada" antes de executar o próximo comando** de criação dos triggers. Os triggers são criados e invocam o script no diretório **/srv/** - o script pode estar em outro local, só necessita de permissão de execução do root. **Crie as triggers**: ```Watchman $ watchman -- trigger /srv/shares/cgti/ocr/entrada/ 'ocrTrigCgti' '*.pdf' -- /srv/doOcr.sh $ watchman -- trigger /srv/shares/dae/ocr/entrada/ 'ocrTrigDae' '*.pdf' -- /srv/doOcr.sh $ watchman -- trigger /srv/shares/ascom/ocr/entrada/ 'ocrTrigAscom' '*.pdf' -- /srv/doOcr.sh ``` Detalhes: - /srv/shares/cgti/ocr/entrada/ : diretório observado; - 'ocrTrigCgti': nome do trigger; - '\*.pdf': filtro aplicado para o trigger; - /srv/doOcr.sh: script a ser invocado quando o Watchman identificar alguma alteração no diretório monitorado; - Importante não esquecer os dois hífens duplos no comando “--”. Agora observe o script que está sendo utilizado, **copie e cole no mesmo caminho**, ou seja, /srv/doOcr.sh: ```c12 #!/bin/bash # Escreve no log. Recebe o nome do arquivo e a ação realizada. logIt(){ echo -e "$(date +%d/%m/%Y-%T)\t" $1"\t"$2 >> /var/log/ocr.log } # Realiza o OCR. Recebe o nome do arquivo de entrada. ocrFile(){ logIt "$arg" "Processando" filename=$(echo "$1" | cut -f 1 -d '.') # sem extensão entrada="$1" saida="$filename"-ocr.pdf ocrmypdf "$entrada" ../saida/"$saida" -l por --output-type pdfa-1 --skip-text chmod g=rw,o= ../saida/"$saida" logIt "$arg" "OCR realizado" mv "$arg" ../originais } # Fluxo principal for arg in "$@" do if [ -f "$arg" ]; # arquivo existe ? then logIt "$arg" "Arquivo recebido" ocrFile "$arg" & fi done ```Caso copie e cole o script acima, antes, edite o texto e organize as linhas e aspas duplas (“ ”).
Dê permissões de execução para o script. ```c12 $ chmod +x /srv/doOcr.sh ``` #### Ativando a auto-inicialização O watchman deve monitorar os diretórios assim que o S.O. for iniciado. De forma a permitir que esta função seja realizada, **deve-se adicionar o comando de inicialização do watchman** aos comandos executados após o início do S.O. Para realizar isto, basta seguir o tutorial de [scripts de inicialização com system V](https://wiki.ifpe.edu.br/books/tecnologia-da-informa%C3%A7%C3%A3o-redes/page/scripts-de-inicializa%C3%A7%C3%A3o-com-system-v) que está na WIKI do IFPE. Atente para as variáveis do script que neste caso do watchman devem ser: `dir="/usr/local/bin/"` `cmd="watchman -f"` `user="root" ` #### Impressora Será demonstrada configuração na impressora Kyocera FS-1135 enviando o PDF para um servidor de arquivos. Para outras impressoras, as configurações são semelhantes, com algumas pequenas diferenças que podem ocorrer na forma como o S.O. da impressora trata os dados inseridos.A impressora deve estar conectada diretamente à rede.
Acesse o painel WEB da impressora: Serão criados “contatos” na agenda da impressora com configurações pré-definidas para salvar os documentos escaneados. Desta forma, evita-se a inserção manual das configurações de acesso ao servidor de arquivos. Na Kyocera, por exemplo, um contato pode conter informações FTP, SMB e de e-mail para o envio do PDF gerado. Acesse o menu “Básico”, depois, nas opções do lado esquerdo, clique “Bloco de endereços” e em seguida “Contatos”. Crie um novo contato clicando em “Adicionar Contato”. Tem-se várias opções de envio, será escolhido o protocolo SMB. -**Nome de host**: IP ou hostname do servidor de arquivos;
-**Número da porta**: porta que o servidor de arquivos escuta para receber arquivos;
-**Caminho**: utilizando contra-barras, o nome do compartilhamento seguido dos sub-diretórios para onde serão enviados os arquivos PDF;
-**Nome de login**: usuário e DOMÍNIO no formato usuario@dominio. **Recomenda-se a criação de um usuário no seu domínio para cada impressora.**
-**Senha de login**: senha do usuário no DOMÍNIO.
Clicar em **Enviar** para salvar as configurações. Posteriormente, para escanear e mandar para o servidor de arquivos, seguir as próximas configurações. #### Envio dos arquivos A configuração do envio dos arquivos foge do escopo deste tutorial. Mas o importante é que os usuários criados para o envio dos arquivos tenham permissões de **escrita (write)** no diretório “entrada” configurado. **O script (****/srv/doOcr.sh****) deve ter configurações de execução habilitadas** para que o Watchman consiga dispará-lo, bem como os usuários do domínio devem ter no mínimo acesso de leitura no diretório de “saída”. Recomenda-se uma política de manutenção dos arquivos que ficarão no diretório originais. Pode-se movê-los para um backup ou executar algum script periódico para limpar arquivos antigos. #### LOG O log de processamento dos arquivos da solução OCR se encontrará disponível no caminho /var/log/ocr.log. O estado possíveis para arquivo é: - **Arquivo recebido** - o arquivo foi recebido e detectado pelo watchman que já invocou o script doOcr.sh. - **Processando** - o OCRmyPDF está processando o arquivo. - **OCR realizado**. - o arquivo foi processado pelo OCRmyPDF com sucesso e movido para o diretório “saida”. ### 5. Atualização a partir de uma versão anterior Se já existia uma versão anterior da solução OCR implantada, basta realizar a atualização de alguns pontos. **Atualize o OCRmyPDF:** ```Atualizar $ apt-get update $ apt-get install python3-pip $ apt-get install libffi-dev $ apt-get install tesseract-ocr $ apt-get install ghostscript $ apt-get install qpdf $ apt-get install git $ pip3 install git+https://github.com/jbarlow83/OCRmyPDF.git@v5.7.0 $ apt-get install tesseract-ocr-por -y ``` **Delete as triggers antigas do** **watchman**, exemplo para **cgti**: ```Deletar $ watchman watch-del /srv/shares/cgti/ocr/entrada ``` **Crie** o arquivo .watchmanconfig no(s) diretório(s) de entrada do OCR**,** exemplo para **cgti:** ```Arquivo $ nano /srv/shares/cgti/ocr/entrada/.watchmanconfig {"settle": 10000} ``` **Faça uma cópia e atualize** o script de execução doOcr.sh para esta versão abaixo**:** ```Backup $ cp /srv/doOcr.sh /srv/doOcr.sh-bkp $ nano /srv/doOcr.sh <<<<<<<<Se não aparecer nenhuma mensagem de erro ou o LED vermelho não piscar, houve sucesso no escaneamento.
[](https://wiki.ifpe.edu.br/uploads/images/gallery/2017-12-Dec/image6.png) Diretório “Ascom”, na estrutura, indicando sucesso no escaneamento e no processamento OCR.O OCRmyPDF pode levar alguns minutos para processar o arquivo PDF.
#### Visualização (texto) O arquivo com reconhecimento OCR e padrão PDF/A-1b ou 2b, aparece da seguinte forma em softwares como Adobe Reader. Como é possível notar, o texto é selecionável. #### Visualização (áudio da leitura) Utilizando o software Adobe Reader como exemplo, acesse as Preferências do software, ative o recurso de Leitura do texto e selecione a voz “Raquel” para uso. [](https://wiki.ifpe.edu.br/uploads/images/gallery/2017-12-Dec/image9.png) Para escutar a leitura do texto pelo software, pressione os atalhos Shift + Ctrl + Y (Ativar leitura em voz alta) e Shift + Ctrl + B (Ler todo o documento). Também, é possível escutar clicando no texto ou percorrendo com o cursor do mouse. Leitura do arquivo com OCR em ação: [https://www.youtube.com/watch?v=xrBu4fhoXFE&feature=youtu.be](https://www.google.com/url?q=https://www.youtube.com/watch?v%3DxrBu4fhoXFE%26feature%3Dyoutu.be&sa=D&ust=1513610665960000&usg=AFQjCNHz55Qd-BCWilDs-l_6h-LlO_Uhhw) --- ### 7. Referências [https://pt.wikipedia.org/wiki/PDF/A](https://www.google.com/url?q=https://pt.wikipedia.org/wiki/PDF/A&sa=D&ust=1513610665962000&usg=AFQjCNETBMvgm_YZwumaqIGM7nyBJ-Xqig) [https://softwarepublico.gov.br/archives/thread/sei-negocio/como-criar-pdfa-conforme-iso-19005-12005](https://www.google.com/url?q=https://softwarepublico.gov.br/archives/thread/sei-negocio/como-criar-pdfa-conforme-iso-19005-12005&sa=D&ust=1513610665962000&usg=AFQjCNHVYFXJb2z-zld7EdWj4FI3sHYe_A) [http://www.admin-magazine.com/Archive/2015/26/Look-for-file-changes-and-kick-off-actions-with-Watchman/(offset)/3](https://www.google.com/url?q=http://www.admin-magazine.com/Archive/2015/26/Look-for-file-changes-and-kick-off-actions-with-Watchman/(offset)/3&sa=D&ust=1513610665963000&usg=AFQjCNHKgfomOHvdD4knmrnoIq5baRUnGA) [https://ocrmypdf.readthedocs.io/en/latest/index.html](https://www.google.com/url?q=https://ocrmypdf.readthedocs.io/en/latest/index.html&sa=D&ust=1513610665964000&usg=AFQjCNHmZWef3SZK74aU8g0B2MJUltb8mQ) [http://facebook.github.io/watchman/](https://www.google.com/url?q=http://facebook.github.io/watchman/&sa=D&ust=1513610665965000&usg=AFQjCNEFUuPIRF2qQcWhakf8RxYGminPqA)[ ](https://www.google.com/url?q=http://facebook.github.io/watchman/&sa=D&ust=1513610665965000&usg=AFQjCNEFUuPIRF2qQcWhakf8RxYGminPqA) [https://stackoverflow.com/questions/1659147/how-to-use-ghostscript-to-convert-pdf-to-pdf-a-or-pdf-x](https://www.google.com/url?q=https://stackoverflow.com/questions/1659147/how-to-use-ghostscript-to-convert-pdf-to-pdf-a-or-pdf-x&sa=D&ust=1513610665966000&usg=AFQjCNEfK4IgJP2Yuj41FkdLGEd0CrfbGw) [https://www.pdf-online.com/osa/validate.aspx](https://www.google.com/url?q=https://www.pdf-online.com/osa/validate.aspx&sa=D&ust=1513610665966000&usg=AFQjCNFw516pjWYyFmyV8dgy0mnEuyZDKA) [http://www.tecassistiva.com.br/servicos?id=105](https://www.google.com/url?q=http://www.tecassistiva.com.br/servicos?id%3D105&sa=D&ust=1513610665967000&usg=AFQjCNE3hKceJ46fu0Qt1YKhV5j1ksUeGg) # Solução OCR em OVA ### Introdução Este documento visa a orientação sobre as configurações aplicadas na máquina virtual (VM) da solução OCR versão 1.2.1 Serão apresentadas as configurações de sistema, particionamento, rede, usuários e particularidades da solução OCR. As CGTIs devem alterar configurações para satisfazer suas necessidades locais. A DADT entrega uma versão simplificada e funcional, com exemplos, demonstrando o serviço. À partir da entrega da VM, a CGTI fica responsável por sua manutenção e uso. Não se responsabilizando a DADT por eventuais problemas decorridos de alterações realizadas pelas coordenações locais de TI dos campi. ### Características da VM - VM Version: 8 - CPU: 2 vCPU - Memória: 1024 MB - Disco provisionado: 5 GBO tamanho do disco é pequeno para facilitar o download e implantação da solução. Recomenda-se fortemente que **o disco seja expandido** para evitar falta de espaço em algumas partições.
- Sistema operacional: Debian 9.1, 64 Bits - Sistema de armazenamento: LVM (Logical Volume Management). Utilizado por permitir flexibilidade na extensão das partições – útil para quando os discos ficam cheios e for necessário expandi-lo. O volume físico está em */dev/sda5*:| $ sudo pvs |
| PV VG Fmt Attr PSize PFree /dev/sda5 linux lvm2 a-- 4,52g 0 |
| $ sudo vgs |
| VG #PV #LV #SN Attr VSize VFree linux 1 3 0 wz--n- 4,52g 0 |
| $ sudo lvs |
| LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert root linux -wi-ao---- 3,11g srv linux -wi-ao---- 956,00m swap linux -wi-ao---- 488,00m |
| $ df -hP |
| Sist. Arq. Tam. Usado Disp. Uso% Montado em udev 487M 0 487M 0% /dev tmpfs 100M 4,6M 96M 5% /run /dev/mapper/linux-root 3,0G 2,2G 725M 75% / tmpfs 499M 0 499M 0% /dev/shm tmpfs 5,0M 0 5,0M 0% /run/lock tmpfs 499M 0 499M 0% /sys/fs/cgroup **/dev/mapper/linux-srv 925M 2,4M 859M 1% /srv** /dev/sda1 472M 37M 411M 9% /boot tmpfs 100M 0 100M 0% /run/user/1000 |
| $ nano /etc/network/interfaces |
| \# A interface de loopback auto lo iface lo inet loopback \# A interface de rede primaria auto ens33 allow-hotplug ens33 iface ens33 inet static address 172.16.1.10/24 gateway 172.16.1.1 dns-nameservers 172.16.1.6 dns-search ifpe.edu.br |
| $ ip a |
| 1: lo: <LOOPBACK,UP,LOWER\_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid\_lft forever preferred\_lft forever inet6 ::1/128 scope host valid\_lft forever preferred\_lft forever 2: ens33: <BROADCAST,MULTICAST,UP,LOWER\_UP> mtu 1500 qdisc pfifo\_fast state UP group default qlen 1000 link/ether **00:0c:29:94:08:8d** brd ff:ff:ff:ff:ff:ff inet 172.16.1.10/24 brd 172.16.1.255 scope global ens33 valid\_lft forever preferred\_lft forever |
| Usuário | Senha |
| cgti | \*@tif0cr |
| root | &\_p0i3TJ |
| Grupo | Usuário membro |
| cgti | cgti |
| root | root, cgti |
| sudo | root, cgti |
| $ tree /srv |
| /srv └── shares ├── cgti └── ocr ├── **entrada** ├── originais └── saida |
| $ cat /usr/local/var/run/watchman/root-state/state |
| { "watched": \[ { "triggers": \[ **{** **"command": \[** **"/srv/doOcr.sh"** **\],** "expression": \[ "anyof", \[ "match", **"\*.pdf",** "wholename" \] \], "stdin": \[ "name", "exists", "new", "size", "mode" \], "name": "ocrTrigCgti", "append\_files": true } \], **"path": "/srv/shares/cgti/ocr/entrada"** } \], "version": "4.9.0" } |
| $ cat /srv/shares/cgti/ocr/entrada/.watchmanconfig |
| {"settle": 10000} |