Шифрование файлов при помощи OpenSSL/SMIME

Создадим пару тестовыx ключей:
openssl req -x509 -nodes -newkey rsa:2048 -keyout private.pem -out public_test.pem

Зашифруем публичным ключем:
openssl smime -encrypt -aes256 -in bigdata.xml -binary -outform DEM -out bigdata.xml.ssl public_test.pem

Расшифруем приватным:
openssl smime -decrypt -in bigdata.xml.ssl -binary -inform DEM -inkey privatekey.pem -out bigdata.xml

Если с первого раза не заработало  и выдает странные ошибки (особенно на Windows), то скорее всего не найден файл конфигурации. Он определяется системной переменной:
set OPENSSL_CONF=C:\Program Files\OpenSSL\openssl.cfg