Блоги: заметки с тегом скрипт

Получаем данные с сайта СГК для Home Assistant

Копытов Иван — Thu, 20 Feb 2025 08:22:01 +0500

В Home Assistant у меня было отслеживание почти всех счетов по квартире: электроэнергия, коммунальные платежи, ТКО, капитальный ремонт и т. д. Проблема была только с сайтом компании СГК, которая занимается предоставлением горячей и холодной воды, отоплением и водоотведением. При помощи таких интеграций, как scrape и multiscrape загрузить данные с их сайта не получалось, поэтому пришлось пойти более сложным путем и написать свой скрипт. На деле он оказался совсем простым, требует доработки в плане проверок ответов сервера, но даже в таком виде он вполне работоспособен. Чтобы не перечислять все данные, возьму только отопление.


import requests
import json

login = data.get("username", "")
password = data.get("password", "")
login_url = 'https://krk.sibgenco.services/Account/Auth'
data_url = 'https://krk.sibgenco.services/fl/accounts/getAccounts'

headers = {
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:109.0) Gecko/20100101 Firefox/115.0",
}

# Создаем новую сессию
session = requests.Session()
# Авторизуемся на сервере
result = session.post(login_url, data = 'login=' + login + '&password=' + password, headers = headers)
# print(result.text)

# Получаем данные в JSON формате
result = session.get(data_url, headers = headers).json()
session.close()

# Перекодируем текст в читаемый
result = result.encode().decode('unicode-escape', 'ignore')
result = json.dumps(result)
result = json.loads(result)

# Убираем лишние кавычки в разделе "Cards" (откуда взялись?)
result = result.replace('"Cards":"', '"Cards":').replace('}]"}', '}]}')
# print(type(result))
# print(result)

if len(result) > 0:
    logger.info("Данные от СКГ получены")
else:
    logger.warning("Ошибка получения данных от СГК")
# print(result.encode().decode('unicode-escape', 'ignore'))

# Преобразуем строку данных в JSON объект
json_data = json.loads(result)["Accounts"][0]["CalcData"]["Products"]#[0]["ToPay"]

# print(json_data, '\n')
# print(json.dumps(json_data), '\n')

# for product in json_data["Accounts"][0]["CalcData"]["Products"]:
#     print(product["ItemName"] + ": " + str(product["ToPay"]) + " руб.")

if json_data[0]["ToPay"] > 0:
    hass.states.set('sensor.sgk_heating', json_data[0]["ToPay"] * -1)
else:
    hass.states.set('sensor.sgk_heating', json_data[0]["ToPay"])

В ходе работы скрипта получаем несколько секций для каждой из услуг, которые выглядят вот так:


  - IsFine: false
    Item: 13
    ContractId: 307015
    ItemName: Отопление
    SaldoBegin: 4228.65
    Paid: 4228.65
    SaldoEnd: 0
    FineEndCheck: true
    FineEnd: 0
    AccrualsCheck: false
    Accruals: 0
    Recalculation: 0
    ToPayCheck: true
    ToPay: 0
    ChargeDetails: ""
    PayDetails: 08.02.2025 4228.65;
    FinePayDetails: ""
    WebPayDetails: 08.02.2025=5338.65=20250208171312-99240-6764617.585349

Далее просто создаем автоматизацию в Home Assistant, которая будет запускать этот скрипт. Для надежности перед первым запуском создаем несколько новых сенсоров в примерно таком формате:


    # Задолженность за отопление, итого
    heating_debt_summary:
      unique_id: <тут ваш ID сенсора>
      attribute_templates:
        Пеня: "{{ states('sensor.sgk_heating_penya') }} ₽"
      device_class: monetary
      friendly_name: Задолженность за отопление
      unit_of_measurement: "RUB"
      # value_template: "{{ states('sensor.sgk_heating') | float(0) + states('sensor.sgk_heating_penya') | float(0) }}"
      value_template: "{{ states('sensor.sgk_heating') | float(0) }}"

Как видно, в сенсоре будет также атрибут «пеня». Можно вывести суммарную задолженность — долг+пеня, можно вывести только основную — на выбор.
И вот после сайта СГК меня слегка «понесло» и сделал схожие скрипты для получения информации с сайтов ФНС, капремонта, энергосбыта и регистратора доменов. С ФНС было интересно — там сначала нужно пройти basic-авторизацию, получить токен безопасности, авторизоваться еще раз и слать его при каждом запросе данных. А дальше было уже намного легче — у ФНС существует API, которое они активно используют. Официальной документации по нему нет, но, покопавшись на сайте, можно легко получить все запросы. Для чего нужны эти данные? Например, чтобы отслеживать задолженность по налогам (в том числе и самозанятого), недвижимость и банковские счета. Сейчас такое время, что на тебя могут открыть какой-то счет в банке, сделать тебя «начальником» какой-то конторы, а ты даже будешь не в курсе. Но стоит отметить, что в налоговой отображаются только обычные, дебетовые счета, информации по кредитам там нет.

Обновление wildcard-сертификатов Let’sEncrypt

Копытов Иван — Sat, 16 Dec 2023 14:16:55 +0500

Копытов Иван:

Случай, когда ваш домен располагается на reg.ru

Можно, конечно, воспользоваться сторонними библиотеками, но я не любитель ставить что-то стороннее, если можно обойтись своими силами. Поэтому пришлось потратить время на написание и тестирование bash-скрипта с именем authenticator.sh:

#!/bin/bash

#Основные параметры
domain="kini24.ru"
username="graywolf"
password="********"
# Этот параметр менять не нужно
subdomain=""

# Корректно задаем судбдомен
# Если обрабатывается основной домен, то субдомен будет _acme-challenge
# Если обрабатывается субдомен, то строка будет вида _acme-challenge.subdomain
if [[ $CERTBOT_DOMAIN = $domain ]]
then
  subdomain="_acme-challenge"
else
  subdomain="_acme-challenge.${CERTBOT_DOMAIN%.$domain}"
fi

# Чисто для информации
/usr/bin/echo "Requesting $CERTBOT_DOMAIN"

# Запрос на удаления текущих записей
txt_delete="input_format=json&input_data={\"username\":\"$username\",\"password\":\"$password\",\"domains\":[{\"dname\":\"$domain\"}],\"subdomain\":\"$subdomain\",\"record_type\":\"TXT\",\"output_content_type\":\"plain\"}"

# Запрос на добавления записи
txt_add="input_format=json&input_data={\"username\":\"$username\",\"password\":\"$password\",\"domains\":[{\"dname\":\"$domain\"}],\"subdomain\":\"$subdomain\",\"text\":\"$CERTBOT_VALIDATION\",\"output_content_type\":\"plain\"}"

#Можно проверить при желении
#/usr/bin/echo "Certbot parameters:"
#/usr/bin/echo "Current domain: $CERTBOT_DOMAIN"
/usr/bin/echo "Validation string: $CERTBOT_VALIDATION"
#/usr/bin/echo "Delete request: $txt_delete"
#/usr/bin/echo "Add request: $txt_add"

# Запрос на удаление ВСЕХ TXT записей
if [[ $CERTBOT_DOMAIN != $domain ]]
then
 #/usr/bin/echo "Remove all TXT records"
  /usr/bin/curl --silent --data "$txt_delete" "https://api.reg.ru/api/regru2/zone/remove_record"
fi

# Запрос на создание TXT записи
#/usr/bin/echo "Add new TXT record"
/usr/bin/curl --silent --data "$txt_add" "https://api.reg.ru/api/regru2/zone/add_txt"

# Проверяем что нужная TXT запись появилась. Иначе ждем пока данные обновятся
#answer=""
#while [[ $answer != $CERTBOT_VALIDATION ]]
#do
#  /usr/bin/echo "Requesting DNS record"
#  answer=$(/usr/bin/dig @77.88.8.8 $CERTBOT_DOMAIN txt +short | /usr/bin/tr -d \" | /usr/bin/egrep $CERTBOT_VALIDATION)
#  /usr/bin/sleep 60
#done

if [[ $CERTBOT_REMAINING_CHALLENGES -eq 0 ]]
then
  sleep 15m
fi

# Выводим количество доменов, которые осталось обработать
/usr/bin/echo "Remaining challenges: $CERTBOT_REMAINING_CHALLENGES"

Логика скрипта следующая. В начале задаются основной домен, имя пользователя и пароль от личного кабинета reg.ru. Параметр subdomain менять не нужно, он «вычисляется» по ходу выполнения скрипта. Далее если обрабатывается основной домен, то поддомен становится равным _acme-challenge, иначе в конец еще добавляется поддомен. Формируется строка для удаления всех (!) текущих записей типа TXT, если обрабатыается поддомен. Записи для основного домена просто добавляются (тут да, небольшой косяк, нужно немного дописать скрипт).
Затем, после добавления DNS-записи скрипт должен был запрашивать все записи TXT и, после появлении нужной, продолжать выполнение, но тут скрипт уходил в бесконечный цикл, поэтому я его закомментировал полностью. Сможете исправить — буду благодарен.
На последнем шаге скрипт, если доменов для регистрации не осталось, ждет 15 минут (время обновления записей у reg.ru от 15 минут до 1 часа) и возвращает управление команде certbot.

Вызывается скрипт примерной такой командой:

certbot certonly --manual --agree-tos --manual-public-ip-logging-ok --email admin@kini24.ru --preferred-challenges dns --server https://acme-v02.api.letsencrypt.org/directory --domain *.jabber.kini24.ru --domain *.meet.kini24.ru --domain *.kini24.ru --domain kini24.ru --rsa-key-size 2048 --key-type ecdsa --elliptic-curve secp256r1 --redirect --uir --staple-ocsp --must-staple --hsts --manual-auth-hook /root/authenticator.sh

В этой команде следующие параметры:
certonly — только получение сертификата;
agree-tos — принимаем пользовательское соглашение;
manual-public-ip-logging-ok — соглашаемся на публикацию нашего IP-адреса;
email — указываем свою электронную почту для уведомлений;
preferred-challenges — выбираем тип проверки. Для wildcard-сертификатов это только DNS;
server — указываем сервер сертификации;
domain — перечисляем свои (суб-)домены;
rsa-key-size — указываем «размер» ключа. Значение 2048 по умолчанию, оставил на всякий случай;
key-type — тип ключа. Снова указано значение по умолчанию;
elliptic-curve — «кривые». Тут тоже значение по умолчанию;
redirect — перенаправлять с http на https$
uir — добавляет в ответ заголовок Content-Security-Policy со значением upgrade-insecure-requests;
staple-ocsp — «сшивание» сертификатов;
must-staple — обязательное «сшивание»;
hsts — принудительная активация защищенного режима, т. е. https;
manual-auth-hook — запуск своего скрипта.