pikesaku’s blog

個人的な勉強メモです。記載内容について一切の責任は持ちません。

Pydnsblを使う

複数のDNSBLに問い合わせしてくれる。
 

ソース

from pydnsbl import DNSBLChecker

chk = DNSBLChecker()
res = chk.check_ip('1.1.1.1')

print("Result")
print(res.blacklisted)
print("")
print("Providers")
print(res.detected_by)

結果

Result
True

Providers
{'dyna.spamrats.com': ['unknown']}

 
タイムアウトDNSBLが多く遅い。解消は以下

ソース

from pydnsbl import DNSBLChecker, providers

BASE_PROVIDERS = [
    'b.barracudacentral.org',
    'zen.spamhaus.org',
]
BASE_PROVIDERS = [providers.Provider(host) for host in BASE_PROVIDERS]
print(BASE_PROVIDERS)

chk = DNSBLChecker(providers = BASE_PROVIDERS)
res = chk.check_ip('8.8.8.8')

print("Result")
print(res.blacklisted)
print("")
print("Providers")
print(res.detected_by)

結果

[<Provider: b.barracudacentral.org>, <Provider: zen.spamhaus.org>]
Result
False

Providers
{}

Pythonのクラスについて

はじめに

Pythonの仕様なので、こういうものだと覚える!
 

参照

Amazon CAPTCHA
 

クラスの定義は以下の形

class クラス名:
    def メソッド名(self, ...):
        ...
    def メソッド名(self, ...):
        ...

 

インスタンス生成

ソース

class myclass:
    def __init__(self):
        pass

a = myclass()
print(type(a))

実行結果

<class '__main__.myclass'>

 

クラスオブジェクト

クラスもオブジェクト
クラスを定義するとクラスオブジェクトが生成される
クラスオブジェクトの代入可能
ソース

class myclass:
    def __init__(self):
        pass

a = myclass
b = a()
print(type(b))

実行結果

<class '__main__.myclass'>

 

属性指定

class myclass:
    def __init__(self):
        self.hoge = "hoge"

a = myclass()
print(a.hoge)

実行結果

hoge

 

属性削除

ソース

class myclass:
    def __init__(self):
        self.hoge = "hoge"

a = myclass()
print(a.hoge)
del a.hoge
print(a.hoge)

実行結果

Traceback (most recent call last):
  File "/Users/pike/PycharmProjects/Study/c.py", line 8, in <module>
    print(a.hoge)
AttributeError: 'myclass' object has no attribute 'hoge'
hoge

 

メソッド

クラスに定義された関数
selfを引数として持つ。selfは生成されたインスタンス自身
ソース

class A:
    def m1(self):
        print("A.m1")
        self.m2("m1 messeage")
    def m2(self, mes):
        print("A.m2")
        print(mes)

a = A()
a.m1()

実行結果

A.m1
A.m2
m1 messeage

 

コンストラク

インスタンス生成時に呼び出されるメソッド。名前は"__init__"にする
ソース

class A:
    def __init__(self):
        print("A.m1")

a = A()

実行結果

A.m1

 

デストラク

インスタンス削除時に呼び出されるメソッド。名前は"__del__"にする
ソース

class A:
    def __del__(self):
        print("del A")

a = A()
del a

実行結果

del A

 

継承

既存のクラスの派生クラスの定義
定義時に既存クラスを指定。これを基底クラスと呼ぶ
基底クラス未指定の場合、objectクラスを継承
super()で基底クラスのメソッド呼び出しが可能
ソース

class A:
    def __init__(self, arg1):
        self.atr1 = arg1
    def m1(self):
        print("m1")

class B(A):
    def __init__(self, arg1, arg2):
        super().__init__(arg1)
        self.atr2 = arg2
    def m2(self):
        print("m2")

i = B("hoge", "fuga")
print(i.atr1)
print(i.atr2)
i.m1()
i.m2()

実行結果

hoge
fuga
m1
m2

 

メソッドのオーバーライド

継承クラス定義と同名のメソッドを定義するとオーバーライドする
ソース

class K():
    def m(self):
        print("m by K")
    def m2(self):
        print("m2 by K")


class A(K):
    def m(self):
        print("m by A")

a = A()
a.m()
a.m2()

実行結果

m by A
m2 by K

 

多重継承

複数クラスの継承
ソース

class A:
    def m1(self):
        print("m1")

class B:
    def m2(self):
        print("m2")

class C(A, B):
    def m3(self):
        print("m3")


a = C()
a.m1()
a.m2()
a.m3()

実行結果

m1
m2
m3

 
メソッドの検索順が確定できない場合エラー
ソース

class A:
    def m1(self):
        print("m1")

class B():
    def m2(self):
        print("m2")

class C(A, B):
    def m3(self):
        print("m3")

class D(B, A):
    def m4(self):
        print("m4")

class E(C, D):
    def m5(self):
        print("m5")

実行結果

Traceback (most recent call last):
  File "/Users/pike/PycharmProjects/Study/a.py", line 17, in <module>
    class E(C, D):
TypeError: Cannot create a consistent method resolution
order (MRO) for bases A, B

※CはA→B、DはB→A順で検索。EはC→D順で検索するが、CとDが矛盾する為、エラー(内部実装の話。こういうものだと覚える!)
 
メソッドの検索順はmroメソッドで取得可能
ソース

class A:
    def m1(self):
        print("m1")

class B():
    def m2(self):
        print("m2")

class C(A, B):
    def m3(self):
        print("m3")

a = C()
print(C.mro())

実行結果

[<class '__main__.C'>, <class '__main__.A'>, <class '__main__.B'>, <class 'object'>]

 
Cのインスタンスmroメソッドを参照すると未定義エラーとなる。
ソース

class A:
    def m1(self):
        print("m1")

class B():
    def m2(self):
        print("m2")

class C(A, B):
    def m3(self):
        print("m3")

a = C()
print(a.mro())

実行結果

Traceback (most recent call last):
  File "/Users/pike/PycharmProjects/Study/a.py", line 14, in <module>
    print(a.mro())
AttributeError: 'C' object has no attribute 'mro'

 

インスタンスアロケータ

__new__メソッドのこと。__init__と似てるが、こりゃ難しい。以下URLも参考。
__new__と__init__とメタクラスと - Qiita
インスタンスアロケータ - Python学習講座
 
__new__の第一引数はクラスオブジェクト(cls)、__new__はインスタンス(self)
ソース

class A():
    def __new__(cls):
        print("A __new__")
        print(cls)

class B():
    def __init__(self):
        print("B __init__")
        print(self)

a = A()
aa = A
print(aa)

print("")
b = B()
print(b)

実行結果

A __new__
<class '__main__.A'>
<class '__main__.A'>

B __init__
<__main__.B object at 0x107abcc18>
<__main__.B object at 0x107abcc18>

 
__new__も__init__もインスタンス生成時に呼び出される
__new__の方が先に呼び出される。__new__の戻り値がsuper().__new__(cls)の場合のみ、__init__が実行される
ソース

class A():
    def __new__(cls):
        print("A __new__")
        return super().__new__(cls)
    def __init__(self):
        print("A __init__")

class B():
    def __new__(cls):
        print("B __new__")
    def __init__(self):
        print("B __init__")

a = A()
b = B()

実行結果

A __new__
A __init__
B __new__

 
return super().__new__(cls)とは?→クラスAのインスタンスである!
参考書籍にも以下記載あり
__new__はインスタンス生成する為に呼び出される。戻り値がクラスのインスタンスなら、そのインスタンスの__init__メソッドが実行される
やっと理解できた!
ソース

class A():
    print("A super().__new__(cls)")
    def __new__(cls):
        print(super().__new__(cls))
        return super().__new__(cls)
    def __init__(self):
        self.hoge = "A"

a = A()
print(a)

実行結果

A super().__new__(cls)
<__main__.A object at 0x107595cc0>
<__main__.A object at 0x107595cc0>

 
インスタンスアロケータの用途は?→参考書籍やURLを読み、以下と理解した
イミュータブル(変更不可)なクラス(int等)を継承しても、イミュータブルだからメソッドや属性を__init__ではオーバーライドできない(エラーになる)。ただ__new__ならできる。
ソース

class A(int):
    def __init__(self):
        self.hoge = "A"

a = A()
print("test")

実行結果

test

 
しかし以下コードを実行したが。。。エラーにならない。。。理解を誤ってるのだろう
ソース

class A(int):
    def __init__(self):
        self.real = 2

a = A()

実行結果

 
こういうことかも
__init__はself(インスタンス)を引数にする=既にインスタンス生成後の処理→なのでインスタンス生成前の処理をオーバーライドできない。→__new__ならできる!
intを継承したクラスでインスタンス生を成し、その値が常に2になるクラスを実装する場合
__init__ではできない。ダメ元で以下コードで試す
ソース

"""
# intの__init__メソッドのソースコードの内容。passしてるだけ。

def __init__(self, x, base=10):
    pass
"""

class A(int):
    def __init__(self, x, base=10):
        x = "2"
        pass

a = A("1")
print(a)

実行結果

1

 
__new__でインスタンス生成時の引数を2に変更!
ソース

class A(int):
    def __new__(cls, s):
        s = "2"
        return super().__new__(cls, s)

a = A("1")
print(a)

実行結果

2

IT用語

ハイプ・サイクル

ガートナー ジャパン | ハイプ・サイクル 2018年

テクノロジとアプリケーションの成熟度と採用状況、実際のビジネスにおける課題を解消する潜在的な能力、そしてテクノロジやアプリケーションが生み出す新たな機会などを提示するガートナーの代表的なリサーチの1つ

Webスクレイピング勉強

参考

Pythonでかんたんスクレイピング (JavaScript・Proxy・Cookie対応版) - Qiita

Requestモジュール
Developer Interface — Requests 2.21.0 documentation

BeautifulSoup
Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation
パーサではない。パーサー指定しパート毎に取り出すためのライブラリ。
 

メモ

BeautifulSoup

f:id:pikesaku:20190210230849p:plain

上記の"ハイプ・サイクルは〜"部分を取り出す場合、以下2つの方法あり。

soup.find("div", attrs={"class": "leftarea"}).text)
soup.find_all(attrs={"class": "leftarea"})[0].text

findでタグ指定し、属性で絞り込み。
find_allでタグ指定せず、属性で絞り込み。レスポンスはリスト。

サンプルコード

Javascript実行する必要があるやつ
けっこうはまった。。。先人に感謝!

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from bs4 import BeautifulSoup

def scraping(url):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(options=options)
    driver.get(url)
    driver.execute_script("return(bpsso.liMov(0))")
    a = driver.page_source.encode('utf-8')
    print(a)
    soup = BeautifulSoup(a, "lxml")
    print(soup.text)
    driver.quit()


if __name__ == '__main__':
    url = 'https://tech.nikkeibp.co.jp/top/it/'
    scraping(url)

 

JavaScript勉強

参考

Amazon CAPTCHA
昔買った本で勉強
 

メモ

JavaScriptが扱うオブジェクトは4つあり。
 

JavaScript固有オブジェクト

<html>
<head>
    <title>Test</title>
</head>
    <body>
        <script type="text/javascript">
                function hoge() {
                    this.height = 100;
                    this.width = 200;
                }
                var myobj = new hoge();
                alert(myobj.height);
                hoge.prototype.depth = 300;
                alert(myobj.depth);
                hoge.prototype.width = 400;
                alert(myobj.width);
        </script>

    </body>
</html>

 

②ブラウザオブジェクト

<html>

<head>
    <title>Test</title>
    <script type="text/javascript">
            function hoge() {
                document.getElementById("fuga").style.backgroundColor = "#AAA";
            }
    </script>
</head>

<body onClick="hoge()">
<h1 id="fuga">honya</h1>
</body>

</html>

 

③ライブラリ提供オブジェクト

実行するとCORSエラーになる。(Google Chrome Developer Toolエラー)
Access to XMLHttpRequest at 'http://dicom.nema.org/medical/dicom/current/source/docbook/part01/part01.xml' from origin 'http://localhost:63342' has been blocked by CORS policy: Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource.
 
FireFoxの"CORS Anywhere"拡張プラグインで表示可能。

<html>

<head>
    <title>Test</title>
    <script src="https://ajax.googleapis.com/ajax/libs/prototype/1.7.2.0/prototype.js" type="text/javascript"></script>
    <script type="text/javascript">
            function hoge(uri) {
                target = "disp";
                new Ajax.Updater(target, uri, {method: "get"});
            }
    </script>
    <style type="text/css">
    #disp{border: 1px solid #aaa;width: 250px; height: 250px; padding: 5px;}
    </style>
</head>

<body>
    <form>
        <input type="button" id="btn01" name="btn01" value="No.1" onClick="hoge('http://dicom.nema.org/medical/dicom/current/source/docbook/part01/part01.xml')">
        <input type="button" id="btn02" name="btn02" value="No.2" onClick="hoge('http://dicom.nema.org/medical/dicom/current/source/docbook/part02/part02.xml')">
    </form>
    <div id="disp"></div>
</body>

</html>

 

JSONオブジェクト

<html>

<head>
    <title>Test</title>
    <script type="text/javascript">
            var myJSON = {apple:"APPLE", banana:"BANANA"}
    </script>
</head>

<body>
    <form>
        <input type="button" value="hoge" onClick="alert(myJSON.apple);">
    </form>
</body>

</html>