pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

ApacheログのPythonのパーサーライブラリ

参考URL PythonでApacheログの解析(apache-log-parser) - Symfoware apache-log-parser · PyPI インストール # yum install epel-release # yum install python2-pip # pip install apache-log-parser バグ(?)修正 # sed -i -r -e "s/make_regex\('%I'\), '\…

グラフの形式

参考 統計をグラフにあらわそう(種類と特徴)|なるほど統計学園 Drawing ternary diagrams (ternary plots) 分布図とバブルチャートの正しい使い方とは?(第7回) | データをざくざく処理するためのグラフの読み方、使い方 | Web担当者Forum http://ec.ni…

自動要約

自動要約 - Wikipedia ツイートを要約してくれる執事を作りました【最大被覆モデル】 商品評判要約API |ソフト・アプリ開発のAPIなら【gooラボ】

analyzeSyntaxレスポンスメモ

参考 Token | Cloud Natural Language API | Google Cloud 以下引用部分は上記URLを翻訳したもの 出力例 私: Ofset: -1 Part_Of_Speech: tag: PRON person: FIRST proper: NOT_PROPER Dependency_Edge: 2 は: Ofset: -1 Part_Of_Speech: tag: PRT proper: NO…

Natural Language API気づいた点

APIレスポンス情報の取り方。 こんな取り方もできた。UNKNOWNは出力されない。 json形式でも取得できる。 インプットテキスト 私は犬です。 サンプルコード # -*- coding: utf-8 -*- from google.cloud import language from google.cloud.language import e…

Natural Language API の基本メモ(analyzeSyntaxメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeEntitySentimentメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeEntitiesメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeSentimentメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub Analyzing Sentiment | Cloud Natural Language API Documen…

Natural Language API の基本メモ

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud 特徴 テキスト分析・アノテーション(※1)付与するメソッドがあり 分析結果より言語理解のための情報が得られる ※1 データに注釈となる情報をメタデータとして追…

Natural Language API Client Librariesを使う!

参考 cloud.google.com 作業の流れ Cloud Shellでも認証設定必要だった。。。gcloudコマンドは認証設定なしで動いたのに。 ①アカウント作成 ②JSONファイルダウンロード ③Cloud ShellにJSONファイルをアップロードし以下環境変数にファイルパス設定 export GO…

Google Natural Language API をやってみる!

参考 クイックスタート | Google Cloud Natural Language API ドキュメント | Google Cloud Google API を有効にする | MAGELLAN BLOCKS API実行方法は2方法あり ①PCにCloud SDKインストールし、gcloudコマンド実行 ②Cloud Shellから実行 Cloud ShellはAPI認…

pyenv環境でバージョン指定する時

参考URL pyenvでpythonの細かいバージョンを指定する方法 - blog.ton-up.net やり方 pyenv global 2.7.X

自然言語の要約をためす

目的 勉強で参考にしたページの要約をしたい。 参考URL と、思っていたら以下のAPIがあった。試してみる! 自動要約APIを作ったので公開します | リクルートテクノロジーズ メンバーズブログ GitHub - recruit-tech/summpy 環境構築 環境: Mac High Sierra1.…

Google Photoメモ

参考 appllio.com アップロードサイズは以下2つを選択可能 高品質:1600万画素の写真と1080p動画を無料かつ容量無制限で保存可能 元のサイズ:元の解像度で保存(Googleドライブなどと共用の保存容量を消費/15GB超は有料) スマホ連携利用に最適 アシスタン…

Google Cloud Platformメモ

GCP概要 www.topgate.co.jp Google Cloud Platform(GCP) は、Google 製の PaaSであるGoogle App Engine を中心に、EC2 相当の Google Compute Engine、NoSQL である Cloud Datastore、ビッグデータ解析ツールの BigQuery など、様々なサービスをひとまとめに…

KVMメモ

参考 Amazon CAPTCHA メモ CPU仮想化支援機能の有無確認 /proc/cpuinfo Intel-VTの場合、vmx AMD-Vの場合、svm KVMデバイス /dev/kvm KVM実行ユーザーはKVMグループに属する必要あり virt-install対話式実行 virt-install --prompt QCOWの意味 QEMUのイメー…

JUJUデプロイメモ

環境 MAASサーバ冗長化構成で2台セットアップ済み MAASサーバでKVM稼働中。このKVMをPODに登録しJUJUコントローラをデプロイする。 作業の流れ POD登録 Virsh Addressは以下 qemu+ssh://pike@192.168.0.102/system ※pikeはUbuntu Sudoユーザー JUJUコントロ…

DRBD片系ノードを再構築する場合

シーン ノードA,BがありDRBDでディスク同期している状態でノードAが復旧不能になり、再構築する場合 手順 ノードBをDRBD Primaryにする ノードAを再セットアップしDRBDインストールし設定ファイルを復旧する。 以下コマンドでミラーデバイスセットアップ drb…

Ubuntu復旧作業メモ

起動しなくなった時 リカバリモードを試す RecoveryMode - Ubuntu Wiki リカバリモードでもダメな場合 インストールCDからBootしRescueモードに入る

MAASバグ

Bug #1701682 “[2.x] selecting “Settings” provides an “Internal s...” : Bugs : MAAS

DRBDクラスタ状態復旧メモ

両方ともクラスタから外しstandalone状態にする ※リソースはdataの場合実行コマンド drbdadm disconnect data "cat /proc/drbd"出力結果 version: 8.4.5 (api:1/proto:86-101) srcversion: 4B3E2E2CD48CAE5280B5205 0: cs:StandAlone ro:Primary/Unknown ds:…

スパニングツリー復習

以下種類があり ・Spaning Tree(ST) ・Rapid Spanning Tree(RST) ・上記2つのVLAN毎に動く版 Per Vlan ST Rpid Per Vlan ST ・Multi ST VLANをグループ化し、それ毎に動く・リージョン設定も可能。大規模向け STは収束に時間がかかる RSTで解消 ST/RSTともに…

Ubuntu MAAS冗長化

Pacemaker & Corosync & DRBDでMAASの冗長化をする。 PostgreSQLだけクラウス化すれば良さそう。他サービスは参照するだけで複数起動可。 ・ラックコントローラは複数起動可能。リージョンコントローラVIPを参照。 ・リージョンコントローラは複数起動可能。…

Ubuntu MAAS DHCP有効化操作メモ

"Subnet"タブクリックし、DHCPサーバを動かすNICに対応するfabricをクリック vlan列の「untagged」をクリック 右上「Take Action」から「Provide DHCP」を選択

Ubuntu MAASメモ

イメージをローカルで管理する場合 Select and Import Images | MAAS documentation Local Image Mirror | MAAS documentation 以下コマンドをrootユーザーで実行 apt install simplestreams KEYRING_FILE=/usr/share/keyrings/ubuntu-cloudimage-keyring.gp…

add-apt-repositoryについて

レポジトリ追加するコマンド ppaはパーソナルパッケージアーカイブ。ユーザーが公開している非公式レポジトリ。 add-apt-repositoryは、ppaと公式レポジトリ両方追加が可能。 PPA の追加 / 削除 - 哲朗web apt-getで見つからないパッケージを追加する方法(de…

Ansibleメモ

roleは使った方が良さげ。 ansible のrole まとめ - Qiita roleとは?上記URLに端的に記述あり。 ansible でファイルを使い回す方法に include がある。これは、 task, handler (task の一種), play1 を他のファイルから読み込める。 一方で、roles を使うこ…

OpenStack Ansible調査

参考URL OpenStack Docs: OpenStack-Ansible Deployment Guide OpenStack Docs: About OpenStack-Ansible →LXCコンテナで実装(分離とメンテナンス性が良い為) https://docs.openstack.org/openstack-ansible/newton/index.html Ansible Tutorial: Deploy Ope…

MAASデプロイ操作メモ

MAASにマシン登録済みが前提 デプロイ時に以下設定をする ・NICのIP/Bonding設定 ・パーティション設定 マシン登録状態 Bonding設定 まずサブネット設定 サブネットはMAASがパケットをキャプチャし自動生成される。 しかし接続端末がない場合、自動生成され…