ブログ - スキルチャージカテゴリのエントリ
python Japanのコンテンツ.
ゼロからのPython入門講座
https://www.python.jp/train/index.html
でも必要に迫られてないので,手を出しにくい.最初の一歩の準備は完全にできてるんだが.
ゼロからのPython入門講座
https://www.python.jp/train/index.html
でも必要に迫られてないので,手を出しにくい.最初の一歩の準備は完全にできてるんだが.
参考になる資料だというのでメモ. 15ページ.
ユーザーリサーチ実施の進め方 ユーザーテスト実施手順書 - 東京都
https://shintosei.metro.tokyo.lg.jp/wp-content/uploads/01_UR2.pdf
引用:
ユーザーリサーチ実施の進め方 ユーザーテスト実施手順書 - 東京都
https://shintosei.metro.tokyo.lg.jp/wp-content/uploads/01_UR2.pdf
引用:
ユーザーリサーチとはサービス利用者の 潜在的なニーズ や 真の課題 を抽出し、最適な解決策 を導くための活 動です。本資料では、ユーザーリサーチを効果的に進められるよう、2種類のユーザーリサーチのパターンを 深掘りしています。ユーザーリサーチに対する理解を深めて頂ければ幸いです。
無償で研修資料を公開している企業についてまとめられたページが話題.
有名企業のエンジニア向け研修資料まとめ
https://qiita.com/KNR109/items/f3268b311e11d5b821c0
ミクシィ
リクルート
サイボウズ
サイバーエージェント
ゆめみ
Wantedly
エンジニアを大事にしそうな会社に見えるから,人材採用でエンジニアが集まってくるという好循環を生もうとする考えだな.素晴らしい.
有名企業のエンジニア向け研修資料まとめ
https://qiita.com/KNR109/items/f3268b311e11d5b821c0
ミクシィ
リクルート
サイボウズ
サイバーエージェント
ゆめみ
Wantedly
エンジニアを大事にしそうな会社に見えるから,人材採用でエンジニアが集まってくるという好循環を生もうとする考えだな.素晴らしい.
糸電話を使ってモデル化して説明するんだな.
• ネットワークの基本構成
○ コンピュータ同士は,電線で繋ぐ.どのような電線か,様々な方式.
○ 糸電話を使って実験.
§ コップを片側に2つつけて送信(口に当てる)・受信(耳)に分ける.
§ 3本以上使えた場合通信相手を呼ぶ.
§ 大量に増えたら必要な糸の数が多くなる.
○ 通信はホスト同士で考える.
§ MACアドレスをつけて個体を識別.
□ メーカが出荷時につけている.
□ 人間の顔のようなもの.
○ CSMA/CD
§ 少し待つ方式
§ バスを共有した通信 渋滞 トラフィック
□ スイッチングHUB
® スイッチによって相手以外に通信しない
○ インターネット
§ ネットワーク同士をつなぐ
§ 世界規模のネットワーク
§ 以前はThe Internetと書かれていた
○ クライアント/サーバ
§ ホスト・・・通信の主体となるもの
□ クライアント:利用者がその都度操作
□ サーバ:いつも動いているもの
§ 中継機機・・・ホスト同士をつなぐいつも動いているもの
○ 通信プロトコル
§ 通信の規約,様々な規約がある.層に分けられる(上位・下位)
§ OSI参照モデル
○ パケット
§ 小包のこと.
□ 通信したいデータをパケットに分割
□ 順番をつけて送信
□ 受信側は順番に並べ替える.
□ メリット
® トラフィックを長く占有しない
® データの一部がロスしても再送可能
○ IPアドレス
§ インターネットでホストにつけられた番号
§ 電話番号のように番号がわかると通信可能
§ IPv4 42億個.足りなくなっている.
§ ネットワークアドレス
□ 電話の市外局番の部分
□ どこに送るかがわかる
やっぱりコンピュータの基礎としてはそう言うところまで教えるんだなぁ.
• ソフトウェアを起動する仕組み
○ 構造
§ ハード,OS,アプリ
○ OSは,信号の整理をしている.
○ 動いている=機能している(物理移動では無い)
○ インストール=ソフトウェアを記録させる
○ コンピュータは昔は電子頭脳と呼ばれていた.鉄腕アトム
• パソコンを一動分解して,再度取り付けている.CPUグリスまで解説.
• 電源ボタンのアイコンは,0と1を示している.
○ パソコンの裏にある電源スイッチは,0が何も無い,1が何かあるを示している.
• BIOSの操作
サイバーレジリエンスという言葉も最近耳にすることが多い気がする.そしてミトコンドリアDNAは,「山梨キャンプ場女児失踪事件」でも注目されたものなのでタイムリー.講義自体は2018年のものだけどね.
ドラマ高校教師の中で,真田広之に向かって大学教授の小坂一也が「生物学の進化の過程の中で愛などは意味を持たない.概念に過ぎない.」と言っていたのを思い出す.その概念が人間の行動,生存に大事なんだなぁ.
ドラマ高校教師の中で,真田広之に向かって大学教授の小坂一也が「生物学の進化の過程の中で愛などは意味を持たない.概念に過ぎない.」と言っていたのを思い出す.その概念が人間の行動,生存に大事なんだなぁ.
• 遺伝子 動植物が持っているが,並びだけが違う.
• フンには腸内細胞の一部がついているのでのDNAがわかる.
○ 食べているもの
○ 家族
• ミトコンドリアDNAやマイクロサテライトDNAは機能を持たない
○ →変異や繁殖には影響しない.
• 遺伝子からのアプローチ
○ 性格
§ レジリエンスに影響.環境,遺伝
§ セロトニントランスポーター遺伝子
□ 遺伝子が短い
□ 不安を感じやすい遺伝子
□ セレトニンの数が変わってくる
§ ドーパミン受容体
□ 遺伝子が長いタイプ
□ 好奇心を持ちやすい
§ 類人猿は今を考え,ヒトは先のことを考える.
§ アンドロゲン受容体
□ アンドロゲンが長いと攻撃性が低い.
□ ヒトは他の霊長類より攻撃性が少ない.
□ ただし類人猿は社会システムを構築しているので少ないかも.
§ オキシトシン
□ 愛情ホルモン
○ 集団構造
§ DNAで受け継がれる
□ 母親からはミトコンドリアDNA
□ 父親から息子にはY染色体
® Y染色体上にマイクロサテライトDNAがある
□ DNAでたどることができる
§ 類人猿
□ オスが移動してメスが群れに残る 日本猿
□ メスが移動してオスが残る チンパンジー
□ オラウータンは単独
□ ペア型 テナガザル
○ 血縁
§ 遺伝マーカー
§ チンパンジーのボスは群れの50%の父親.
□ No.2以下のオスにも繁殖のチャンスはある
§ テナガザルの10%はペア外のオス
§ 見かけの社会構造と遺伝構造が一致してない場合がある
○ まとめ
§ 性格
□ 関連する遺伝子を種間や個体間で比較することで
® ヒトのレジリエンス機能の個体差や進化的背景を探る
§ 集団構造,血縁
□ 集団間の移動,血縁集団と社会集団,繁殖成功などを解明して
® ヒト社会のレジリエンス機能の基盤を探る
• ヒトの遺伝的多様性
○ 個人差から見るとどちらの多様性が大きいか
§ ミトコンドリア遺伝子から見ると
□ 人口の多い人間
® 個体差は少ない
® 世界中に住んでいる
□ ゴリラやチンパンジー
® 個体は少ないが個体差が大きい
® 熱帯に住んでいる
○ 分布の広さや個体差から見てこの差は説明できるか
§ 地域
□ 肌の色,頭蓋骨の形態など
□ 現代人は差が少ない
○ ヒトが示す遺伝的多様性の特徴の原因は何か
§ 地域集団
□ ヒトは類人猿より遺伝子多様性が低い
□ 遺伝子的に見るとヒトの地域差は
® 身体的特徴や文化の違いとは対照的に小さい
□ →ヒトは高い適用力.環境を変える力がある.
® 衣服を作る,家を作るなど.
® 非遺伝的な伝達手段(言語)で伝えている.
○ 肌の色
§ 肌の色などは変えていかなければ生存ができなかったであろう.
§ 肌の色の地域差
□ 4つくらいの遺伝子
○ 病気
○ 味覚 苦味
○ 乳糖不耐性
§ 食生活の変化
□ 乳を分解する
□ 糖分を消化する
○ 遺伝子を変えて行った
○ 性格は,ヒトの方が多様性が多い場合もある
食料,類人猿は家族に分配するが,ヒトは家族以外にも分配する.とあるけれど,災害などで入手困難な場合,やっぱり家族優先にすると思うけどそれは霊長類の本能的なことなんだな.
後,性の問題は生存するために隠すようになったという点も興味深い.
後,性の問題は生存するために隠すようになったという点も興味深い.
• 人間に似た霊宝類にゴリラ,チンパンジーがいるが人間だけが700万年前にアフリカを離れた.
• ゴリラは四年に1回しか出産しないので4歳歳の離れた兄弟がいる.一夫多妻制.
• ゴリラ,チンパンジーなどの類人猿は,昔は猿より多かった.
○ 強い胃腸を持つサルの生存競争に負けた.
○ 類人猿は出産のスピードが遅い.猿は年子が可能.
§ 何かしらでロスした時に回復能力に違いが出る.
○ 類人猿は家族で食料を分配する.
§ 人間は家族以外にも分配する.
□ 速く走れないが長時間歩けるので行動範囲が広くなった.
□ 社会性が芽生えたと考えられる.
® 食物を持ってくる人を信頼する関係ができた.
□ 食物を移動させることで社会性が生まれた.
○ 肉食獣の捕食される動物は多産
○ 類人猿は親離れ,授乳期間を短くするために固形物を食べられるように.
○ ホモ 人間のこと
§ ホモハビルス 器用な人.脳が500cc
§ 人間は1400cc
§ 脳の発達には石器が関係ある.肉食で道具を使う.
□ 脳は体重の2%なのにエネルギーは20%使う.
§ 集団が大きくなると脳が大きくなる.
□ 人間関係を考えることが多くなる
□ 社会的知性の増大と脳の大きさ
□ 200万年前に大きくなり始めた.
§ 骨盤のサイズから生まれるサイズが制限される
□ 結果,人間は脳サイズが一年で2倍.
□ ゴリラは4年で2倍.
§ 人間は複数の家族が集まって共同で子育てするコミュニティができ効率化してきた.
§ 近年は逆になってきてる面もある.
§ 家族は繁殖集団.
§ 人間は,教科,同情の感情を持つことで進化.
§ 脳の成長が止まるのは12歳くらい.
□ その後体の成長が加速する.
® 思春期スパート
□ 繁殖機能も成長していく
□ 近親相姦しないために性を隠す慣習になった.
® 動物はオープン
◊ 逆に食べるのは競合になるので隠す.
§ ホモエレクトス
□ ヨーロッパ進出
□ 体の成長がどんどん遅くなる.
§ 現代の人間の脳は150人くらいの集団で過ごすのに最適.
□ 食糧生産が始まってから変わってない.
® 人口が爆発的に増えている
□ 認知革命
® 7万年前.食糧生産に先行した.
® ゴリラは個体が一旦集団を離れると二度と戻れない.
◊ 高い共感を持って暮らしている.
® 人間は戻れる
◊ 高い共感と共にコミュニケーションを変えた
◊ いくつかの集団をテンポラリに変えられる.
○ 人間のレジリエンスと
§ 弱みを強みへ.逆転の発想.高い共感を持つ.
§ 性を家族内に閉じ込めトラブルを防いだ.
対数は高校で習うものらしい.logに記憶はあるけれどなんのためにどう使うのか,そういう説明を受けてないので興味がなかったなぁ.
行列は習った覚えもないけれど,データベースとかExcelをイメージすれば理解がしやすいが計算となると使ったことがない.ただし今回の授業では住宅売買をテーマにしたニーズと性能のマッチングが示されていて,これはイメージしやすかった.
剰余数は,計算機の演算でmod関数を使うことで知っているけれど,排他的論理和とか,「法(ほう)」と呼ぶというのは初めて聴いた・・・気がする.なんせ商業科出身なのでそんな事業なかったんだよなーなんて.
早送りできずにもっというとリワインドを何度もやって視聴したけれど,頭の中の定着は少ない気がする...数学苦手.
行列は習った覚えもないけれど,データベースとかExcelをイメージすれば理解がしやすいが計算となると使ったことがない.ただし今回の授業では住宅売買をテーマにしたニーズと性能のマッチングが示されていて,これはイメージしやすかった.
剰余数は,計算機の演算でmod関数を使うことで知っているけれど,排他的論理和とか,「法(ほう)」と呼ぶというのは初めて聴いた・・・気がする.なんせ商業科出身なのでそんな事業なかったんだよなーなんて.
早送りできずにもっというとリワインドを何度もやって視聴したけれど,頭の中の定着は少ない気がする...数学苦手.
• 対数
○ 基数 指数
§ 2の3乗 2x2x2=8
§ aのb乗=c
□ a > 0 かつ a≠1なら
® 任意の正の実数cに対してbが1つ定まる
□ b・・・aを底(てい)とするcの対数
® b=log a c
◊ bは対数
◊ aは底(てい)
◊ cは真数
§ aのb乗=cは,b=log a c
□ 指数と対数は見方が違うだけで意味は同じ.
□ aのb乗=c
® 底をべき乗する数と考えると,bは指数と呼ぶ
□ b=log a c
® 底を何乗したら真数になるかと考えるとbは対数
○ 対数の性質 4つある
○ 情報理論では,logp -> log2p
§ 底が10(log10 x)・・・常用対数
§ 底がe(loge X)・・・自然対数
• 行列
○ 行列とは
§ 数を長方形に並べたものを行列という.格子状のマス目.
§ 一般的には(1 2 3)と括弧を使う
§ 行列内の1つ1つの内容を「成分」と呼ぶ
§ i行j列にある成分は,(I,j)成分と呼ぶ
§ 1行からなる成分を行ベクトル
§ 1列からなる成分を烈ベクトル
○ 転置行列
§ m行のn列の行列Xに対して
▪ Xの(I,j)成分を(j,i)成分とするn行m列の行列
▪ 転置行列:XTとする
▪ 行列を入れ替えたもの
▪ 転置行列の転置行列は元の値に戻る
▪ 行列の演算
▪ 行列の和
▪ 差
▪ スカラー倍
▪ 実数の意味
▪ 積
▪ やや複雑
▪ 応用方法
▪ 住宅を買うときとする
▪ 行:aさんbさんcさんの三人が選ぶ基準を表現する
▪ 列:耐震性,耐火性,断熱性,防犯性
▪ 人のニーズと住宅の性能を積を取るなど
• 剰余演算
▪ 割り算をしたときの余り
▪ x:整数,n:所為の整数
▪ xをnで割った商をq余りをrとする
▪ x ÷ n = q…r → x = n x q + r
▪ 負の場合
▪ -7 ÷ 4 = -1…3
▪ -7 ÷ 4 = -2…1
▪ 0≦r<n
▪ xをnで割った剰余・・・x mod n
▪ 法・・・と呼ぶ
▪ 演算の最後にnで割った剰余を求めるのことを
▪ 「nを法とする演算」という
▪ X mod n=r を x=r(mod n)と書くことがある
▪ 例:
} 27 mod 12 = 3 は27=3(mod 12)
} (5-7) mod 6=4 は 5-7=4(mod 6)
} (5x6) mod 7=2は,5x6=2(mod 7)
▪ 0と1に対する2を法とする加算
▪ 0+0=0 (mod 2)
▪ 0+1=1 (mod 2)
▪ 1+0=1 (mod 2)
▪ 1+1=0 (mod 2)
▪ 排他的論理和 ⨁
数量・データサイエンス・AI リテラシー講座 基礎第3回 データを読む3 2変数のデータ相関関係
- ブロガー :
- ujpblog 2022/5/16 11:34
前回までに出てきた分散と標準偏差について,とうぜんわかっている体裁で進むし計算式がパッパと出てきて「だからそうなりますね!」って言われてどんどん進行していく...脱落.もう1回最初から見直した方が良いのだろうか.
• 2変数のデータと散布図
○ 複数の変数データ
§ 複数の変数データを扱う理由→各項目の関連性を調べるため
□ →複数のデータを同時に扱うことでデータの測定対象の傾向をつかむ
○ 代表値(平均,分散)を計算しても分布が明確では無い.
§ ふたつの身長・体重グループの平均・分散を求めても同じ数値になる場合
□ 特徴が捉えられないそのような場合,,,
○ 幾何学的に捉える(図形化→散布図)
§ 視覚的に2つの傾向を視覚的に捉える
○ 相関関係
§ 散布図に補助線を引いて視覚化
§ 散布図の,+の領域,ーの領域
§ 正の相関,負の相関.
§ 完全な正の相関,完全な負の相関
• 2変数の関係と共分散
○ 直線的な関係性を数値で表す
○ バラバラの点を見て線で繋げても分からない場合
§ →点を結んだ面積で考えてみる.
○ 平均からの差を偏差と呼ぶ.チルダを使って表現する.
○ 長方形の面積の事を偏差積.
○ 偏差積の平均をxとyの共分散と言う
○ 共分散と分散
§ xとそれ地震の共分散はxの分散にならない
§ xが一定値の場合共分散は0になる
§ 打ち消し合う
§ 共分散が0となる時,無相関と言う
• データの標準化と相関関係
○ 今日分散の注意点
§ データを表す単位に依存する
□ 身長をcmからmに変更してみる等
○ 標準化
§ 平均を0,分散が1にするように変換すること
§ 単位の変更の影響を受けない
§ ピアソンの積率相関係数
§ 外れ値
パレートの法則,ニッパチからのパレート図.測定データに対して質的,量的というだけで統計学を学んでそうに思える?
二進数とか負の補数とか,COBOLで開発していた頃に使っていたけれどもう30年くらいご無沙汰です.浮動小数点演算も現代の高級言語だと意識しないんじゃないのかな.(若い人は知らないのではくらいの・・・)
知っているようで知らないのが演算装置.
NOT回路(インバーター回路)の役割とか,信号を記録する論理回路の「D型フリップフロップ」などが出てきました.
NOT回路(インバーター回路)の役割とか,信号を記録する論理回路の「D型フリップフロップ」などが出てきました.
最近はマルチファクタ(2要素)認証が主流だけれど,パスワードレスへの動きも加速してますね.
• 本人性確認.認証.相手が判断するのは,識別.
• 認証の種類と特徴
○ (1)記憶による認証Something you know パスワードなど
○ (2)所持による認証Somothing you have ICカードなど
○ (3)本人の特徴による認証Something you are 指紋認証,顔認証
• リモート認証遠隔のサーバ上通信化経路の暗号化,ハッシュ化
• ローカル認証利用端末上データ暗号化
• 他要素認証
• パスワード(記憶)と端末認証(所持)
• パスワード
○ パスワードはハッシュ化する
○ チャレンジレスポンス方式
§ サーバ側がチャレンジと呼ばれるランダムな情報返す
§ 人間がレスポンスを返す
§ パスワードが通信経路を通ることがない.
• パスワード生成
○ 記憶しやすい,推測しやすい
§ →パスワード構成ポリシー,パスワード強度
§ →長いパスワード(複数キーワードを使う)はパスフレーズ
○ パスワード管理
§ IDとパスワードを使い回すリスクはパスワード管理ツールの信頼性より高い.
○ 定期的なパスワード変更
§ 定期変更させると分かりやすいパスワードをつける傾向がある.
§ なんどか繰り返して元のパスワードに戻ってくる
§ 2017年ごろから推奨しない感じになってきた.
○ 秘密の質問
§ 効果が薄い,ある程度調べると判明する.
• パスワードの管理
○ ハッシュか,ソルト,ストレッチングの利用.
• パスワードに対する攻撃
○ オンライン攻撃総当たり
○ オフライン攻撃DBなどのハッシュ値に対してパスワードを探す
○ ソーシャルエンジニアリング→ユーザの心理や認知を悪用し技術を使うことなくIDとパスワードを摂取する.
○ リスト型→漏洩した別のサービスで試す.
• 認証と認可
○ 認証→自分が何者であるか主張し相手に確認してもらう
○ 認可→ユーザ権限に応じたリソースに対するアクセス権
○ ユーザIDの管理とリソースへのアクセス権限の管理が分離され,組織内における認証の統一化や
組織間にまたがるリソースアクセスの認可機構などが実現される.
ウクライナの状態を見ていると,戦争が起こって国を後にする人々.持ち出せるものは手で持てる範囲.当然,そのときの動産・不動産は実質的に放棄になる.
戦争は起きなくても災害に巻き込まれたら大量にモノを失ってしまう.究極は,持ってなければ何も失わない.失ったものがなければ再生も早いのかな.
ここ数年流行の,断捨離,ミニマリストからのサブスク,シェアハウス,サスティナブル(ごみ削減的なところ)への流れ.所有への罪悪感.背景は若者の低賃金からの「所有・維持できない」現状からの価値観変更(強制進化?)だけれど,自分の現在年齢から寿命,維持コスト,相続者不在を考えたら持たないようにシフトし所有欲を抑えるというのもありなのかな.コレクションしたいんだけどね.一番の問題は,集めて放置するだけなので綺麗に陳列する能力がないのだけれど.
国土強靱化基本計画の見直し
https://www.cas.go.jp/jp/seisaku/kokudo_kyoujinka/pdf/kk-gaiyou-h301214.pdf
人間がポータブルになっていれば,災害が少ないところに移動するという選択肢が多くなるね.最近,コロナ禍をきっかけにIT企業を中心にテレワークが普及してきているし,ヤフーなんてどこに住んでもいいと方針を出しているし,そうなると全国から優秀人材を拾い上げるチャンスにもなる.
数ヶ月前,優秀な後輩が長年住みなれた渋谷を離れ,沖縄に移住.移住といってもホテル暮らしで定住場所を持たないでやってみるそうだ.テレワークなのでどこでも仕事ができる環境もあり,家族もいないからできる技のようだけれど,最終的にキャリーバッグ1つに所有物が入るようにまでしたそうだ.まぁ,郊外のトランクルームとかは借りているかもしれないけど.
あ,その優秀な後輩,新規事業のためにしばらくモンゴルに行ってたなぁ...
戦争は起きなくても災害に巻き込まれたら大量にモノを失ってしまう.究極は,持ってなければ何も失わない.失ったものがなければ再生も早いのかな.
ここ数年流行の,断捨離,ミニマリストからのサブスク,シェアハウス,サスティナブル(ごみ削減的なところ)への流れ.所有への罪悪感.背景は若者の低賃金からの「所有・維持できない」現状からの価値観変更(強制進化?)だけれど,自分の現在年齢から寿命,維持コスト,相続者不在を考えたら持たないようにシフトし所有欲を抑えるというのもありなのかな.コレクションしたいんだけどね.一番の問題は,集めて放置するだけなので綺麗に陳列する能力がないのだけれど.
• レジリエンス(resilience)
○ 辞書だと復元力
○ 社会のあり方に関係する.心理学などから.折れない力
• 都合の悪い真実
○ 震災も過去の歴史から分かっていたことだ.
○ 神戸の活断層は1970年代には分かっていた
○ 熊本地震は活断層の存在を知っていたが地震は警戒してなかった.
• これまで築いてきたものが一瞬で崩れ去る
• 新しい価値観を得る人
• レジリエントな暮らしを得る
• モンゴルでレジリエンス研究をしていた理由
○ 頻繁に大きな地震がたくさん起こっている国.
○ 世界一長い300キロの断層がある.
○ 遊牧生活はサスティナブルと言われている.
§ 季節によって移動している
§ ゲル(家)は1時間で組み立て可能.地震でも倒れない
§ 水は雪で作っている
§ 家畜のフンを燃料にしている
§ 外に出すと肉が凍るので冬の間それを食べ続けられる
§ 遊牧民は,多様性・移動性・柔軟性・相互扶助
○ 地震が起きたら地面を掴め,という言い伝えがある.
• 日本では,レジリエンスを強靭化と呼んでいる.
○ 国土強靭化基本計画(2014年6月閣議決定)
国土強靱化基本計画の見直し
https://www.cas.go.jp/jp/seisaku/kokudo_kyoujinka/pdf/kk-gaiyou-h301214.pdf
人間がポータブルになっていれば,災害が少ないところに移動するという選択肢が多くなるね.最近,コロナ禍をきっかけにIT企業を中心にテレワークが普及してきているし,ヤフーなんてどこに住んでもいいと方針を出しているし,そうなると全国から優秀人材を拾い上げるチャンスにもなる.
数ヶ月前,優秀な後輩が長年住みなれた渋谷を離れ,沖縄に移住.移住といってもホテル暮らしで定住場所を持たないでやってみるそうだ.テレワークなのでどこでも仕事ができる環境もあり,家族もいないからできる技のようだけれど,最終的にキャリーバッグ1つに所有物が入るようにまでしたそうだ.まぁ,郊外のトランクルームとかは借りているかもしれないけど.
あ,その優秀な後輩,新規事業のためにしばらくモンゴルに行ってたなぁ...
何かしら報告資料をまとめる際にExcelで表を作って示していたけれど,知識がないまま本能で作っていたけれど,パレート表の構成要素を理解した上で資料を作っていた,グラフ化もし安いだろうし,より説得力のある資料になったかな.と思ったりしました.
みんな知っているナイチンゲール.統計を駆使してクリミア戦争に関わっていたなんてね.「白衣の天使」は看護婦,看護師へのナイチンゲールを示す「クリミアの天使」が語源のようです.
データ駆動型の意思決定は,今となっては判断の根拠として必須ですね.ついていかねば・・・
四分位数という言葉は馴染みがなかったけれど,スポーツで採点競技の際に最小と最大の得点を削除して平均みたいなのとか株式のローソクチャートで使うので身近な考え方でしたね.
分散,は分かった気がするけれど,標準偏差までの理解ができてないな.具体的な何かに置き換えて理解できないので...
分散,は分かった気がするけれど,標準偏差までの理解ができてないな.具体的な何かに置き換えて理解できないので...
問題だなって思うことも,掘り下げて把握するのが大事ってことか.目に見えていることしか考えてないことが多いので反省だ.
・機密性Confidentiality開示しない特性アクセス権限,
・完全性Integrity正確さ.
・可用性Availability使用できる
・人的,自然的
・狩猟 1.0
・農耕 2.0
・工業 3.0
・情報 4.0
・新たな社会 5.0
踏み出す力(アクション),考え抜く力(シンキング),チームワーク
コミュニケーションスキル,数量的スキル,情報リテラシー,論理的思考力,問題解決力
(1)解答を要する問い(2)解決すべき(3)面倒なこと(4)世間の注目を集めること
(1)問題を課せられたもの(2)問題に比べて具体的なもの
発見力(情報収集,図解),想像力(発想,分析),計画力(実行,評価)
どのような問題が生じたか,どのような解決策を考えたか,解決の途中で新たな問題は生じたか,当初の問題はどのように解決されたか
・個人は,いつでも自由にできるが範囲が限定的,能力差がある.
・組織は,広範囲,継続的,協力が必要,時間がかかる(ルールを覚える,意思決定に時間がかかる)
・背景に潜む規則性,関係性いついて仮説を立てる.
・回帰・相関・因果.読み解く力.
・可視化.誤解を生まないような適切なグラフの選択.
・量的データ.
温度や身長などの数値
・連続データ
小数点以下の桁を使って表示される.
・離散データ
小数点以下の桁を使わない.性別,血液型,好き,嫌いなど
・質的データ
男女,程度などを記号で表す.
・量的データ
度数分布表,階級と度数,ヒストグラム
・質的データ
円グラフ,二元分割表
・量的でも質的でもないデータ
和歌,楽譜,テンドログラム(樹形図)
・調査の方法
調査課題の設定
調査対象の設定
・標本(サンプリング)調査
テレビ視聴率,内閣支持率
母集団 調査したい対象全体
標本
便宜的方法
有意抽出・・・年齢,性別,地域などの何かの属性に基づく.偏り,選択バイアスをうむ.
無作為抽出・・・偏りを生まない.手間がかかる
A/Bテスト
WebユーザインタフェイスでA案とB案を用意
ランダム化比較試験(RCT)...医学で利用.新薬が効いているか.
・アナログ時計では針の角度で人間が数値を読み取る.物理量.
・デジタル時計は数値が表示されている.符号.
・アナログ録音は,音圧を電圧変換している.レコードは凹凸で表現.
・アナログ情報をデジタル符号に変換
・アナログは波形で表す.デジタルは情報を数値で表す.
・量子化,標本化,数値化
・状態が識別できること.
・情報はものではなく関係である.
・デジタルは情報が劣化しない
信号の劣化の修復,誤りの検出,データ再送が可能.
・信頼性が高い
・情報メディアの相互運用性が高い
・データ構造,形式,制約を定義する枠組み
・採用するデータモデルによって決定
リレーション「学生」が「学籍番号,氏名,所属学部の属性を持つ」というデータ構造や,「学生は必ず一位の学籍番号を持つ」といった制約
・スキーマに基づいて格納される実際のデータ群
リレーション中の「280001」「山田」「1001」というデータ
・データモデル
記述体系や操作体系を提供
・データ整合性の維持
制約,制約の管理
・データベース言語
DDL,DML,DCL
・データ格納方式
ツリー,ハッシング
・検索方法
インデックスの保持.データ蓄積時の格納順など.問合せ最適化
・外部スキーマ ビューの設計
・概念スキーマ 論理的なデータのあり方を定義
・内部スキーマ データにおける物理的なあり方.容量設計,物理配置設計など
・管理上の効率
・データの整合性の保持
・開発効率の向上
・機密の保持
・同時アクセスの耐久性
・障害の回復
・Not Only SQL
SQLだけでなく新しいデータベース技術を活用するという概念の総称.
Google Cloud Skills Boost ハンズオン祭 Cloud Study Jam - BQML 編
- カテゴリ :
- スキルチャージ
- ブロガー :
- ujpblog 2022/4/28 0:34
先週からGoogle Cloud Day: Digital’22というオンラインイベントが開催されていて, 全く参加できてなかったのだけれど,よくわからないままBQMLのハンズオンに応募したら抽選で当選したので今日から参加.

BQMLは,BigQueryMLで,MLはマシンラーニング,機械学習ですね.
30日間使えるGoogle Cloud Platformを払い出してくれるので,それを使ってオンラインテキストを自分で読んで体験してみるという感じ.難しいことはなくて,BQMLはSQLの構文を使った線形回帰(予測),ロジスティック回帰(要因特定)を体験してみるというものでした.
昔の言い方で言えばデータウェアハウスのことだけれど,Splunkのようなものと理解.
Google CloudのGoogle Cloud Skills Boost(旧:Qwiklabs)にあるEngineer Data in Google Cloudというクエスト(探求)の中から,「BQML で分類モデルを使用して訪問者の購入を予測する」というラボ(ハンズオン課題)と「BQMLを使って機械学習モデルを作成・評価し,需要予測を行う方法について学ぶ」の2本だて.
需要予測については次の様な進め方.
環境構築
・Google Cloud Consoleへのサインイン
・BigQueryConsoleをオープン
データ準備
・Google Cloud Marketplaceより公開データにアクセス
・公開データのデータセットをオープン
・データの抽出・クリーニング
モデルの作成
・CREATE構文による機械学習モデルの作成
・時系列分析モデルARIMAの特徴や構成について
モデルの評価
・M L.EVALUATE構文によるモデルの評価
・評価結果の見方
モデルによる需要予測
・M L.FORECAST構文によるモデルの実行
・教師データに用いた期間以降の30日間の需要の予測
2回ぐらいやるとわかってくるかなぁ.

BQMLは,BigQueryMLで,MLはマシンラーニング,機械学習ですね.
30日間使えるGoogle Cloud Platformを払い出してくれるので,それを使ってオンラインテキストを自分で読んで体験してみるという感じ.難しいことはなくて,BQMLはSQLの構文を使った線形回帰(予測),ロジスティック回帰(要因特定)を体験してみるというものでした.
昔の言い方で言えばデータウェアハウスのことだけれど,Splunkのようなものと理解.
Google CloudのGoogle Cloud Skills Boost(旧:Qwiklabs)にあるEngineer Data in Google Cloudというクエスト(探求)の中から,「BQML で分類モデルを使用して訪問者の購入を予測する」というラボ(ハンズオン課題)と「BQMLを使って機械学習モデルを作成・評価し,需要予測を行う方法について学ぶ」の2本だて.
需要予測については次の様な進め方.
・Google Cloud Consoleへのサインイン
・BigQueryConsoleをオープン
・Google Cloud Marketplaceより公開データにアクセス
・公開データのデータセットをオープン
・データの抽出・クリーニング
・CREATE構文による機械学習モデルの作成
・時系列分析モデルARIMAの特徴や構成について
・M L.EVALUATE構文によるモデルの評価
・評価結果の見方
・M L.FORECAST構文によるモデルの実行
・教師データに用いた期間以降の30日間の需要の予測
2回ぐらいやるとわかってくるかなぁ.
3つの言葉を学んだ.
フィルターバブル
検索履歴やクリック履歴を分析・学習し,望むと望まざるにか変わらず見たい情報が優先的に表示される事.そのフィルターされたバブルの中に入ることで利用者の観点に合わない情報からは隔離される.
エコーチェンバー
SNSを利用する際に,自分と似た興味・関心を持つユーザをフォローすることで,似た意見が返ってくる状況を示す.小さい部屋で音が反響する物理現象に喩えたもの.
ネットワーク効果
同じ商品やサービスを使う人が増えるほど価値が高まること.TikTokのユーザが増えれば増えるほど情報を送信する相手が増え広告に価値が出てくる,など.
インターネット上での情報流通の特徴と言われているもの - 総務省
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r01/html/nd114210.html
フィルターバブル
検索履歴やクリック履歴を分析・学習し,望むと望まざるにか変わらず見たい情報が優先的に表示される事.そのフィルターされたバブルの中に入ることで利用者の観点に合わない情報からは隔離される.
エコーチェンバー
SNSを利用する際に,自分と似た興味・関心を持つユーザをフォローすることで,似た意見が返ってくる状況を示す.小さい部屋で音が反響する物理現象に喩えたもの.
ネットワーク効果
同じ商品やサービスを使う人が増えるほど価値が高まること.TikTokのユーザが増えれば増えるほど情報を送信する相手が増え広告に価値が出てくる,など.
インターネット上での情報流通の特徴と言われているもの - 総務省
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r01/html/nd114210.html
マルチプロセッサの説明で,ホモジーニアスとヘテロジーニアスの紹介があった.
ホモジーニアス 同じ種類のCPUを複数搭載
ヘテロジーニアス 種類の違うCPUを搭載.
ホモジーニアスは「同種の」という意味で,今回の場合同じ種類のCPUを複数搭載したコンピュータのこととなる.
ヘテロジーニアスは「異質/異種の」という意味なので,CPUとGPUのようなものかな.これらを搭載したコンピュータはヘテロリージアス.
ホモジーニアスは「同種の」という意味で,今回の場合同じ種類のCPUを複数搭載したコンピュータのこととなる.
ヘテロジーニアスは「異質/異種の」という意味なので,CPUとGPUのようなものかな.これらを搭載したコンピュータはヘテロリージアス.
IPAのセキュリティ資格の最上位,情報処理安全確保支援士(登録セキスペ)」は更新が必要なのね.
登録セキスペ講習、民間など23講習を追加
ttps://www.security-next.com/125180
あ,でも面白そうな講習が多い! お高いんでしょう・・・
登録セキスペ講習、民間など23講習を追加
ttps://www.security-next.com/125180
あ,でも面白そうな講習が多い! お高いんでしょう・・・
さすが外国語が標準仕様の組織.会議終わりに「ラップアップ」という言葉が出てくるのが目立つ.「ラップアップ仕様か」と.日本語かい! 私の中では「ライザップしようか」に聞こえる.
ラップアップは,会議終わりに,決定事項・宿題事項の確認のフェーズとして使われます.
ラップアップは,会議終わりに,決定事項・宿題事項の確認のフェーズとして使われます.
勉強してないので世間の流行りには疎いのだけれど,みんな「フィジビリ」っていう.
正式には「フィジビリティスタディ(feasibility study)」で「実行可能性調査」になるかな.略してF/Sとか記述があるらしい.
会社が違うと,PoCと言っていた.「Proof of Concept」.概念実証.メーカは,PoV,「Proof of Value」,価値実証という言葉を使ってた.
細かくは手法,アプローチが異なるようだけれど,実際には「導入前検証」とか「試用」の域を超えてない.「言ってみたかった」の類かな.
覚えるのは辛いから,漢字で表現してほしいなぁ.
正式には「フィジビリティスタディ(feasibility study)」で「実行可能性調査」になるかな.略してF/Sとか記述があるらしい.
会社が違うと,PoCと言っていた.「Proof of Concept」.概念実証.メーカは,PoV,「Proof of Value」,価値実証という言葉を使ってた.
細かくは手法,アプローチが異なるようだけれど,実際には「導入前検証」とか「試用」の域を超えてない.「言ってみたかった」の類かな.
覚えるのは辛いから,漢字で表現してほしいなぁ.
フレッツ・ミルエネに入っていたのだけれど,存在を忘れていたので,解約する事にした.
まずは,NTT東日本のサービス解約用電話「0120-116-116」.
ネットで調べるとプッシュで「6」を押すというのがあったので,案内を聞かずに6を押したら「番号が違います」と言われた...w
仕方ないので最初から説明を聞き直したけれど,案内された番号も1〜5番までで,,要件に一致する案内がない.全部聞いた後どうしよう?と思っていたら,自動的に窓口につながった.
そこで「ミルエネを解約したい」という要望を言うと,本人確認,Cから始まる契約番号(固定電話の電話番号でも可能)を伝えると,簡単に本日付で解約終了となった.機械をレンタル利用にしているので,後日改修用の袋がくるので,それに入れて返却だそうだ.
入会した際のブログで「ちなみに機械を買い取りも出来るけれど,合計12600円なので月額210円だと損益分岐点は60ヶ月(5年).」と書いてあるけれど,トータルで8年以上使ってしまったし.すぐ飽きたので,ざっくり8年で35,280円程度無駄遣いしてしまった.
まぁこれで来年からは毎月410円コスト削減に成功.フレッツで「にねん割」で毎月110年削減できるので,合計520円.ドコモでmoperaUシンプルプラン利用 200円とケータイ補償お届けサービス 300円も解約したので,合計1020円/月.
Microsoft 365 で1,284円/月を契約したので,260円の支出増.
他にやめられるものはあるのかなぁ.
まずは,NTT東日本のサービス解約用電話「0120-116-116」.
ネットで調べるとプッシュで「6」を押すというのがあったので,案内を聞かずに6を押したら「番号が違います」と言われた...w
仕方ないので最初から説明を聞き直したけれど,案内された番号も1〜5番までで,,要件に一致する案内がない.全部聞いた後どうしよう?と思っていたら,自動的に窓口につながった.
そこで「ミルエネを解約したい」という要望を言うと,本人確認,Cから始まる契約番号(固定電話の電話番号でも可能)を伝えると,簡単に本日付で解約終了となった.機械をレンタル利用にしているので,後日改修用の袋がくるので,それに入れて返却だそうだ.
入会した際のブログで「ちなみに機械を買い取りも出来るけれど,合計12600円なので月額210円だと損益分岐点は60ヶ月(5年).」と書いてあるけれど,トータルで8年以上使ってしまったし.すぐ飽きたので,ざっくり8年で35,280円程度無駄遣いしてしまった.
まぁこれで来年からは毎月410円コスト削減に成功.フレッツで「にねん割」で毎月110年削減できるので,合計520円.ドコモでmoperaUシンプルプラン利用 200円とケータイ補償お届けサービス 300円も解約したので,合計1020円/月.
Microsoft 365 で1,284円/月を契約したので,260円の支出増.
他にやめられるものはあるのかなぁ.
Pythonプログラミングなんて知らなくても,サンプルコードを使って応用することもあるさ.
日時を表示する最小限コードをメモでとどめておこう.
実行するとこうなる.
日時を表示する最小限コードをメモでとどめておこう.
$ cat datetest.py🆑
import datetime
nt = datetime.datetime.now()
print(nt.strftime('%Y%m%dT%H%M.%S'))
print(nt.strftime('%Y/%m/%d %H:%M:%S'))
$ python datetest.py🆑
20200319T1536.44
2020/03/19 15:36:44
$
入手したファイルが正しいものかを,MD5でチェックする.
まずはコマンド.
そしてコード.
実行してみる.
hashlib.md5の部分を変更すれば,hashlib.sha256とか他のハッシュ値に応用できる.
まずはコマンド.
$ md5 part-00000.gz🆑
MD5 (/Users/ujpadmin/Downloads/part-00000.gz) = 9d251b64a2c5723181ef8cb3fb22be55
$
import hashlib↲
fileName = '/Users/ujpadmin/Downloads/part-00000.gz'
with open(fileName, 'rb') as f:↲
»-------checksum = hashlib.md5(f.read()).hexdigest()
»-------print checksum
※»-------は,インデント.
$ python checkMD5.py🆑
9d251b64a2c5723181ef8cb3fb22be55🈁
$
Pythonの環境を作るのに一苦労.今理解しているのは,これまでの概念がちょっと邪魔しているのでは無いかということかなぁ.
新しくプロジェクトを作ると,その下にPythonの本体やライブラリを複製して配下に設置する.こんな感じ.
この場合,5というプロジェクトを作ったら,5ディレクトリの下にPythonのbinやライブラリがコピーされたという感じ.
ユーザプログラムと動作環境を全部合わせて1プロジェクト.依存関係とかを排除するという意図かなぁ.これを「仮想環境」と表現しているのかどうなのか.
昔と違って,ディスクやメモリがたくさんあるので,そういうのをケチる仕組みよりも簡単快適環境を作る方向に進化しているのかなと,思ったりします.
新しくプロジェクトを作ると,その下にPythonの本体やライブラリを複製して配下に設置する.こんな感じ.
[MBP2017:ujpadmin 00:24:19 ~/PycharmProjects/5 ]
$ ls -la
total 4
drwxr-xr-x 6 ujpadmin staff 192 4 26 23:48 .
drwxr-xr-x 7 ujpadmin staff 224 4 26 23:48 ..
drwxr-xr-x 13 ujpadmin staff 416 4 26 23:48 bin
drwxr-xr-x 2 ujpadmin staff 64 4 26 23:48 include
drwxr-xr-x 3 ujpadmin staff 96 4 26 23:48 lib
-rw-r--r-- 1 ujpadmin staff 111 4 26 23:48 pyvenv.cfg
[MBP2017:ujpadmin 00:24:21 ~/PycharmProjects/5 ]
$ ls -la bin
total 10292
drwxr-xr-x 13 ujpadmin staff 416 4 26 23:48 .
drwxr-xr-x 6 ujpadmin staff 192 4 26 23:48 ..
-rw-r--r-- 1 ujpadmin staff 2202 4 26 23:48 activate
-rw-r--r-- 1 ujpadmin staff 1258 4 26 23:48 activate.csh
-rw-r--r-- 1 ujpadmin staff 2422 4 26 23:48 activate.fish
-rwxr-xr-x 1 ujpadmin staff 431 4 26 23:48 easy_install
-rwxr-xr-x 1 ujpadmin staff 439 4 26 23:48 easy_install-3.6
-rwxr-xr-x 1 ujpadmin staff 389 4 26 23:48 pip
-rwxr-xr-x 1 ujpadmin staff 391 4 26 23:48 pip3
-rwxr-xr-x 1 ujpadmin staff 395 4 26 23:48 pip3.6
-rwxr-xr-x 1 ujpadmin staff 3500936 4 26 23:48 python
-rwxr-xr-x 1 ujpadmin staff 3500936 4 26 23:48 python3
-rwxr-xr-x 1 ujpadmin staff 3500936 4 26 23:48 python3.6
[MBP2017:ujpadmin 00:24:33 ~/PycharmProjects/5 ]
$
ユーザプログラムと動作環境を全部合わせて1プロジェクト.依存関係とかを排除するという意図かなぁ.これを「仮想環境」と表現しているのかどうなのか.
昔と違って,ディスクやメモリがたくさんあるので,そういうのをケチる仕組みよりも簡単快適環境を作る方向に進化しているのかなと,思ったりします.
最近のアプリは,リソースファイルを入れ替えれば簡単に他国語化できるようになっている.まぁ,むかーしのMacintoshの時代から,実行ファイルはリソースに直接アクセスできる規格があったので,軽く多言語対応していたなぁ.もう昔話すぎるのだけれど.
Pleiades - Eclipse プラグイン日本語化プラグイン
http://mergedoc.osdn.jp
Eclipseとかと一緒になったPleiadesをダウンロードしてファイルを展開.setupアプリを起動して,日本語化したいアプリ,今回の場合はPyCharmを指定するだけ.







簡単.ありがたや〜
Pleiades - Eclipse プラグイン日本語化プラグイン
http://mergedoc.osdn.jp
Eclipseとかと一緒になったPleiadesをダウンロードしてファイルを展開.setupアプリを起動して,日本語化したいアプリ,今回の場合はPyCharmを指定するだけ.







簡単.ありがたや〜
元はIBMが作って無償提供されているIDEのEclipse.ここ10年くらいはメインストリームな感じだったけれど,現代においては古臭いというかしがらみにより最新のニーズを取り込んで進化も遅くなっているらしい.大企業病か?
という説教みたいな話は置いといて,Pythonを使うためのIDEでしらべたり若い子に聞いたら,PyCharmですよ!というのでインストールしてみる.
PyCharmはBrewでも準備があるというので探してみる.
Brew版は最新リリース版の取り込みにラグがあるらしいけれど,本質的に私のニーズだと大きな問題はないので気にしない.
ということでインストール.
サクッと入りました.
そのままコマンドラインで起動してみる.
このあとはGUIです.

初めてのセットアップなので設定ファイルは読み込まずに.

プラポリ.スクロールして一番下までいく.

プライバシーポリシーに同意する場合,Acceptボタンを押す.

しょ設定始まるけれど,とりあえず

白いか黒いか.お好みでどうぞ.


BashScripitのプラグインは入れておく.





残念.設定が足りないので,macOSに最初からインストールされているPython2.7が認識されている.
という説教みたいな話は置いといて,Pythonを使うためのIDEでしらべたり若い子に聞いたら,PyCharmですよ!というのでインストールしてみる.
PyCharmはBrewでも準備があるというので探してみる.
MBP2017:.pyenv ujpadmin$ brew cask info pycharm-ce🆑
pycharm-ce: 2018.1.1,181.4445.76
https://www.jetbrains.com/pycharm/
Not installed
From: https://github.com/caskroom/homebrew-cask/blob/master/Casks/pycharm-ce.rb
==> Names
Jetbrains PyCharm Community Edition🈁
PyCharm CE
==> Artifacts
PyCharm CE.app (App)
MBP2017:.pyenv ujpadmin$
ということでインストール.
MBP2017:.pyenv ujpadmin$ brew cask install pycharm-ce🆑
Updating Homebrew...
==> Auto-updated Homebrew!
Updated 1 tap (caskroom/cask).
No changes to formulae.
==> Satisfying dependencies
==> Downloading https://download.jetbrains.com/python/pycharm-community-2018.1.1.dmg
######################################################################## 100.0%
==> Verifying checksum for Cask pycharm-ce
==> Installing Cask pycharm-ce
==> Moving App 'PyCharm CE.app' to '/Applications/PyCharm CE.app'.🈁
🍺 pycharm-ce was successfully installed!
MBP2017:.pyenv ujpadmin$
そのままコマンドラインで起動してみる.
MBP2017:.pyenv ujpadmin$ open '/Applications/PyCharm CE.app'🆑
MBP2017:.pyenv ujpadmin$

初めてのセットアップなので設定ファイルは読み込まずに.

プラポリ.スクロールして一番下までいく.

プライバシーポリシーに同意する場合,Acceptボタンを押す.

しょ設定始まるけれど,とりあえず

白いか黒いか.お好みでどうぞ.


BashScripitのプラグインは入れておく.





残念.設定が足りないので,macOSに最初からインストールされているPython2.7が認識されている.
macOS high Sierra上にpython3.6.5の環境を作る.その2 anaconda3をいれて切り替える
- ブロガー :
- ujpblog 2018/4/24 0:18
Python3の環境構築の続き.
anaconda3-5.1.0をインストール
Pythonの便利パッケージのAnaconda3をPythonとともにインストールする.
結構時間かかるね.マシンの処理能力によるけど.仕事場のMacbook Airだと30分かかったけど家のMacBook Proだと10分だった...
anaconda3-5.1.0を使うようにする
pyenvコマンドを使って,Pythonのバージョンを切り替える.現在は1つしか入ってない.
まずは一覧を出してみる.
やっぱり1つしか入ってない.macOSに最初から入っているバージョンは無視だね.
システム全体で使うバージョンを設定する.
アスタリスクが切り替わっているのが確認できる.おとなしいなぁ.
anaconda3-5.1.0をインストール
Pythonの便利パッケージのAnaconda3をPythonとともにインストールする.
MBP2017:~ ujpadmin$ pyenv install anaconda3-5.1.0🆑
Downloading Anaconda3-5.1.0-MacOSX-x86_64.sh...
-> https://repo.continuum.io/archive/Anaconda3-5.1.0-MacOSX-x86_64.sh
Installing Anaconda3-5.1.0-MacOSX-x86_64...
Installed Anaconda3-5.1.0-MacOSX-x86_64 to /Users/ujpadmin/.pyenv/versions/anaconda3-5.1.0
MBP2017:~ ujpadmin$
anaconda3-5.1.0を使うようにする
pyenvコマンドを使って,Pythonのバージョンを切り替える.現在は1つしか入ってない.
まずは一覧を出してみる.
MBP2017:~ ujpadmin$ pyenv versions🆑
* system (set by /Users/ujpadmin/.pyenv/version)
anaconda3-5.1.0
MBP2017:~ ujpadmin$
システム全体で使うバージョンを設定する.
MBP2017:~ ujpadmin$ pyenv global anaconda3-5.1.0🆑
MBP2017:~ ujpadmin$
MBP2017:~ ujpadmin$ pyenv versions🆑
system
* anaconda3-5.1.0 (set by /Users/ujpadmin/.pyenv/version)🈁
MBP2017:~ ujpadmin$
これまでBashとcurlでどうにかしていたREST APIアクセスだけれど,限界を感じ始めたのでちょっとPythonを勉強してみようと考えた.それでまずは環境を整える.
現在の環境を確認
macOS High Sierra 10.13.4 に最初から入っているPythonの場所とバージョンを調べる.
履いているのは2.x系.現在はPython 3系列が主軸?らしいし文法も違うというししがらみもないので,新しいバージョンを入れていくことにする.
pyenvをいれる
最初に,Pythonの環境を整えるためにpyenvをインストール.パッケージなどを管理するツールと考えればよろし.
brewで情報を確認.
pythonに限らず開発環境を整えてないので,不足しているもの多数...インストールする.
OpenSSLに関する部分が何かしなければいけないようだけれど,それは次回以降として...
pyenvをいれる
インストールしたpyenvの場所とバージョンを確認.
無事インストールできた模様.
ディストリビューションはanaconda
Continuum Analyticsという会社が,Python本体にデータ分析系のライブラリなどをいい感じに揃えたパッケージを用意していて,それがAnacondaという名前のディストリビューションとなっており,人気なので,深く考えずにそれにあやかってみる.
pyenvコマンドを使って,現在利用できる最新のanacondaのリストを取り出す.
今日は全部最新で行くのでanaconda3-5.1.0をインストール.ちょっと時間がかかるので別の記事とします.
現在の環境を確認
macOS High Sierra 10.13.4 に最初から入っているPythonの場所とバージョンを調べる.
MBP2017:~ ujpadmin$ which python🆑
/usr/bin/python🈁
MBP2017:~ ujpadmin$
MBP2017:~ ujpadmin$ python --version🆑
Python 2.7.10🈁
MBP2017:~ ujpadmin$
pyenvをいれる
最初に,Pythonの環境を整えるためにpyenvをインストール.パッケージなどを管理するツールと考えればよろし.
brewで情報を確認.
MBP2017:~ ujpadmin$ brew info pyenv🆑
pyenv: stable 1.2.3 (bottled), HEAD
Python version management
https://github.com/pyenv/pyenv
Not installed🈁
From: https://github.com/Homebrew/homebrew-core/blob/master/Formula/pyenv.rb
==> Dependencies
Recommended: autoconf ✘, pkg-config ✘, openssl ✘, readline ✘
==> Options
--without-autoconf
Build without autoconf support
--without-openssl
Build without openssl support
--without-pkg-config
Build without pkg-config support
--without-readline
Build without readline support
--HEAD
Install HEAD version
MBP2017:~ ujpadmin$
MBP2017:~ ujpadmin$ brew install pyenv🆑
Updating Homebrew...
==> Auto-updated Homebrew!
Updated 1 tap (homebrew/core).
==> Updated Formulae
r
==> Installing dependencies for pyenv: autoconf, pkg-config, openssl, readline
==> Installing pyenv dependency: autoconf
==> Downloading https://homebrew.bintray.com/bottles/autoconf-2.69.high_sierra.bottle.4.tar.gz
######################################################################## 100.0%
==> Pouring autoconf-2.69.high_sierra.bottle.4.tar.gz
==> Caveats
Emacs Lisp files have been installed to:
/usr/local/share/emacs/site-lisp/autoconf
==> Summary
🍺 /usr/local/Cellar/autoconf/2.69: 71 files, 3.0MB
==> Installing pyenv dependency: pkg-config
==> Downloading https://homebrew.bintray.com/bottles/pkg-config-0.29.2.high_sierra.bottle.tar.gz
######################################################################## 100.0%
==> Pouring pkg-config-0.29.2.high_sierra.bottle.tar.gz
🍺 /usr/local/Cellar/pkg-config/0.29.2: 11 files, 627.2KB
==> Installing pyenv dependency: openssl
==> Downloading https://homebrew.bintray.com/bottles/openssl-1.0.2o_1.high_sierra.bottle.tar.gz
######################################################################## 100.0%
==> Pouring openssl-1.0.2o_1.high_sierra.bottle.tar.gz
==> Caveats
A CA file has been bootstrapped using certificates from the SystemRoots
keychain. To add additional certificates (e.g. the certificates added in
the System keychain), place .pem files in
/usr/local/etc/openssl/certs
and run
/usr/local/opt/openssl/bin/c_rehash
This formula is keg-only, which means it was not symlinked into /usr/local,
because Apple has deprecated use of OpenSSL in favor of its own TLS and crypto libraries.
If you need to have this software first in your PATH run:
echo 'export PATH="/usr/local/opt/openssl/bin:$PATH"' >> ~/.bash_profile
For compilers to find this software you may need to set:
LDFLAGS: -L/usr/local/opt/openssl/lib
CPPFLAGS: -I/usr/local/opt/openssl/include
For pkg-config to find this software you may need to set:
PKG_CONFIG_PATH: /usr/local/opt/openssl/lib/pkgconfig
==> Summary
🍺 /usr/local/Cellar/openssl/1.0.2o_1: 1,791 files, 12.3MB
==> Installing pyenv dependency: readline
==> Downloading https://homebrew.bintray.com/bottles/readline-7.0.3_1.high_sierra.bottle.tar.gz
######################################################################## 100.0%
==> Pouring readline-7.0.3_1.high_sierra.bottle.tar.gz
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local,
because macOS provides the BSD libedit library, which shadows libreadline.
In order to prevent conflicts when programs look for libreadline we are
defaulting this GNU Readline installation to keg-only..
For compilers to find this software you may need to set:
LDFLAGS: -L/usr/local/opt/readline/lib
CPPFLAGS: -I/usr/local/opt/readline/include
==> Summary
🍺 /usr/local/Cellar/readline/7.0.3_1: 46 files, 1.5MB
==> Installing pyenv
==> Downloading https://homebrew.bintray.com/bottles/pyenv-1.2.3.high_sierra.bottle.tar.gz
######################################################################## 100.0%
==> Pouring pyenv-1.2.3.high_sierra.bottle.tar.gz
🍺 /usr/local/Cellar/pyenv/1.2.3: 597 files, 2.4MB
MBP2017:~ ujpadmin$
pyenvをいれる
インストールしたpyenvの場所とバージョンを確認.
MBP2017:~ ujpadmin$ which pyenv🆑
/usr/local/bin/pyenv
MBP2017:~ ujpadmin$
MBP2017:~ ujpadmin$ pyenv -v🆑
pyenv 1.2.3
ディストリビューションはanaconda
Continuum Analyticsという会社が,Python本体にデータ分析系のライブラリなどをいい感じに揃えたパッケージを用意していて,それがAnacondaという名前のディストリビューションとなっており,人気なので,深く考えずにそれにあやかってみる.
pyenvコマンドを使って,現在利用できる最新のanacondaのリストを取り出す.
MBP2017:~ ujpadmin$ pyenv install --list|grep anaconda|sort|tail🆑
anaconda3-4.0.0
anaconda3-4.1.0
anaconda3-4.1.1
anaconda3-4.2.0
anaconda3-4.3.0
anaconda3-4.3.1
anaconda3-4.4.0
anaconda3-5.0.0
anaconda3-5.0.1
anaconda3-5.1.0 🈁
MBP2017:~ ujpadmin$
pythonをセルフラーニングしていて連想配列からのタプルからのイミュータブル,ミュータブルへきたのだけれど,イミュータブルがわからない.
どういうことかわからないのではなかくて,それはC言語でポインタを知っていれば原理的なところは理解しているのだけれど,今現時点では,それをどう活用,応用するのか,のイメージが湧かなくて...
もうちょっと勉強を進めればわかるのかなぁ.
どういうことかわからないのではなかくて,それはC言語でポインタを知っていれば原理的なところは理解しているのだけれど,今現時点では,それをどう活用,応用するのか,のイメージが湧かなくて...
もうちょっと勉強を進めればわかるのかなぁ.
php.iniのoutput_bufferingを4096という値が入っていたが,これをonにしてみた.
PHPのコンテンツの生成が終了するまでバッファリングするのだけれど,onにしておくといい感じで調整してくれるらしい.
体感,最初にほんのちょっと引っかかる感じがあるけれど,ページ生成は速くなった.ただし別セッションの画像ファイルはパラレルで呼び出されているので,なんか昔のモデム時代にインターレースGIFを読み込んでいるようになるなぁ.

各種負荷状況でみると,バッファリングしているぶんだけCPUを使っているのかじゃなくて多分I/O waitが発生しているから,CPU loadが前日より少し高いんじゃないかと思うんだよね.
PHPのコンテンツの生成が終了するまでバッファリングするのだけれど,onにしておくといい感じで調整してくれるらしい.
体感,最初にほんのちょっと引っかかる感じがあるけれど,ページ生成は速くなった.ただし別セッションの画像ファイルはパラレルで呼び出されているので,なんか昔のモデム時代にインターレースGIFを読み込んでいるようになるなぁ.

各種負荷状況でみると,バッファリングしているぶんだけCPUを使っているのかじゃなくて多分I/O waitが発生しているから,CPU loadが前日より少し高いんじゃないかと思うんだよね.
24時間経過.

再起動以外何もしない・・・というのは,それなりの効果があるってことか.それまで何年もそれで動いていたわけだからな.
それとは別にして,1分ごとにgracefulしているアホ運用を最近見たのだけれど,それはそれで使っている人に迷惑がかかっていなければ,それで十分なのかもしれない. ただし,原因は追求していなければ,次回も同じ間違いをしてしまうが.

再起動以外何もしない・・・というのは,それなりの効果があるってことか.それまで何年もそれで動いていたわけだからな.
それとは別にして,1分ごとにgracefulしているアホ運用を最近見たのだけれど,それはそれで使っている人に迷惑がかかっていなければ,それで十分なのかもしれない. ただし,原因は追求していなければ,次回も同じ間違いをしてしまうが.
エンジニアとしてのプライド的なものをかなぐり捨てれば,再起動という手法はコストパフォーマンスはかなり高い.まぁ,サーバの用途によって許される場合とそうでない場合があるわけだが.

今回も少しそれで効果があったような?雰囲気だが.気にくわないけどなぁ.

今回も少しそれで効果があったような?雰囲気だが.気にくわないけどなぁ.
サーバの動作が遅いなと思ったので,MRTGを確認する.CPU Usageが高止まりしている.

基本的にはWebサーバなので,HTTPDを確認.
なんだか1つだけ,昨日の日付のままのプロセスがある.HTTPDはApache2で,worker MPMで運用.MaxRequestsPerChildを5000にしているのでプロセスが1日もつ事なんてない.
プロセス番号41138を見てみる.
スレッドの親サーバだから仕方ないか.わからない時の,取り急ぎ再起動.
これでしばらく様子を見てみる.

基本的にはWebサーバなので,HTTPDを確認.
ujp:Caches server$ ps -eo lstart,pid,args | grep httpd
Tue May 19 22:45:53 2015 2960 /opt/local/apache2/bin/httpd -k start
Tue May 19 22:55:17 2015 4150 /opt/local/apache2/bin/httpd -k start
Tue May 19 22:56:39 2015 4520 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:02:32 2015 5027 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:02:34 2015 5028 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:04:26 2015 5148 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:04:26 2015 5149 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:10:23 2015 5715 /opt/local/apache2/bin/httpd -k start
Mon May 18 18:40:40 2015 41138 /opt/local/apache2/bin/httpd -k start ←これ
Tue May 19 21:04:52 2015 92886 /opt/local/apache2/bin/httpd -k start
Tue May 19 21:37:23 2015 96607 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:12:03 2015 5829 grep httpd
ujp:Caches server$
プロセス番号41138を見てみる.
ujp:extra server$ ps -ef |grep httpd | grep 41138
70 5027 41138 0 0:03.39 ?? 0:12.81 /opt/local/apache2/bin/httpd -k start
70 5028 41138 0 0:02.38 ?? 0:10.66 /opt/local/apache2/bin/httpd -k start
70 5148 41138 0 0:03.61 ?? 0:12.56 /opt/local/apache2/bin/httpd -k start
70 5149 41138 0 0:04.34 ?? 0:12.61 /opt/local/apache2/bin/httpd -k start
70 5943 41138 0 0:04.10 ?? 0:10.05 /opt/local/apache2/bin/httpd -k start
70 6919 41138 0 0:00.40 ?? 0:01.93 /opt/local/apache2/bin/httpd -k start
70 6925 41138 0 0:03.27 ?? 0:05.40 /opt/local/apache2/bin/httpd -k start
70 7414 41138 0 0:00.09 ?? 0:00.39 /opt/local/apache2/bin/httpd -k start
70 7415 41138 0 0:00.00 ?? 0:00.01 /opt/local/apache2/bin/httpd -k start
70 7416 41138 0 0:00.90 ?? 0:01.35 /opt/local/apache2/bin/httpd -k start
0 41138 1 0 0:03.87 ?? 0:04.71 /opt/local/apache2/bin/httpd -k start ←これ
ujp:extra server$
ujp:extra server$ su -
Password:
ujp:~ root# /opt/local/apache2/bin/apachectl stop
ujp:~ root# /opt/local/apache2/bin/apachectl start
ujp:~ root# ps -eo lstart,pid,args | grep httpd
Tue May 19 23:30:53 2015 8085 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:54 2015 8097 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:54 2015 8098 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:54 2015 8099 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:54 2015 8100 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:54 2015 8101 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:30:56 2015 8102 /opt/local/apache2/bin/httpd -k start
Tue May 19 23:31:07 2015 8137 grep httpd
ujp:~ root#
.NET向けのビルドプラットホームのオープンソース化したそうだ.公開はGitHubで.
Microsoft / msbuild : Microsoft.Build (MSBuild)
https://github.com/Microsoft/msbuild
最近Jenkinsと連動したビルドサーバは流行りのようだけれど,MSbuildはWindows Azureにもイメージを用意しているようだから,クラウド環境をソフトウェアとも提供するサービス化して盛りたてていくのかな.
Microsoft / msbuild : Microsoft.Build (MSBuild)
https://github.com/Microsoft/msbuild
最近Jenkinsと連動したビルドサーバは流行りのようだけれど,MSbuildはWindows Azureにもイメージを用意しているようだから,クラウド環境をソフトウェアとも提供するサービス化して盛りたてていくのかな.
タプルとは盲目的に行の事だと覚えていたけれど,wikiによると正式には「複数の構成要素からなる組を総称する一般概念」で「組」と呼ばれたりしていてそういわれると逆にゲシュタルト崩壊というか「組ってなに?」となる.
行と言えば通じると思うけれどタプルという言葉を使っているシーンは聞いた事無いなぁ.
行と言えば通じると思うけれどタプルという言葉を使っているシーンは聞いた事無いなぁ.
NTT東日本からから電話があり,ファームウェアがアップデートされたのでその手順のご案内をしたいと...休日の寝ているときだったので「自分でやるからイイ!」と突っぱねた事を思い出した.
前回ファームアップしたのは8月でした.

これが次の様になります.
うちは手動にしていたけれど,普通は自動実行で更新される様です.今回の設定で自動更新にしました. そして,他の周辺機器も対処が必要です.
分電盤計測器の対処方法はこれ
http://www.ntt-east.co.jp/info/detail/pdf/121015_01_02.pdf
電源タップの利用者はこれ
http://www.ntt-east.co.jp/info/detail/pdf/121015_01_03.pdf
電源入れ直すだけですね.今回の不具合の説明はこちら.
フレッツ・ミルエネ無線親機のソフトウェア不具合に伴う消費電力量が正しく表示されない事象について
http://www.ntt-east.co.jp/info/detail/121015_01.html
それにしても毎回電話くれるのね.手厚いサポート...もしかして,ECP-1602-ZiSE電池切れだと思っていたのだけれど,今回の不具合も関係してるのかな?
前回ファームアップしたのは8月でした.

これが次の様になります.
ファームウェアバージョン:04.10
本ファームウェアは、以下の子機ファームを搭載しています。
・ECP-21202-ZiSE ファームウェアバージョン:03.02
・ECP-2602-ZiSE ファームウェアバージョン:03.02
・ETP-1151-ZiSE ファームウェアバージョン:03.03
うちは手動にしていたけれど,普通は自動実行で更新される様です.今回の設定で自動更新にしました. そして,他の周辺機器も対処が必要です.
分電盤計測器の対処方法はこれ
http://www.ntt-east.co.jp/info/detail/pdf/121015_01_02.pdf
電源タップの利用者はこれ
http://www.ntt-east.co.jp/info/detail/pdf/121015_01_03.pdf
電源入れ直すだけですね.今回の不具合の説明はこちら.
フレッツ・ミルエネ無線親機のソフトウェア不具合に伴う消費電力量が正しく表示されない事象について
http://www.ntt-east.co.jp/info/detail/121015_01.html
それにしても毎回電話くれるのね.手厚いサポート...もしかして,ECP-1602-ZiSE電池切れだと思っていたのだけれど,今回の不具合も関係してるのかな?
半期に一度の学校訪問.今回の場所は東京都市大学.昔は武蔵工業大学という名前だったそうだ.

ハイカラな名前に反してトイレが臭かったのだけれど,駅からの道,迷いそうな箇所に案内人を配置しているのは今までに無い配慮で高感度アップ.
それはおいといて,とうとうがIPv6がメイン風の問題が出て来た.よくよく読めば,「ふう」なんだが.家のネットワークくらいはIPv6で構築してみて実勉強しとかないといかんかなー

ハイカラな名前に反してトイレが臭かったのだけれど,駅からの道,迷いそうな箇所に案内人を配置しているのは今までに無い配慮で高感度アップ.
それはおいといて,とうとうがIPv6がメイン風の問題が出て来た.よくよく読めば,「ふう」なんだが.家のネットワークくらいはIPv6で構築してみて実勉強しとかないといかんかなー
本屋で暇つぶし.なにげなく手にとって立ち読みしてみたら,その中で興味深い一節が...
・不安はためらいがちにさせる
・不安はコミュニケーションを減少させる
・不安はフィードバックを敬遠させる
・不安は気難しくさせる
仕事がうまくいってない時に,ついこのような現象に陥って,自分の居場所を見失ってしまう,そんなことなのだろうな.
遅延しがちなプロジェクトにおいても,この4つは頻繁に発生する.弱い犬が吠えるように気難しく装うような事もある...
今回立ち読みしたのは,「テスト駆動型開発:Test-Driven Development」についての本で,TDDとは,テストをベースにしたソフトウェアの開発手法.
通常の開発手法と異なるのは,テストから先に作成します.テストファースト.そして,目的ソフトウェアの作成を行います.テストを先に定義するということは要件を先に定義するということかなぁ.このあたりはXPなので立ち読みレベルで身につけようとしてもダメでしょう.
・不安はためらいがちにさせる
・不安はコミュニケーションを減少させる
・不安はフィードバックを敬遠させる
・不安は気難しくさせる
仕事がうまくいってない時に,ついこのような現象に陥って,自分の居場所を見失ってしまう,そんなことなのだろうな.
遅延しがちなプロジェクトにおいても,この4つは頻繁に発生する.弱い犬が吠えるように気難しく装うような事もある...
今回立ち読みしたのは,「テスト駆動型開発:Test-Driven Development」についての本で,TDDとは,テストをベースにしたソフトウェアの開発手法.
通常の開発手法と異なるのは,テストから先に作成します.テストファースト.そして,目的ソフトウェアの作成を行います.テストを先に定義するということは要件を先に定義するということかなぁ.このあたりはXPなので立ち読みレベルで身につけようとしてもダメでしょう.
普段使いはMacOS Xだし,最近使っていたのはWindows XPなので差分吸収が大変なのだけれど,いつの頃からかWindowsファイアウォールが搭載される様になって,それはサーバでも有効になっています.
一番判らなかったのがこれ.

プロファイルが,ドメイン,プラベート,パブリックと別れていて,それぞれの意味は判るのだけれど,プロファイルを切り替える方法が調べられない.
調べた結果,手動では切り替えられなかった.「サーバの役割」によって自動的に設定されるので,今回触っているWindows Web Server 2008だとWebサーバとしての役割以外が存在しないので,パブリックのみになる.
Windowsサーバは,昔は管理者が明示的に制限設定をする必要があったけれど,今は逆で初期設定で制限されているので管理者が自分で開けていかなければならない. 開ける為には勉強しなければならない.
Sybaseが,もともとそういうポリシーで初期設定がされていた事を思い出す.インストールは簡単にできるのだけれど,ちゃんと勉強してないと適切な設定が行われないので,かなり速い段階でデータベースが停止する様に作ってある.フールプルーフと言えるかな.
某社で,Oracleのプロフェッショナルと自負する人たちが運営しているサーバで設定シートをみたらsysがchange_on_installのままだった.これはお里が知れる...
一番判らなかったのがこれ.

プロファイルが,ドメイン,プラベート,パブリックと別れていて,それぞれの意味は判るのだけれど,プロファイルを切り替える方法が調べられない.
調べた結果,手動では切り替えられなかった.「サーバの役割」によって自動的に設定されるので,今回触っているWindows Web Server 2008だとWebサーバとしての役割以外が存在しないので,パブリックのみになる.
Windowsサーバは,昔は管理者が明示的に制限設定をする必要があったけれど,今は逆で初期設定で制限されているので管理者が自分で開けていかなければならない. 開ける為には勉強しなければならない.
Sybaseが,もともとそういうポリシーで初期設定がされていた事を思い出す.インストールは簡単にできるのだけれど,ちゃんと勉強してないと適切な設定が行われないので,かなり速い段階でデータベースが停止する様に作ってある.フールプルーフと言えるかな.
某社で,Oracleのプロフェッショナルと自負する人たちが運営しているサーバで設定シートをみたらsysがchange_on_installのままだった.これはお里が知れる...