• 2017-04-15 983 0

    InstallationRDD:Resilient Distributed DatasetSpark ConceptsLog collectionSetup spark 1.6 on hadoop 2.6.0Installationbrew install scalabrew install apache-sparkSparkContext SparkContext是Spark的上下文对象,是Spark程序的主入口点,负责连接到spark cluster。可用于创建RDD,在集群上创建累加器和广播变量。 每个jvm只能激活一个SparkContext对象,创建新的SparkContext对象时,必须先stop掉原来的对象。 RDD:Resilient Distributed Dataset类名: org.apache.spark.rdd.RDD 是不可变、可分区的元素集合,可进行paral

  • 2017-04-15 289 0

    安装旧版spark brew tap homebrew/versions# 查看当前版本brew info apache-spark# 查看所有版本brew search apache-spark# 安装指定版本brew install homebrew/versions/apache-spark@1.6# 如果安装不成功,也可以使用下面的命令brew unlink apache-sparkbrew install https://raw.githubusercontent.com/Homebrew/homebrew-core/master/Formula/apache-spark@1.6.rb# 重建软连接 brew link --overwrite --force apache-spark@1.6

  • 2017-04-13 814 0

    部署环境安装mongodb安装jdk8安装elasticsearch常用命令修改字段解决未分配分片集群重启安装kibana安装x-pack安装mongo-connector安装supervisor部署环境假设我们有两台服务器,10.2.2.164和10.2.2.61。在10.2.2.61上部署mongodb主服务器和elasticsearch主服务器以及mongo-connector,在10.2.2.164上部署elasticsearch分片。 安装mongodb配置文件mongod.conf参考: systemLog: destination: file path: logs/mongod.log logAppend: true logRotate: rename timeStampFormat: iso8601-local# 存储引擎相关参数storage: # journ

  • 2017-04-15 281 0

    官方网站 installation pip3 install you-get 如果出现 urlopen error [SSL: CERTIFICATE_VERIFY_FAILED 错误,编辑you-get,加入下面两行: import sslssl._create_default_https_context = ssl._create_unverified_context 如果报LC_CTYPE错误,设置 LC_CTYPE=en_US.UTF-8 如果有其他错误,使用 you-get --debug -i 'https://www.youtube.com/watch?v=jNQXAC9IVRw' 打开debug查看错误。

  • 2017-03-05 657 0

    使用katex解析Latex公式,首先引入相应资源 href="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.css" rel="stylesheet"> src="//cdn.bootcss.com/KaTeX/0.7.1/katex.min.js"> src="//cdn.bootcss.com/KaTeX/0.7.1/contrib/auto-render.min.js">需要注意以下几个地方: 行内公式,Latex使用$equation$来表示行内公式,不过在Katex中使用\(equation\)来表示。(在editor.md中使用$$) 因为Markdown中\是转义字符,所以在Markdown中输入行内公式使用\\(equation\\)。其他地方如 \{, \\ 需要使用 \\{, \\\\来表示。 由于在markdown中 _ 表示

  • 2017-03-05 867 0

    如果我的关于这个话题的最新帖子没有提醒到你的话,那我明确地说,我是一个 Vim 的粉丝。所以在你们中的某些人向我扔石头之前,我先向你们展示一系列“鲜为人知的 Vim 命令”。我的意思是,一些你可能以前没有碰到过的命令,但可能对你来说很有用。作为第二免责声明,我不知道哪些命令是你可能知道的,以及哪些是对你来说有用的。因此这些命令实际上是一些相对少见,但很可能很有用的 Vim 命令。 保存文件并退出 :x和下面的命令是等价的: :wq都是保存当前文件并退出。 (译者注:这两个命令实际上并不完全等价,当文件被修改时两个命令时相同的。但如果未被修改,使用 :x 不会更改文件的修改时间,而使用 :wq 会改变文件的修改时间。) 基本计算器 在插入模式下,你可以使用 Ctrl+r 键然后输入 =,再输入一个简单的算式。按 Enter 键,计算结果就会插入到文件中。例如,尝试输入: Ctrl+r '=2

  • 2014-11-07 338 0

    JSONP 简介CSRF(Cross-site request forgery)跨站请求伪造XSS (Cross Site Scripting) 跨站脚本攻击JSONP 简介首先要理解下面几个概念: 一个众所周知的问题,Ajax直接请求普通文件存在跨域无权限访问的问题,甭管你是静态页面、动态网页、web服务、WCF,只要是跨域请求,一律不准。不过我们又发现,Web页面上调用js文件时则不受是否跨域的影响(不仅如此,我们还发现凡是拥有”src”这个属性的标签都拥有跨域的能力,比如<script>、<img>、<iframe>)。于是可以判断,当前阶段如果想通过纯web端(ActiveX控件、服务端代理、属于未来的HTML5之Websocket等方式不算)跨域访问数据就只有一种可能,那就是在远程服务器上设法把数据装进js格式的文件里,供客户端调用和进一步处理。恰巧我们已经知道有一种叫做JSO