存档

2014年6月 的存档

hive load data报错

2014年6月27日 没有评论

使用hive,需要load data进去,表结构:

CREATE TABLE tb1(
id int,
ip string,
time int,
type int
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ‘,’
LINES TERMINATED BY ‘\n’
;

后来使用load data load数据进这个表

LOAD DATA LOCAL INPATH ‘/data/tmp/tab1_201406.log’ INTO TABLE `table1` FIELDS TERMINATED BY ‘,’ LINES TERMINATED BY ‘\n’;

结果报错:

FAILED: ParseException line 1:78 mismatched input ‘FIELDS’ expecting EOF near ‘login’

后来发现:

LOAD DATA LOCAL INPATH ‘/data/tmp/tab1_201406.log’ INTO TABLE `table1`;

这样是可以的

即hive load data的时候不要带 FIELDS TERMINATED BY ‘,’ LINES TERMINATED BY ‘\n’,这个在创建表的时候已经有了

另外这里的表名,要么用 ` (tab键上面的那个符号),要么不要用引号

分类: 技术 标签:

wordpress的wp-pagenavi插件增加nofollow标记

2014年6月25日 没有评论

wp-pagenavi插件是个很好的分页插件,但是到股沟中用

site:darkz.co这么来一看:

page

大量的分页连接出现在搜索结果里面,严重扰乱了我的搜索结果

网上查了下资料,<a>连接标记是可以加其他的tag来让搜索引擎不跟踪连接去往下抓取的

翻了下源代码,找到以前的版本是在core.php文件中加上标记的,但是对最新的pagenavi插件不起作用了,貌似新版改动较大

后来搜索了下插件源代码,搜索的是href关键字,还是core.php文件中有这个关键字,看到在243行左右有以下代码显示:

 

function get_single( $page, $raw_text, $attr, $format = ‘%PAGE_NUMBER%’ ) {
if ( empty( $raw_text ) )
return ”;

$text = str_replace( $format, number_format_i18n( $page ), $raw_text );

$attr[‘href’] = $this->get_url( $page );

return html( ‘a’, $attr, $text );
}

看来html是个函数,搜索这个函数,发现在wp-pagenavi/scb/Util.php文件内有该函数的定义

265行:return “<{$tag}>{$content}</{$closing}>”;

这里就是这个函数产生的html标签的返回值了,根据html语法,<a>标签内加上 rel=’nofollow’,将以上代码修改为:

return “<{$tag}>{$content}</{$closing}>”;

保存页面,刷新生效

 

 

 

分类: wordpress, 技术 标签:

股沟被墙后的二维码解决办法

2014年6月21日 没有评论

博客使用了wordpressautoQR插件来生成二维码

最近发现文章页面的二维码失效,究其原因,是因为使用了股沟的生成二维码页面,因为股沟在兲朝被墙的厉害,所以失效

解决办法:

点击插件->autoQR->编辑->autoQR.php 可以看到起代码

最重要的本部分:

https://chart.googleapis.com/chart?cht=qr&chs=100×100&choe=UTF-8&chld=L|2&chl=

阅读全文…

分类: 其他, 技术 标签:

搞笑的虚拟化。。。

2014年6月17日 没有评论

我们刚开始。。。

后来,用了虚拟化和开源项目,现在是这样的

分类: 杂七杂八 标签:

游戏boss趣解

2014年6月17日 没有评论

“游戏里的BOSS都在干嘛?不寂寞吗”—-单机和网游的boss,是不同的。
单机游戏里的boss,只是个调用类。
boss和小兵其实没有区别,他们同来自于第一个基类,只是后来boss开始有了越来越多的调用方法,有了算法,引擎,动态脚本,友元接口,资源预分配……boss说什么,做什么,由各色的文件定的,打开安装目录,看到dll么?看到xml么?看到txt么?那就是你的boss,无数exp,str,trycatch就是boss的全部,你打开游戏,文件加载,系统读条,那是混沌初开之时,boss却不在那,npc说,九天魔尊在终南山,他骗你的,等你离了寺院,他释放了内存,卸载掉虚函数,带上友类,你再见他,他就是九天魔尊。
他们都说,boss诞于女娲,沉眠于太古,觉醒在五千年后,不是的,直到你见到boss之前,boss都不在那,他是支离破碎的数据文件,是东拼西凑的几个字节,是传来传去的几个参数,零零落落的散落在硬盘某个磁道上,直到你遇见boss之前,磁头甚至都不会经过那里,当你终于打开那扇门,天惊地动,星坠日落,那只是掩人耳目,boss从无到有,只在那短短的几秒钟,图像引擎给予boss躯壳,状态机赋予boss灵魂,然后boss出现,冲来,杀掉,然后文件关闭,内存释放,堆栈销毁,boss又重归于无。
不信你看,硬盘灯在闪了。
网络游戏的boss,只是个服务器。
网游的boss是永生的,它不在这个屏幕上出现,就在那个屏幕上出现,有多少个玩家就有多少个boss,每台玩家的电脑都是个平行世界,每个世界都是boss的一个化身。
但boss却不在你的电脑里,那只是个虚幻的投影,boss真正的灵魂藏在服务器。
服务器造就了玩家的世界,但这个世界却是为boss而存在的,boss说,要有buff,于是有了状态机服务器,boss说,要有迷宫,于是有了路径服务器,boss说,要有体型判定,于是碰撞服务器出现了,但boss总是要死的,于是掉率服务器也加进来……于是每一台服务器,都只是boss灵魂的一粒沙,直到恒河沙数,集腋成裘,才有了boss。
小兵们大抵是不需要这些服务器的,因为小兵没有灵魂,也不需要灵魂,”直到我的膝盖中了一箭”,小兵只会这样说,但小兵们懂得痛吗?当hp条泛出红色的时候会怒吼吗?会扔出手中沾满淋漓血渍的大斧吗?然后华丽的倒下吗?不会的,服务器说,那样的负担太重了,只有boss才那么做,我们只服侍boss。
但boss却是寂寞的,你和他说话,嘲讽他,冰冻他,眩晕他,其实你没有,那只是他灵魂里的一粒沙,boss的整个灵魂都被析离成无数的沙粒,散落在机房里,你看见的,听见的,永远都不是boss的全部,”西安的机房五百台”,项目经理这样说,”广东的机房只有三百台,因为广东的机房太脏了,运维的进去,挖煤的出来。”
穿梭于盘丝洞般的机房里,在乱如野林的网线间摸爬滚打,触摸boss灵魂的,只有运维,”给我做个测试模型”,数据设计师这样对运维说道:”我想把魔运天尊的脚本改得更鼓励进攻一些”,”可魔运天尊的仇恨值设定是文件里写死的,脚本对魔运天尊的仇恨公式有依赖”,”哦,这样啊,那算了,反正下个版本西安机房的数据就同步过来了,到那个版本魔运天尊就删了。”
“别了,天尊。”小李望了路由器上闪闪的绿色荧光说。

来自某猥琐淫荡的技术QQ群

分类: 杂七杂八 标签:

mysql授权中的*问题

2014年6月16日 没有评论

grant all privileges on `db`.* to user@’host’ identified by ‘pass’;

grant all privileges on `db`.`*` to user@’host’ identified by ‘pass’;

上面两句你能看出来有什么区别吗

下面这句多了个反引号

结果授权怎么都不对

最后看到这里,去掉反引,重新授权OK

具体原因不明。。。好蛋疼

Technorati :
Del.icio.us :
Zooomr :
Flickr :

分类: mysql 标签:

【教程】inove主题分类目录和页面怎么同时显示在导航栏

2014年6月11日 没有评论

首先,进入wordpress网站后台->外观->编辑->模板函数页面<functions.php>,大致在第220行找到:

<label>
<input name=”menu_type” type=”radio” value=”categories” <?php if($options[‘menu_type’] == ‘categories’) echo “checked=’checked'”; ?> />
<?php _e(‘Show categories as menu.’, ‘inove’); ?>
</label>

 

在这段代码下面添加如下代码:

<label>
<input name= “menu_type” type=”radio” value= “pages_and_categories” <?php if($options[‘menu_type’] == ‘pages_and_categories ‘) echo “checked=’checked'” ; ?> />
<?php _e(‘Show All.’,’inove’); ?>
</label>

 

接下来,进入wordpress网站后台->外观->编辑->顶部页面<header.php>在大约30行的位置,找到:

<?php
if($options[‘menu_type’] == ‘categories’) {
wp_list_categories(‘title_li=0&orderby=order&show_count=0’);
} else {
wp_list_pages(‘title_li=0&sort_column=menu_order’);
}
?>

将上面的代码替换为:

<?php
if($options[‘menu_type’] == ‘categories’ || $options[‘menu_type’] == ‘pages_and_categories’){wp_list_categories( ‘title_li=0&orderby=order&show_count=0’);}
if($options[‘menu_type’] == ‘pages’ || $options[‘menu_type’] == ‘pages_and_categories’){wp_list_pages(‘title_li=0&sort_column=menu_order’);}
?>

http://www.yilulu.cn/inove-daohang.html

分类: 其他, 技术 标签:

python通过pip安装模块及更换国内源

2014年6月11日 没有评论

1.Install distribute
curl http://python-distribute.org/distribute_setup.py | python
或者
wget http://python-distribute.org/distribute_setup.py
python distribute_setup.py

2.Install pip
curl https://raw.github.com/pypa/pip/master/contrib/get-pip.py | python
或者
wget https://raw.github.com/pypa/pip/master/contrib/get-pip.py
python get-pip.py

阅读全文…

分类: python 标签:

hive中的top n的解决过程及思路

2014年6月10日 没有评论

基本思路.
有数据 : 字段 user, category, value
需求 : 取每个user的value的最大5个category

1.先按照user,value组合来排序(这里是最大值,倒序)
2.再rank相当于给每个user下的每条记录一个编号rank(user)
3.最后rank编号是N范围的就是要取的TOP N的值

SELECT *
FROM
(
SELECT *, rank(user) as row_number
FROM (
SELECT user, category, value
FROM $compTable
WHERE user is NOT NULL AND AND ctr > 0
DISTRIBUTE BY user
SORT BY user, value desc
) A
) B
WHERE row_number < 5
ORDER BY user, row_number
;

rank udf的源码

package com.example.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;

public final class Rank extends UDF{
private int counter;
private String last_key;
public int evaluate(final String key){
if ( !key.equalsIgnoreCase(this.last_key) ) {
this.counter = 0;
this.last_key = key;
}
return this.counter++;
}
}

javac -classpath $HIVE_HOME/lib/hive-serde-1.7.jar:$HIVE_HOME/lib/hive-exec-0.10.0.jar:$HADOOP_HOME/hadoop-core-0.20.2-cdh3u5.jar -d /data/tmp/ /data/tmp/Rank.java

jar -cf /data/tmp/Rank.jar /data/tmp/Rank.classs

参考:

http://ragrawal.wordpress.com/2011/11/18/extract-top-n-records-in-each-group-in-hadoophive/
http://www.shangxueba.com/jingyan/753433.html

Technorati : ,
Del.icio.us : ,
Zooomr : ,
Flickr : ,

分类: 杂七杂八 标签: ,